Derrière ses murs, le Musée Vieille Montagne, situé sur la rue de Liège, cache une longue histoire qui a commencé au milieu des années 1960. L’Association pour la culture et l’histoire de la vallée de la Gueule, fondée en 1966, commence, dès 1973, à rassembler toute une collection sur les localités bordant la rivière. Avec l’aide de représentants de la commune, elle s’implique à instituer une nouvelle association muséale. Le Musée de la Vallée de la Gueule s’installe dans une ancienne villa de fabricants, dans la rue Max à Neu-Moresnet. Déjà à l’époque, l’histoire particulière de Moresnet-Neutre, l’industrie minière et la collection de minerais tiennent une place centrale.

Grâce à sa reconnaissance par la Communauté germanophone, le Musée de la Vallée de la Gueule se développe et atteint un public intéressé, venant de la région des trois frontières et au-delà. En 2014, la commune de La Calamine acquiert le bâtiment « Vieille-Montagne » situé sur la rue de Liège et y transfère le musée. Étant donné que tant le concept muséal que le lieu avaient changé, il convenait d’adapter également le nom du musée. « Vieille Montagne » désigne non seulement une mine (Altenberg), mais aussi une concession minière transfrontalière et une société anonyme internationale. Ce nom souligne également la dimension internationale de l’histoire de La Calamine.

Le musée est porté par la Régie communale autonome « Galmei » (RCA) et continue à coopérer avec les associations installées dans ses bâtiments : « Culture et Histoire dans la vallée de la Gueule », « Musée Vieille Montagne » (auparavant, « Musée de la Vallée de la Gueule », Kelmis 1871 et Vieille Montagne Heritage Association. Le Musée Vieille Montagne a ouvert ses portes le 14 septembre 2018. Depuis 2021, le musée fait partie de la catégorie numéro 1 fixée par la Communauté germanophone, la plus élevée. Céline Ruess est la directrice du musée.