Het museum bevindt zich rond de oude binnenplaats van het herenhuis van de familie Vander Kelen-Mertens. De hedendaagse soberheid contrasteert met het rijk geornamenteerde herenhuis uit de 19e eeuw. De uitgebreide en gevarieerde collectie (kunstvoorwerpen van de prehistorie tot de 20e eeuw) illustreert de geschiedenis van de stad en het gebied. Belangrijk zijn vooral de beelden en schilderijen in flamboyant Brabants gotische stijl (werk van de Meester van Flemalle en Albrecht Bouts) en de verzamelingen uit de 19e eeuw.