De gouverneur van de Nederlanden liet tussen 1756 en 1780 dit paleis bouwen op de plaats van het voormalige Paleis van Nassau. Van het oorspronkelijke gebouw rest alleen nog de neoclassicistische gevel. Na de renovatie worden in de mooie zalen (waaronder een ronde salon met marmeren vloer - let op de rozet met 28 soorten marmer) tijdelijke exposities getoond waaronder The World of Bruegel in Black and White (etsen en prenten van Bruegel).