Dit Buitenhof behoorde tot het oude kasteel van de graven van Holland. Daarvan is enkel nog een versterkte poort, de Gevangenpoort, overgebleven alsmede een elegant pand uit de 18e eeuw waarin de Galerij Prins Willem V is gevestigd.