Vanaf de Academiesingel ziet men de noordzijde van dit grote bouwwerk met zijn vele ramen en achthoekige torentjes. Het geheel wordt omringd door een slotgracht en gaat schuil achter de muren van Het Spanjaardsgat. Willem de Zwijger verbleef bij voorkeur in de voormalige burcht, die in 1536 naar een ontwerp van T. Vincidor da Bologna werd verbouwd. Zijn huidige aanzien kreeg het kasteel tussen 1686 en 1695 onder stadhouder Willem III, die de plannen van Vincidor verder liet uitvoeren.