Boven de stad verrijzen de ruïnes van het kasteel van de Heren van Valkenburg. Van deze hoogteburcht, die omstreeks 1115 werd gebouwd, zijn slechts enkele stukken muur en spitsbogen overgebleven. Het kasteel werd in 1672 verwoest op bevel van koning-stadhouder Willem III. Het terras biedt een mooi uitzicht op de stad en het groene Geuldal.