Das ehemalige Residenzschloss des Pfalzgrafen Friedrich wurde 1619 erbaut und mit wertvollen Stuckdecken des Nürnberger Meisters Heinrich Kuhn ausgestattet. Im erhaltenen Hauptgebäude, das in den Jahren 2009 bis 2012 aufwändig saniert wurde, sind heute das Amt für Kultur und Tourismus mit der Tourist-Information, die Stadtbücherei der Stadt Hilpoltstein und die Außenstelle der vhs im Landkreis Roth untergebracht. In einem weiteren Trakt befindet das Finanzamt.