Für den Bau der Schlossanlage wurden Vorgängerbauten teils abgerissen, teils umgebaut und in die Anlage einbezogen, deren Anfänge bis ins 11 Jh. zurückreichen. Das Ensemble war zweigeschossig, das Haupthaus dreigeschossig in Burgsandstein ausgeführt. Alle Gebäudeteile der damals modernen Vierflügelanlage waren miteinander verbunden. Darin befanden sich ein Festsaal, Wirtschaftsgebäude mit Stallungen, Gäste- und Bedienstetenunterkünfte, ein Verwaltungsflügel sowie ein Turm mit Sternwarte. 1626 fertig gestellt, spiegelt die Residenz die moderne und weltoffene Art des Fürsten wieder. Stilprägend sind Renaissance und Humanismus. Im Laufe der wechselvollen Geschichte wurden immer wieder bauliche Veränderungen vorgenommen. Beispielsweise war der ehemalige Speise- und Festsaal im ersten Obergeschoss deutlich größer als der heutige Saal (Raum Johann Christian). Ursprünglich bildete er die angrenzende Verbindung zum Kanzleiflügel. Der Rest des Flügels wurde 1818 wegen baulicher Mängel abgerissen. In den beiden Geschossen des ehemaligen Kanzleiflügels ist heute das Finanzamt untergebracht.
Das Gebäude erfuhr danach eine wechselvolle Geschichte und wurde teils abgerissen, teils immer wieder baulichen Veränderungen unterzogen. Das zeigt sich beispielsweise an der Portalfront. Der bayerische Löwe mit den beiden Wappen von Pfalz Neuburg (Pfälzer Löwe) und Altbaiern (Raute) steht für die Vereinigung der Kurfürstenwürde von Bayern und der Pfalz unter Carl Theodor im 18. Jh.
