Das Gebäude, in dem sich die Privaträume Johann Friedrichs und seiner Gemahlin Sophie Agnes befanden, wurde Mitte des 15. Jh. von Familie Hutzelmeier – einer bedeutenden Hilpoltsteiner Handelsfamilie – durch Umbau und Erweiterung eines mittelalterlichen Wohnturms geschaffen. Der romanische Gewölbekeller sowie Mauerreste aus dem 12. Jh. sind erhalten geblieben.
Die Räume waren annehmlich ausgestattet. Der moderne Pfalzgraf ließ unter anderem ein eigenes Badezimmer sowie mehrere Sanitärräume mit Latrinenschächten bis ins zweite Obergeschoss einbauen. In Richtung Stadtpfarrkirche wurde eine Altane angefügt, die auf allen Etagen Andachtsräume beherbergte.