Johann Friedrich trat 1615 nach dem Tod seines Vaters das Erbe an. Er kam 1618 in die Stadt Hilpoltstein und fand alles vor, was es zur Etablierung einer Residenz benötigte. Die Stadt war um einen Stadtkern organisiert, bestehend aus Marktplatz mit Rathaus, Stadtkirche mit Geistlichkeit sowie einer Burg und war durch Befestigungsanlagen gesichert. Die Stadtstruktur durch ihre Haupt- und Nebenstraßen sowie ihre unterschiedlichen Plätze ermöglichten die Ausbildung eines öffentlichen Zentrums. So entschied sich Johann Friedrich, das ehemalige Pfleghaus oder „Hutzelmeierhaus“, ein geräumiges Steinhaus in zentraler Lage standesgemäß zur Residenz umzubauen. Kanzlei, Stallungen und Zeughaus wurden direkt neben der Kirche errichtet