Die reich begüterten Herren von Jahrsdorf gehörten zu den bedeutendsten Adelsfamilien. Der Dienstadelige Veit von Jahrsdorf ließ sich 1523 dieses repräsentative „Freihaus“ errichten. Als Teil einer großen Hofanlage war es mit besonderen Privilegien für ihn und seine Nachkommen verbunden. Keller und Erdgeschoss stammen noch von einem romanischen Wohnturm. Die Fassade zeigt ein zeittypisches Fachwerk mit sich überkreuzenden Kopf- und Fußstreben. Die Ziegelausfachung ist nur vortäuschend auf den Putz gemalt. Die Nordwand mit dem Schopfwalmdach ist direkt auf die Stadtmauer aufgesetzt. Hier konnte der Wehrgang erhalten werden.