Entweder war es Bischof Heinrich oder sein Nachfolger Friedrich, die im späten 13. Jh. für die Gründung dieses Wohnhauses in Frage kommen. Wahrscheinlich favorisierten sie damals Burg Hornberg zum wichtigen Außenposten im Osten des Speyrischen Gebietes und investierten in den Bau der Anlage.

Grundsätzlich sind zwei Bauphasen zu unterscheiden: Für die jüngere ist ein hellgelber, weicher Sandstein charakteristisch. Zu ihr gehört die Inschriftentafel von 1471, das breite spätgotische Portal, die rechteckigen Fenster und die zu deren Brüstungshöhe passenden Kragsteinreihen im Inneren, die die Balken der Geschossdecken trugen.

Zur älteren Bauphase sind die etwa einen Meter tiefsitzenden Konsolen und die Reste von schmalen frühgotischen Doppelfenstern zu zählen, die überwiegend aus einem dunklen, härteren oder teils auch rotem (!) Sandstein bestehen. Sie waren beim Umbau unter Lutz Schott zugemauert worden, der auch die beiden Keller unter dem Gebäude einbauen ließ.