Hier befindet sich ein kompaktes, einst dreistöckiges Wohngebäude, das an die neckarseitige Ringmauer angebaut ist. Der Schlussstein seines spätgotischen Eingangs trägt das Wappen der Schott von Schottenstein. Von ihnen kommt am ehesten Konrad als Bauherr in Frage. Während das Erdgeschoss mit seinen bescheidenen Fenstern eher wirtschaftlichen Zwecken diente, enthielten die oberen Stockwerke die Wohnräume.

Sicherlich zog auch Götz von Berlichingen in den damals wenige Jahre alten Neubau ein, nachdem er Hornberg 1517 gekauft hatte. Im Zuge der Umgestaltung der Kernburg zum repräsentativen Schloss unter dessen Sohn und Enkeln wurde der Wohnbau um das obere Geschoss erhöht.