Wie alles begann:

• Vermutungen zu Folge waren bereits die Kelten auf dem Turmberg ansässig. Es sind jedoch keine nachweisbaren Befunde aus dieser Zeit mehr vorhanden.
• In den ersten christlichen Jahrhunderten wurde ein Römerkastell auf der damals noch sumpfigen Anhöhung gebaut.
• Ende des 10 Jh wählten die ersten Pfinzgaugrafen den „Hohenberg“ zu ihrem Sitz und errichteten eine freistehende Turmburg.
• Spätere Um- und Ausbauten ließen aus der ursprünglichen Turmburg eine ganze Burganlage werden.
• Ab 1179 bewohnte Graf Heinrich von Grötzingen den Turmberg. Nach dessen Tod ging die Burg in den Besitz der Hohenstaufen über, die ihn mit den Burgmannen aus dem edelfreien Geschlecht der Herren von Roßwag besetzten.