Im frühen 11. Jahrhundert entstanden die ersten Bauten. In mehreren Schritten wurde die Habsburg zu einer Doppelburg erweitert. Am Beginn des 13. Jahrhunderts erreichte sie ihre grösste Ausdehnung. Nach dem Auszug der Habsburger verfiel der ältere, vordere Burgteil im Osten zu einer Ruine. Der jüngere, hintere Burgteil im Westen blieb bestehen und konnte sein Erscheinungsbild, von vereinzelten Umbauten abgesehen, bis heute bewahren.