Die Freiherren von Toggenburg erbauten das Städtchen Uznach um das Jahr 1200 zur Absicherung ihrer Besitzungen im Linthgebiet, und wohl auch gegenüber den gleichfalls expandierenden Grafen von Rapperswil. Das Städtchen Uznach ist ab dem Jahr 1228 in einer Urkunde, in der Bürger von Uznach als Zeugen genannt werden, belegt und dürfte an der Stelle der bereits bestehenden Siedlung ausgebaut worden sein. Auf dem Uznaberg, eigentlich auf einem kleinen Felssporn oberhalb der Stadt, wurde ein Wohnturm und an der Hauptgasse eine Kapelle erbaut, als Zentrum der neuen Grafschaft Uznach, die die Toggenburger bis zu ihrem Aussterben im Jahr 1436 beherrschten.
Mit der strategisch geschickt platzierten Anlage behinderten die Grafen von Toggenburg zudem den Handelsverkehr der mit ihnen befehdeten und expandierenden Stadt Zürich über die Bündner Pässe. Sie standen in einem vermutlich andauernden Kleinkrieg mit anderen aufstrebenden Adelsfamilien und dem Kloster St. Gallen sowie Graf Rudolf von Habsburg, der sein Einflussgebiet beständig zu vergrössern versuchte.
Im Verlauf der Regensberger Fehde in den Jahren 1267 bis 1268 waren die Grafen von Toggenburg vermutlich Verbündete der Freiherren von Regensberg. Burg Uznaberg soll im Frühjahr des Jahres 1267 oder 1268 von Zürcher Truppen unter dem Kommando von Graf Rudolf von Habsburg belagert und zerstört worden sein. Die Übrigbleibsel der Wehranlage dienten danach als Steinbruch (Quelle: Wikipedia).