В 1145 году было первое упоминание о замке Хардегг. Первыми владельцами были графы Хардегг. После Хардеггов следующими владельцам замка были Магдебург-Хардэггеры. При их правлении замок был значительно расширен (были построены башня, дворец, часовня), пока не стал одним из крупнейших в стране. После смерти бездетного графа Михаил Рейха фон Хардега, замок перешел во владение Габсбургов в 1499 году. В 1502 году в замке была отчеканена первая серебряная монета.

В середина 17-го века, у замка сменились владельцы и теперь он перешел в владение Кхевенхуллерам-Метсч. При пожаре города в 1764 году, жители города использовали камни и дерево от замка для восстановления своих домов.