Возведение замка началось в XIII в. Постройка оставалась незаконченной, пока Пьер II Савойский не завоевал Ивердон в 1259 г. и не возвел этот внушительный замок с четырьмя круглыми башнями. С изменениями, которые были внесены в основном в XIX в., когда замок потерял свой феодальный характер: рвы, окружающие его, были в зсыпаны.

В настоящее время в замке находится музей, коллекция которого отображает местную историю с доисторического периода. Представлена также региональная фауна. В северо-восточной башне один из залов посвящен выдающемуся педагогу Песталоцци.