Замок Вартензее - башня построенная в 1243 году, рыцарем Генрихом фон Вартензее. Замок являлся родовым замком этого семейства, до 1372 года, пока не умер последний мужчина из этого рода, а единственная наследница - Клара фон Вартензее вышла замуж за Вальтер Бларера. И замок оставался в руках этой семьи до 1791 года.

В 1843 году замок купил английский композитор барон Роберт Лукас Персаль де Вильсбридж. Он реконструировал большую часть замка в псевдоготическом стиле.

Сейчас замок находится во владении ветви семейства Бларер - семейству Баслер.