Графенстейн впервые упоминается в 1237. Центральный объект башня Паласпорт, вероятно, построена в 12 веке и, в Хохенстфуфенский период.

В 1421 году был расширен.

в 1525 г. во время Крестьянской войны был разрушен. В 1535, замок, был перестроен, а затем использовался в качестве резидента Палатинского Рупрехт фон Пфальц-Велденского. 1635, во время тридцатилетней войны, замок был сожжен и навсегда стал непригодными для жизни.