Уже в 1109 г. крепость Альтенбург была подтверждена документально как собственность учреждения Св. Якоба. В 1124 г. епископ Отто Святой предпринял освящение крепостной капеллы. С середины 13-го века крепость была в пользовании архиепископов как неприступная крепость для беженцев, а позднее как Резиденция. Крепость была богато оформлена художественными сокровищами. Во времена правления епископа Георга III-го Шенк фон Лимпург эту крепость посетил (в 1505 г.) Альбрехт Дюрер и Др.Фауст.

В Маркграфской войне 1553 г. крепость была разграблена и обширно разрушена пользовавшимся дурной славой Альбрехтом Альцибиадесом фон Бранденбург-Кульмбахским. От средневекового строения осталась только центральная башня (13 век), высотой в 33 м, и часть стены. В верхней части башни еще висит железная корзина, с помощью которой раньше подавали огненный сигнал в направлении удалённого на 20 км Гихбурга.