Развалины пфальца - императорской резиденции - расположены на правом берегу Рейна на северной окраине города Дюссельдорфа.

Замок Кайзерсверт находился на искусственном острове. Остров имел форму близкую к полукругу с радиусом около 50 м. По периметру шла стена форбурга. Вход был расположен в северной части форбурга, он был под защитой квадратной башни. Еще одна квадратная башня, меньшего размера, находилась на северном конце рейнской стены.

Первое упоминание об укреплении на месте замка относится к началу 8 в., когда мажордом королевства франков Пипин Геристальский создал в расположенном здесь имении монастырь. Уже в это время на остров, отделенный искусственным рукавом Рейна, защищали вал и палисад.

Замок впервые упомянут документально в 1016 году. Император Генрих II, примирившись с пфальцграфом Эццо и подарил тому имение с замком.