Замок Касселбург расположен на вершине горы над рекой Килль рядом с поселка Пельм на севере земли Рейнланд-Пфальц. Южный и восточный склоны горы крутые, северный пологий, но над ним возвышается скала. С западной стороны замок был отделен от полого склона рвом, через который к воротам вел мост.

Замок строительство замка началось предположительно в 12 в. К концу этого века относится нижняя часть старого бергфрида.

В 1291 замок впервые упомянут документально как "Castilburg", собственность графа фон Бланкенхайм.