Замок Пирмонт расположен на горе над речушкой Эльтцбах рядом с городом Роес, вдоль которого в Средние Века проходил важный торговый путь. Ниже по течению в 5 км по прямой находится знаменитый замок Эльтц.

Замок заложен в конце 12 в. Куно фон Шенебергом. В то время это были владения пфальцграфов. Уже его сын, Куно II, именует себя фон Пирмонт.

Впервые он встречается документально в 1225 г. в связи со спором между владельцем замка и церковью города Карден из-за угодий.