Первое укрепление на том месте, где расположен замок, появилось еще в XI веке. Долгое время замок Делгати находился во владении графов Бухан из клана Комин. Родоначальником этого клана по преданию был Робер из Комина, нормандский воин, в 1066 году высадившийся на острове вместе с армией Вильгельма Завоевателя и за отвагу в битве при Гастингсе получивший титул графа Нортумберлендского. С течением времени его потомки многократно преумножали богатство и могущество клана и даже породнились с королевским домом (в середине XII века Ричард Комин взял в жены Гекстильду, внучку Дональда III, что позднее позволило Коминам претендовать на корону). В общем, земли и титулы постепенно множились, и к концу XIII века клану не было равных.