Замок Дун был возведен в конце XIV в. и первоначально принадлежал Роберту Стюарту, 1-му герцогу Олбани.

Женившись на Маргарет, графине Ментейт, Роберт Олбани получил титул графа Ментейта и Файфа. Второй сын короля Роберта II и брат Роберта III, в 1382 г. он был назначен лордом великим камергером Шотландии — и отвечал за сбор доходов в королевскую казну, а после смерти Роберта III был провозглашен правителем Шотландии.

После смерти Роберта замок перешел по наследству к его сыну Мердоку. Но в 1425 году он был казнен по приказу короля, замок перешел в собственность короны и в течении века использовался как королевский охотничий домик.