Земли Гарморана, на которых находится замок Чирам, перешли в собственность клана через брак в начале XIV века, когда правитель Островов Джон Макдональд взял в жены их наследницу, свою дальнюю родственницу Эми Макрори. По легенде именно Эми возвела замок, но, так как его внушительная крепостная стена датируется XIII веком, то скорее всего в ее время замок уже стоял на острове, а она лишь увеличила высоту стены и сменила деревянные строения внутри нее на каменные.