Зарайский кремль был возведен в 1528—1531 по приказу Василия III в небольшом селении Новогородок-на-Осетре, до того огороженном острогом. Уже в 1533 кремль осаждали татары. В 1528 деревянный Никольский храм был перестроенный в каменном виде, и город стал называться город Николы Заразского на Осетре. В 1541 на кремль напало войско во главе с ханом крыма Сахибом I Гиреем, который не смог взять город и был повергнут воеводой Н. Глебовым. Нападения крымцев на город совершались также в 1544, 1570, 1573, 1591. В XVII в. город стал называться Зарайском. С конца XVII в. кремль теряет оборонное значение. В 1681 году по указу царя Федора Алексеевича внутри кремля вместо обветшавшего каменного был возведен кирпичный Никольский храм.

Каменный кремль, возведенный в 1528—1531, занимает площадь 134 x 190 м, прямоугольный в плане. В кремле 8 мощных башен, из которых 3 с воротами. Четвёртые (Троицкие — в восточной стене) ворота пробиты в 1789. Никольский собор (1681) с деревянной звонницей.