При Карле Кнутсоне были пристроены новые башни и покои, обновлены рыцарские залы и парадные комнаты. В 1470-е годы при наместнике Эрике Аксельссоне Тотте весь город был обнесён каменной крепостной стеной с 10 башнями и бастионами, земляным валом и рвом, наполненным водой.

В сентябре 1495 года Выборгскую крепость осадили русские войска под командованием Ивана III. По преданию, когда Выборг был практически осажден, в небе над городом появился крест. Русские войны сочли это плохим предзнаменованием, сняли осаду и ушли от крепости. В 1525 году Выборг стал владением графа фон Гойа, взявшего в жёны сестру шведского короля Густава Ваза. При нём в городе прибавилось богатых переселенцев из Любека, Гамбурга, Бремена и других ганзейских городов. В быту горожан стали преобладать немецкие обычаи, открывались храмы, учреждения образования. Во второй половине XVI века к старому городу пристроили новую часть — Рогатую крепость, или Вал, значительная часть которой сохранилась до наших дней. XVI—XVIII были особенно насыщены русско-шведскими войнами, почти во всех из них Выборг играл важнейшую роль как ближайшая к России база размещения шведских войск.