Крепость Веспрем расположена в одноименном древнейшем городе Венгрии. Она была основана во времена правления короля Иштвана Святого, однако по сообщениям летописца князя Белы III на скале, где была возведена Веспремская крепость, уже был замок, когда венгры пришли в этот регион. Вероятно это было укрепление франков, построенное в эпоху Карла Великого. Веспрем стал первой резиденцией венгерских епископов, епископат здесь был утверждён в 1009 году. Веспремским епископам издавна принадлежала привилегия короновать венгерских королев, из-за чего Веспрем называли «городом королев».

К XIII веку Веспремская крепость стала хорошо укреплённой твердыней на крутом и скалистом холме с мощными стенами. В 1241 году монгольское войско не смогло её взять и отступило от города. В 1552 году Веспрем был захвачен турками, однако они были быстро изгнаны, благодаря чему в городе сохранилось больше средневековых памятников, чем во многих других венгерских городах.

В 1706 году стены крепости были разрушены австрийскими солдатами.