Дворец епископа был возведен в 1755 году, в стиле барроко. Дворец был построен, когда начался рост города под стенами крепости Шюмег.

Шюмег - город находится примерно в 150 километрах к юго-западу от Будапешта, в 20 километрах к северо-западу от Тапольцы. В городе есть железнодорожная станция. Время в пути на поезде до Будапешта — около 4 часов. Автомобильные дороги связывают Шюмег со всеми окрестными городами.