В 1331 году произошла Эльцская распря. Эльтц был имперским замком, но его окружали владения архиепископства Трирского. К 14 веку императорская власть была уже ослаблена спором об инвеституре. Вследствии чего, архиепископ Балдуин потребовал от рыцарей фон Эльтц принесения вассальной присяге. Рыцарей, однако, вполне устраивало то, что их сюзереном был далекий император. Длительная осада ничего не дала. Тогда в течении нескольких месяцев был воозведен контрзамок Балдуин-Эльтц или Трутц-Эльтц. Расстояние между двумя замками по прямой всего 290 м, кроме того, Трутц-Эльтц расположен значительно выше и практически доменирует над Эльтцем. Он имеет четырех угольное ядро с квадратным бергфридом, находящееся на отделенном внешней стеной и рвом языке горы. Замок мог иметь лишь небольшой гарнизон, однако для рыцарей фон Эльтц он был неприступен. Кроме того, Трутц-Эльтц отрезал Эльтц от дороги на плодородный Майфельд, а также его гарнизон мог контролировать дорогу на Айфель, проходящую вдоль реки, и главный вход в Эльтц. Упорство обитателей старого замка было сломлено. После окончания распри Трутц-Эльтц утратил свое значение, опустел и быстро пришел в упадок.