На пересечении дорог ведущих из Петербурга в Москву и из Петербурга в Саарскую мызу — летом 1714 года был возведен деревянный одноэтажный путевой дворец из восьми комнат, предназначеный для отдыха царской семьи во время поездок в Саарскую мызу (Царское Село). Дворец, называвшийся Среднерогатским, получил свое название оттого, что тут находились шлагбаум, или, как тогда говорили, рогатка, и сторожевая будка с караульными. Таких рогаток на пути находилось три: первая у городской заставы, вторая (средняя) — около дворца и третья — на прудовой мельничной плотине под Пулковской горой. Ставили их в петровское время для «препятствия проходу злонамеренных людей»: беглых солдат и крепостных, пытавшихся уйти из Петербурга; извозчиков, нарушавших царский указ о привозе на каждой подводе трех камней для мощения петербургских улиц, и тех городских жителей, которые хотели выехать без разрешения.

При сооружении площади Победы дворец не вписался в проект. Он стоял, обращённый главным фасадом к Московскому проспекту, а к парадной площади оказывался торцом. Советские власти приняли решение снести Среднерогатский дворец. Предполагалось построить его копию на новом месте, непосредственно на площади Победы, развернув его на 45 градусов. Дворец был обмерен, резные капители изящной работы с фасада дворца демонтировали и сохранили (они экспонировались на выставке «Архитектура Петербурга 1703—1917 гг.») в музее истории города. В 1971 г. Расстреллиевский дворец на Средней Рогатке был снесён. Перестраивать его не стали.