Дворец Меншикова в то время стоял на месте Сената. Так появилась улица, которая вела к Галерному двору, где строили гребные суда для флота. Здесь был устроен огромный Канатный двор, огороженный каналами, что превращало его в остров, где безопасно хранились горючие материалы: пенька, деготь и смола. Он существовал до конца XVIII века.

Постепенно на Галерной стали появляться доходные дома и флигели дворцов, выходящих на набережную. Владельцами домов здесь были представители высшей аристократии. На Галерной жили Пушкин и Салтыков-Щедрин, архитектор Стасов и врач Боткин. В советские годы улица стала Красной, а в 1991 г. вернула свое историческое название.

Стены особняка, построенного в середине 1730-х гг., помнят очень именитых хозяев. Его первым владельцем был двоюродный брат первой жены Петра I Степан Лопухин, действительный камергер и вице-адмирал. Оформленный в стиле барокко особняк был украшен ризалитами и балконом.

Затем этот дом приобрел куафер и парикмахер императрицы Анны Иоанновны Пьер Лобри. С 1789 по 1816 гг. особняком владел лейб-медик Екатерины II Джон Роджерсон, а после его отъезда в Лондон дом приобрела Варвара Юшкова, жена шталмейстера и камергера Иосифа Юшкова. Получив дом в наследство, ее дочь Мария сдавала его в наем, а в 1845 г. продала Почтовому департаменту. В то время письма отправлялись в Европу с пристани на Английской набережной, так что это место оказалось исключительно удобным для департамента.