Дом губернатора возведен в 1785–1792 гг. в стиле классицизма. Считается, что первый этаж здания включил в себя построенные еще в XVII в. каменные палаты соляного двора подворья Спасо-Прилуцкого монастыря. Об этом напоминают массивные каменные стены, перекрытые коробовыми и сомкнутыми сводами с распалубками. Монастырь богател, приобретая земельные владения, осуществляя добычу и продажу на льготных условиях соли. Для складирования и последующей продажи соли монастырем в 1675–1679 гг. были выстроены специальные каменные помещения. В писцовой книге города Вологды 1627 года сообщается: «Двор Спасо-Прилуцкого монастыря, в длину 51 сажень, а поперег 32 сажени, а преж того были исадныя места, лежали государевы городовые бревна, как учат был город каменной делати, а тот двор на том месте стоит лет 30 и болши». Во второй половине XVIII в. монастырское землевладение было ликвидировано, и территории монастырских дворов вместе со всеми строениями перешли в собственность государства.

Строительство дома губернатора совпало с принятием первого генерального плана застройки Вологды, согласно которому новым административным центром города стал район, окружающий Парадную площадь (ныне Советскую, с Кировским сквером на ней). Вокруг площади в конце XVIII и в XIX в. построено несколько крупных зданий.

Как установила Р.М. Лазарчук, здание строилось известным вологодским подрядчиком М.Ф. Колесовым по проекту ярославского губернского архитектора И.М. Левенгагена, который составил «план и фасад губернаторскому дому со службами» в 1782 г. Наблюдал за ходом работ вологодский губернский архитектор П.Ф. Бортников.

Со времени учреждения губернии и губернаторского правления этот дом был резиденцией почти сорока губернаторов, среди которых было немало замечательных людей, внесших весомый вклад в устроение вверенной им губернии. «Господин начальник губернии», как его величали современники, сосредоточивал в своих руках всю полноту административной власти: председательствовал в городских и губернских учреждениях, принимал чиновников и посетителей, издавал распоряжения, контролировал выполнение императорских указов и рескриптов.

В этом здании в 1824 г. был император Александр I, а в 1858 г. – император Александр II, а также великие князья Алексей Александрович, Владимир Александрович и Сергей Александрович Романовы.

После Февральской революции в здании разместился Вологодский губернский исполнительный комитет Совета рабочих, крестьянских и солдатских депутатов, который первоначально делил помещения с комитетами губернских отделений нескольких политических партий. С победой Октябрьской революции в рядах исполнительного комитета была произведена основательная чистка: большевики избавились от «нежелательных попутчиков» – меньшевиков и эсеров, а главой исполкома был избран большевик Ш.З. Элиава, первым помощником которого стал А.В. Мальцев. Вскоре в дом переехал и Вологодский губком партии. Партийные и советские органы власти занимали помещения дома губернатора до 1920 г. Позднее в здании размещался городской отдел внутренних дел, а с 1977 г. – Советский районный отдел внутренних дел.

В 1960 г. согласно постановлению Совета Министров РСФСР губернаторский дом был включен в список памятников архитектуры, подлежащих государственной охране как памятники местного значения.