В середине XX в. М.В. Фехнер на основе архивных документов показала, что владельцем большой городской усадьбы, главный дом которой сохранился до наших дней, был адмирал Балтийского флота Иван Яковлевич Барш. Он родился в 1728 г. в Вологде в семье вице-адмирала Якова Саввича Барша. В возрасте восьми лет Иван Яковлевич поступил волонтером на Балтийский флот. За свою многолетнюю военную службу он неоднократно принимал участие в сражениях, среди которых знаменитая битва в Чесменской бухте, в разное время командовал кораблями и гарнизонами Ревельского и Архангельского портов, служил в Санкт-Петербурге. Иван Яковлевич – первый из вологжан, кто был удостоен адмиральского чина (1790 г.), он вышел в отставку в сентябре 1797 г. и поселился в Вологде.

И.Я. Барш не был первым владельцем дома. Впервые двухэтажный каменный дом с флигелем появляется на плане города 1780 г., где его абрис перечеркнут карандашом. На конфирмованном плане Вологды 1781 г. здание не обозначено. Это позволило М.В. Фехнер датировать его постройку началом 1780-х гг. Из документов Вологодской казенной палаты следует, что особняк был куплен адмиралом у вологодского купца Афанасия Ивановича Узденникова, который, в свою очередь, получил его по просроченной закладной от Василия Афанасьевича Кулькова.

Согласно генеральному плану, городская усадьба Кулькова занимала обширный участок в центре заречной набережной. Со двора к особняку примыкали две деревянные пристройки. По обе стороны здания располагались небольшие садики. За ними в глубине двора был выстроен каменный флигель, деревянная конюшня и каретный сарай. Территорию владений замыкал большой сад с выкопанным прудом.

После смерти Ивана Яковлевича в 1806 г. усадьба перешла в наследство его сыну Николаю (1762–1816). В отличие от отца Николай Иванович больше отличился не на военной, а на гражданской службе. В период своей статской службы в Вологде Барш проживал на казенной квартире, так как родовой особняк он продал городу вскоре после смерти отца в феврале 1807 г. В доме, оцененном в семь тысяч рублей, размещалась квартира вице-губернатора. Во второй половине XIX в. здание было несколько реконструировано (в частности, деревянные пристройки к дому были заменены каменными), и здесь временно разместилось Губернское правление. Затем особняк был вновь приспособлен под казенные квартиры.

В советское время дом использовался для разных учреждений. В 1930-е гг. в нем был расквартирован кавалерийский батальон 10-й дивизии, затем здание занял ведомственный детский сад, с конца ХХ в. в нем располагается Вологодский гарнизонный военный суд.

В конце 1960-х гг., когда в Вологде снимался фильм «Дядюшкин сон» по повести Ф.М. Достоевского, в доме «жила» Марья Александровна Москалева – «главная дама города Мордасова». В начале фильма возок с князем, постояв у городской заставы, летит по заснеженному Заречью и останавливается у каменных ворот именно этого дома.

В 1960 г. согласно постановлению Совета Министров РСФСР дом губернского правления (дом Барша) включен в список памятников архитектуры, подлежащих государственной охране как памятники местного значения.