Участок земли, на котором в настоящее время стоит интересующий нас дом, в 1835 году был куплен коллежским асессором Николаем Васильевичем Баграковым у капитана 2-го ранга Фёдора Даниловича Ахматова. Тогда здесь стоял только флигель. Судя по резкому удорожанию стоимости этого домовладения, зафиксированному в окладной книге 1844 года, к этому времени Н. В. Баграковым был построен новый, существующий и ныне дом.

После смерти Н. В. Багракова в 1870 году дом перешел в собственность его вдовы Людмилы Николаевны Баграковой, а затем    –  дочери Екатерины Николаевны Дружининой. В 1875 году дом был продан вдове полковника Наталье Алексеевне Штольценвальд. В  1888 году имущество Н. А. Штольценвальд на территории усадьбы состояло из дома, двухэтажного полукаменного флигеля, каменного погреба, деревянных каретника и конюшен.

В 1890 году усадьба перешла в собственность Николая Александровича Волкова (1854 – после 1920). Декор дома (в частности, оформление окон) был изменен в соответствии со вкусами новых хозяев. Купец первой гильдии Н. А. Волков был одним из самых богатых людей города. Он владел маслозаводом и «пряничным» заведением, каменным корпусом лавок и шестью домами в городе, лесными дачами в Вологодском, Кадниковском и Устюженском уездах? несколько раз избирался на должность городского головы Вологды b неоднократно представлял жителей города на всероссийских торжествах, например, в дни коронации Николая II он подносил императору хлеб-соль.

В дореволюционное время усадьба Волковых была одним из центров культуры города. Елена Николаевна, получившая университетское образование в Санкт-Петербурге, являлась одним из активных участников Северного кружка любителей изящных искусств (СКЛИИ). В 1912 году ее избрали председателем правления СКЛИИ, и она руководила деятельностью кружка на протяжении всего остального времени его существования. В 1912 году Елена Николаевна открыла в собственном доме на улице Большой Козлёнской художественную школу, которую содержала за свой счет. Здесь же размещалась библиотека кружка.

В 1915–1916 годах на базе коллекции СКЛИИ организовали публичный художественный музей, многие картины для которого были приобретены на средства Е. Н. Волковой. Под музей выделили помещение в здании Дворянского собрания, а после революции он разместился в доме Волкова на Петроградской. В  это время музей стал активно пополняться за счет произведений искусства, вывозимых из вологодских усадеб.

В ноябре 1919 года коллегия губернского отдела народного просвещения приняла решение СКЛИИ закрыть, его библиотеку и здание со всей обстановкой передать Государственным свободным художественным мастерским (Госвохум), к слову сказать, созданным на базе художественной школы Е. Н. Волковой, а музей перевести в другое помещение.

Волковы в это время ютились в одной небольшой комнате, при этом постоянно находясь под угрозой выселения не только из дома, но и из города. Елена Николаевна в родной город после закрытия кружка, по всей видимости, не возвращалась. Последние сведения о пребывании в Вологде ее родителей относятся к октябрю 1920 года. Исследователь Н. М. Дьяконицына полагает, что они уехали к дочери в Петроград.

В декабре 1919 года началась передача имущества кружка, закончившаяся уже в 1920 году. Художественная коллекция СКЛИИ была размещена в бывшем Архиерейском доме и вскоре стала частью фондов Вологодского объединенного государственного музея (будущего Вологодского областного краеведческого музея, ныне – это Вологодский государственный историко-архитектурный и художественный музей-заповедник), а в 1952 году значительная ее часть передана оттуда в создававшуюся Вологодскую областную картинную галерею.

В 1921 году художественные мастерские были преобразованы в Вологодский художественный техникум, просуществовавший до 1924 года. После закрытия учебного заведения здесь до 1955 года располагалась инфекционная больница, затем дом вновь стал жилым.