В 1784 году земельный участок, где находится дом, принадлежал городскому голове купцу И.О.Булдакову. Впоследствии этот участок оказался в собственности Петра Матвеевича Булдакова, который, по всей видимости в конце XVIII века, возвел этот дом. П.М.Булдаков – брат знаменитого устюжанина Михаила Матвеевича Булдакова (1766–1830), предпринимателя и путешественника, «первенствующего» директора Российско-Американской компании, члена-корреспондента Императорской академии наук.

Вот что писал о судьбе дома известный великоустюгский краевед Николай Михайлович Кудрин: «После смерти Петра Матвеевича в 1844 году дом был продан, и в нем на втором этаже поместилось уездное училище. Здесь же была квартира смотрителя училища В.А.Круглова, в семье которого в 1853 году родился сын Александр Васильевич, ставший впоследствии известным в России писателем. А.В.Круглов после смерти отца был увезен в Вологду, где учился в гимназии, затем с 1873 года жил в Петербурге. Много работал и издал ряд книг. В «Историческом вестнике» 1894–1895 годов напечатаны «Воспоминания» А.В.Круглова. С открытием же в 1845 году женского приходского училища разместили таковое на первом этаже дома, предварительно перестроив его по проекту инженера Фортунатова. Затем в здании размещались приходские и начальные школы. После Октябрьской революции в доме находились разные учреждения, а с 1923 по 1929 год его занимали старшие классы первой семилетней образцово-показательной школы. В этой школе учился доктор филологических наук, профессор, академик Б.А.Серебренников. Борис Александрович Серебренников родился 6 марта 1915 года в Холмогорах. Отец его, Александр Иванович, окончил учительскую семинарию в Тотьме и педагогический институт в Петербурге, работал в Холмогорах и Яренске, откуда в 1923 году был переведен в Великоустюгский педагогический техникум. Мать – Мария Васильевна – учительница, до революции работала в Благовещенской сельской начальной школе около Великого Устюга. В школе он отличался большими способностями, скромностью и серьезностью. К шестому классу владел немецким языком, занимался французским, при этом заметно преуспевал в изучении и других учебных дисциплин. Был рабочим, затем учился в московском Институте новых языков, в Московском институте философии, литературы и истории. Сапером прошел Великую Отечественную войну. После защиты кандидатской диссертации преподавал в Московском государственном университете. В 1950 году Б.А.Серебренников становится заместителем директора Института языкознания Академии наук СССР, а после защиты докторской диссертации – директором Института языкознания, избирается членом-корреспондентом Академии наук СССР, а затем академиком. Он член пяти зарубежных научных обществ, автор 320 печатных научных трудов, член Финской и Венгерской академий наук, удостоен многих правительственных наград, член КПСС с 1950 года. Б.А.Серебренников воспитал плеяду ученых, успешно работающих в различных областях языкознания». Б.А.Серебренников умер 28 февраля 1989 года».

В советское время здание занимал Дом обороны, райсовет Осоавиахима. После Великой Отечественной войны его передали ГПТУ № 3, позднее в нем размещалось строительное управление №200.