Дом купца Матвея Фёдоровича Рудакова построен в 1873 году. Он имел богатую отделку и утопал в зелени. На первом этаже размещались лавки, на втором – комнаты, где останавливались приезжие. К юго-востоку от него находится земельный участок, на котором до пожара 1849 года стоял дом купца первой гильдии Алексея Фёдоровича Рудакова (после того, как дом сгорел, не его месте выстроил дом купец И.А.Веньгин).

В XVIII веке верховажские купцы Рудаковы имели торго­вые дома в Нерчинске, Кяхте, вели торговлю с Китаем. В числе представителей этой именитой династии купцов первой гильдии, обладавшей большими капиталами и имевшей широкую известность в торговом мире, были братья Матвей и Фёдор, Максим Михайлович, Алексей Фёдорович, Александр Григорьевич Рудаковы. Краевед В.Н.Филиповский отмечает: «Установление верховажскими купцами торговли с Китаем связано с указом царя Петра I. В 1701 году Пётр I направил на Вагу указ бурмистру Верховажского посада Ивану Охотинскому, в котором указывалось, что нужно выбрать с Ваги из гостиной сотни купца для посылки в Китай «человека к тому делу приличного, доброго, справедливого и прожиточного» (ЛОИИ, ф. 27, оп. 1, ед. хр. 240). Это говорит о том, что верховажские купцы в конце XVII – начале XVIII в. знали торговые пути и эффективно вели торговлю в Сибири, пользовались авторитетом далеко за пределами Верховажского края, о их торговой деятельности знало царское правительство и Пётр I. Видимо, направляя указ на Вагу, царь доверял верховажским купцам и рассчитывал на их успех в установлении торговых связей с китайскими купцами и стремился организовать с Китаем, широкую торговлю. Вполне возможно, во исполнение указа царя был направлен полномочным торговым представителем в Китай кто-то из династии купцов Юренских или Рудаковых, ибо купцы Юренские и Рудаковы через своих представителей и торговые дома в Кяхте и Нерчинске вели торговлю с Китаем. Их торговля чаем была известна во многих губерниях и Москве. Вероятно, при их содействии вели торговлю с Китаем и другие купцы с Ваги». Из купеческой династии Рудаковых бургомистрами Верхо­важской ратуши избирались Матвей Рудаков (1787–1789 годы) и Максим Рудаков (1789–1801 годы). Алексей Фёдорович Рудаков принадлежал к сословию почётных граждан, был церковным старостой (с 1838 по 1845 год).

Купец первой гильдии Алексей Фёдорович Рудаков в первой половине XIX века получил широкую известность как «чайный король». П. Воронов в Вестнике Императорского русского географического общества за 1860 год в статье «Верховажский посад (Вельского уезда)» отмечает, что купца Рудакова с его чайной торговлей знают по всей России. Закупая чай у китайских купцов, А.Ф.Рудаков способствовал распространению этого напитка в России. По его ини­циативе получили развитие «чайные столы» в ресторанах Москвы и Петербурга. К началу XIX века Россия стала самой «чаепотребляющей» страной мира. Во всех крупных русских городах элита общества с незначительными искажениями копировали английскую чайную традицию. «Английское» чаепитие было популярно в петербургских и московских салонах, гостиных и т.п. Этот «светский чай» был не столько потреблением напитка, сколько поводом для общения. Кроме того, существовала купеческо-помещичья культура чаепития с такими непременными атрибутами, как самовар, большое количество сладостей (особой популярностью пользовались сахар, мёд, варенья, конфеты, пироги, кулебяки, пряники, бублики и прочие мучные изделия). Открывались чайные, где чаем мог побаловаться и простой люд. Со временем чаепитие становится семейной традицией, а самовар превращается в непременный атрибут быта. Сложилась и традиция важского чаепития. В начале XIX века рядом с домом А.Ф.Рудакова появилась оранжерея, в которой рос виноград, лимоны, апельсины, грецкий орех, персики, померанцы, арбузы. Рудаковы славились своим садом, где росли яблони и вишни разных сортов. В начале 1840-х годов Алексей Фёдорович Рудаков переехал на постоянное жительство в Москву, а торговые дела в Верховажье продолжил ещё один представитель этой купеческой династии – Александр Григорьевич Рудаков, избиравшийся гласным Верховажской посадской думы.

После Октябрьской революции дом купца Матвея Фёдоровича Рудакова был национализирован. В 1920–1990 годах второй этаж занимал районный военный комиссариат, где в годы Великой Отечественной войны работал полный георгиевский кавалер Иван Фёдорович Сив­ков (1890–1967). За мужество и отвагу, проявленную на полях сражений Первой мировой войны, Иван Фёдорович был награжден четырьмя Георгиевскими крестами, тремя медалями «За храбрость» и именными серебряными часами с гравированной надписью «Стрелку 1-ой роты Ивану Сивкову от Его Императорского Величества Николая II». На первом этаже здания долгое время размещалась типография районной газеты, которая с 1935 года называлась «Сталинский путь», с 1957 года – «Путь к коммунизму», с 1991 года – «Верховажский вестник». На сайте газеты есть информация об истории оснащения размещавшейся здесь типографии: «В начале 70-х годов прошлого века качественно изменилось печатное оборудование в районной типографии. На смену громоздким машинам-реалам с ящиками металлических литер (букв) для ручного набора поступили линотипы (строкоотливные наборные машины). Несколькими годами ранее печатные машины, названные в типографиях «американками», которые приводились в действие ручным вращением колеса, были заменены на печатные станки, работавшие от электроэнергии. Они служили до марта 1998 года. Шума, грохота, специфического запаха в типографии они убавили немного, условия труда изменились мало, но это был уже шаг вперед... В 1998 году коренным образом изменился процесс допечатной подготовки и печати газеты. Устаревшее физически и морально печатное оборудование во многих районных типографиях было заменено цифровыми японскими печатными станками – ризографами. Компьютерная верстка давала почти неограниченные возможности для обновления облика газеты. Явный минус в этом техническом переоснащении был один – газете пришлось перейти на формат А4, т.е. привычная страница уменьшилась в размере до альбомного листа. В 2005 году формат газетной страницы снова стал привычным: заключив договор с вельской типографией, редакция перешла на офсетную печать».

С 2007 года в бывшем купеческом особняке размещается Верховажский районный Центр традиционной народной культуры.