Ансамбль построек архиерейского двора (подворья) располагается к востоку от Соборного Дворища в квартале между набережной Сухоны и Советским проспектом. Он стал центром самостоятельной Великоустюжской и Тотемской епархии. До 1682 года Устюжский край входил в состав Ростовской епархии, а роль представителя епархиального архиерея в крае играл настоятель Михайло-Архангельского монастыря. При первом устюжском архиерее Геласии на этом месте были поставлены первые деревянные «хоромы», а при его преемнике Александре в 1680-х годах началось каменное строительство. Одним из крупнейших устюжских гражданских сооружений раннего периода стал двухэтажный архиерейский дом, построенный по указанию епископа Александра в 1680–1690-х годах параллельно набережной. Главным сооружением архиерейского дома выступал корпус владычной палаты, где находилась приемная зала устюжских епископов, известная под названием Крестовой кельи.

В 1690 году в состав комплекса вошла двухэтажная надстроенная церковь Алексея, митрополита Московского, и еще два небольших каменных здания, построенные по периметру квартала, центр которого был занят садом и огородом, деревянными хозяйственными постройками. В здании, примкнувшем к церкви с востока, располагался казенный приказ. Еще два корпуса выходили фасадами на Успенскую улицу, в одном из них размещалась хлебня, другое использовалось для хозяйственных нужд: там находились погреба и ледники, пивоварня, сушило. Позднее все здания подверглись перестройкам.

Интересна история Алексеевского храма. Первый этаж был построен в 1672 году устюжским мастером П. Д. Котельниковым на средства купца Афанасия Федотовича Гусельникова и до 1690 года являлся самостоятельной теплой церковью в честь Похвалы Пресвятой Богородицы с приделом святителя Алексия, митрополита Московского, при Прокопьевском соборе. В 1690 году над зданием надстроили второй этаж, храм в котором был посвящен Рождеству Христову. Тогда же церковь включили в состав комплекса Архиерейского двора, она стала его высотной доминантой. Превращенный в домовую архиерейскую церковь храм был соединен деревянными переходами с парадными покоями архиерейского дома. В 1716 году отстроенную после пожара церковь освятили во имя митрополита Алексия, Московского чудотворца.

По сведениям переписных книг 1701 года архиерейский двор – это довольно обширный и сложный ансамбль, включающий несколько корпусов и различные службы. Он имел в окружности 0,5 км, занимал площадь 1,3 га, его территория напоминала форму вытянутого вдоль реки правильного прямоугольника. Комплекс не раз страдал от пожаров. В 1730-х годах после очередного пожара владычные палаты полностью были перестроены и соединены переходами с соседними корпусами, а вся территория двора обнесена невысокой каменной стеной, разобранной в XIX веке.

После упразднения епархии в конце XVIII века обгоревший комплекс зданий некоторое время пустовал, а в 1805–1818 годах был приспособлен под размещение городских присутственных мест, казначейства, лазарета и гостиного двора. 
В 1820 году Алексеевскую церковь вновь приписали к Прокопьевскому собору, а в 1860-х годах после пристройки теплого Тихоновского придела к Прокопьевскому собору первый этаж Алексеевского храма упразднили.

В 1823 году к зданию присутственных мест со стороны двора была пристроена двухэтажная каменная маленькая, скромно декорированная церковь Спаса Нерукотворного, называвшаяся Всеградской. Здание возвели на средства купеческой вдовы Марии Ивановны Юринской. О посвящении и появлении храма рассказывают в книге «Сольвычегодск. Тотьма. Великий Устюг» Г. Бочаров и В. Выголов: «История возникновения этого храма достаточно интересна. Согласно летописным данным, в 1445 году «на вратах градских, на башне новоустроенного Городища на Прилуце» поставлен «образ Нерукотворный Спаса», который «начертан бысть многогрешным рабом ермонахом изографом Серапионом». Эта икона была написана по обету горожан для избавления от моровой язвы. Она имела также охранительный смысл, защищая въезд в город от нападения врагов, аналогично своему древнему прототипу — прославленной византийской иконе «Спас Нерукотворный». Образ простоял на деревянной башне городища до 1636 года, когда над проездом была построена надвратная шатровая Спасская церковь, в притвор которой он был перенесен в качестве храмового. В 1699 году церковь сгорела и больше не восстанавливалась, а икона, побывав в двух других устюжских храмах (сперва в теплом Варлаамовском, затем в приделе Вознесенского), была перенесена в 1823 году в это сооруженное для нее здание». Главный престол в честь Спаса Нерукотровного образа находился на втором этаже и был освящен 27 мая 1823 года. При ремонте в середине XIX века в части помещений сводчатые перекрытия были заменены деревянными подшивными потолками. В 1874 году великоустюжский купец Василий Дмитриевич Власов установил в церкви новый вызолоченный резной иконостас, потратив на это 1150 рублей.

В XX веке в зданиях комплекса размещались самые различные организации. Судьбу зданий в XIX—XX веках описал Н.М.Кудрин: «Наконец все это место было отдано в распоряжение города. После восстановительного ремонта и реконструкции, на которые деньги давал купец А. П. Воробьев, в бывшем архиерейском доме в 1821 году разместились присутственные места, судебное присутствие, магистрат, сиротский суд, городская дума, общественный заемный банк. В здании, находящемся около собора, заняла место почтовая контора, а в 1874 году здесь открылась телеграфная станция. В здании, расположенном по Успенской улице, поместилась городская полиция. В доме на Набережной улице, где в прошлом веке были присутственные места, с начала XX века разместились городские учреждения, там же устроили и солдатскую казарму. После Великой Октябрьской социалистической революции бывшее архиерейское подворье стало служить иным целям. Здание рядом с собором занял аптечный склад. В Алексеевской церкви с 1923 по 1927 год находился губернский архив. В здании на набережной сначала помещались различные службы, а с 1925 года — Дом крестьянина, при котором в помещении Спасской церкви с 1919 года было правление пожарного общества, а затем — клуб, имевший отдельный вход с набережной. С переводом аптечного склада в другое помещение эта часть здания была отремонтирована и переоборудована под столовую Дома крестьянина. Проект разрабатывал Г. В. Павлушков, работы выполнялись в 1929 году, а с 1930 года стала действовать столовая, занимавшая первый этаж. Второй этаж отдали под комнаты Дома крестьянина. Часть здания по Советскому проспекту кратковременно занималась различными учреждениями. Таким образом, большая часть этого комплекса зданий отошла в распоряжение Дома крестьянина, основное здание которого еще в 1927 году по проекту Плюснина было отремонтировано и перепланировано. В указанных помещениях Дом крестьянина, переименованный позднее в Дом колхозника, находился до 1941 года. С начала Великой Отечественной войны здесь разместился военный госпиталь, а в послевоенные годы — больница для инвалидов войны…»

В настоящее время в здании располагается БУЗ ВО «Вологодский областной противотуберкулёзный диспансер № 3».