Тотемское духовное училище было открыто в 1815 г. Первоначально оно находилось в небольшом деревянном флигеле, расположенном на территории Спасо-Суморина монастыря. В 1824 г. училище было переведено в деревянный дом тотемского купца Осипа Нератова, но это помещение также оказалось неприспособленным для нужд учебного заведения.
В 1860 году правлением семинарии для духовного училища был куплен каменный двухэтажный дом с двумя флигелями на улице Большой Садовой (ныне Ворошилова), построенный купцом Кузнецовым и принадлежавший присутственным местам. В 1879 г. в связи с закрытием Вельского духовного училища число обучающихся в Тотемском духовном училище значительно выросло. В связи с этим по проекту вологодского архитектора И.И.Павлова была произведена переделка старого и постройка нового здания, непосредственно примкнувшего к старому двухэтажному зданию. Для строительства нового здания потребовалось значительное количество кирпича. Для этого правлению училища было разрешено выстроить собственный кирпичный завод на арендованной у Богоявленского собора земле. Работы по переустройству зданий были начаты весной 1897 г. К 1899 г. строительство нового здания было почти завершено. В 1900 г. велись работы по приспособлению старого двухэтажного дома под квартиры училищного начальства. Отделка зданий была закончена в 1901 г.
На втором этаже, на углу юго-западной части здания, была выстроена домовая церковь, рассчитанная на 300 человек. В 1901 г. она была освящена преосвященным Алексием в честь преподобного Сергия Радонежского. Многие тотьмичи оказывали помощь в обустройстве и оформлении этой церкви: художник Ф.М.Вахрушов написал иконы для иконостаса, М.И.Киренков внес денежные средства на выполнение лепных работ, А.А.Попов подарил церкви выносной позолоченный крест… После революции духовное училище было закрыто.
В годы Гражданской войны в здании бывшего духовного училища размещался отряд красноармейцев. Вскоре здесь снова разместились учебные заведения: до 1927 г. в здании располагалась школа 2-й ступени, затем – затем школа-девятилетка с педагогическим уклоном, средняя школа № 2 (в 1977 г. она была переведена в новое двухэтажное здание на улице Осипенко, 5), восьмилетняя школа. В настоящее время в южном и восточном крыльях здания размещается Тотемская средняя общеобразовательная школа № 3, а в помещении бывшей домовой церкви находится актовый зал школы.
С 1923 г. в здании бывшего духовного училища (в кирпичном двухэтажном здании, построенном купцом Кузнецовым) размещается Тотемский краеведческий музей – один из самых старых краеведческих музеев Русского Севера.
Тотемский музей местного края был основан в 1915 г. при Тотемском отделении Вологодского общества изучения Северного края (ВОИСК), члены которого геоботаник Н.В.Ильинский (1884–1943), фольклорист М.Б.Едемский (1870–1933), художник Ф.М.Вахрушов (1870–1931) стали его инициаторами и организаторами. Н.В.Ильинский, в квартире которого первоначально размещался музей, подарил музею геологическую коллекцию и гербарий растений Тотемского уезда. М.Б.Едемский передал музею коллекцию этнографического материала и фотографий, отражающих быт крестьян Тотемского уезда. В фонды музея поступили книги В.Т.Попова (1828–1899), основавшего в Тотьме в 1879 г. публичную земскую библиотеку.
В ноябре 1919 г. было принято решению о переводе Музея изучения Северного края в подчинение Тотемскому отделу народного образования. 7 ноября 1920 г. в помещении Пятовской трудовой школы состоялось открытие музея. В то время в музее было три отдела (естественно-исторический, археолого-исторический и этнографический) и библиотека. Тогда музей располагал 255 экспонатами и 525 книгами. В 1920 г. директором Тотемского музея местного края был назначен археолог Н.А.Черницын (1888–1973), много сделавший для развития музейного дела и краеведения.
Коллекции музея непрерывно пополнялись новыми материалами, для размещения которых потребовались дополнительные площади. В 1936 г. к восточной стороне здания краеведческого музея состоялась закладка кирпичной двухэтажной пристройки, строительство которой было завершено в 1956 г. На первом этаже пристройки разместилось фондохранилище, на втором – экспозиции музея.
В настоящее время Тотемский краеведческий музей и фондохранилище МБУК «Тотемское музейное объединение» по-прежнему занимают западную часть здания.