Здание располагается на углу Советского проспекта (до 1918 года – улица Успенская) и Красного переулка (до 1918 года – Торговый) по современному адресу: Советский проспект, 101. В настоящее время оно соединено со зданиями по общему адресу Советский проспект, 103, однако все каменные здания построены в разное время и имеют свою отдельную историю. 

Начало истории интересующего нас и необычного для Великого Устюга здания ориентировочно восходит к середине XIX века – к этому времени на бывшей улице Успенской, близ места ее пересечения с Красным переулком, уже располагался двухэтажный дом. Сначала он принадлежал Григорию Васильевичу Усову, в 1860-х годах был продан купчихе Ольге Жилиной, после её смерти перешёл по наследству (с 1871 года) трём сыновьям Жилиной.

Братья Жилины начинают постройку нового двухэтажного дома, который располагают от угла по Торговому переулку впритык с имеющимся на улице Успенской. В ходе строительства было принято решение надстроить третий этаж. Согласно сведениям краеведа Николая Михайловича Кудрина, «в мае 1872 года застройщики обратились в городскую думу за разрешением изменить проект с тем, чтобы построить третий этаж. Такое разрешение им дали. После завершения постройки часть дома, обращенная на Успенскую улицу и частично на Торговый переулок, получила двухэтажное исполнение, а другая, большая часть, выходящая на Торговый переулок, стала трехэтажной».

Здесь размещались квартиры владельцев, клуб, гостиница «Россия» и магазины. Дому очень не везло: дважды – в 1882 и 1901 годах – он сильно пострадал от пожаров. В ходе восстановительных работ был разобран третий этаж. На втором этаже в 1903 году разместился организованный в 1881 году Всесословный клуб. Посещавшие этот клуб члены Всесословного общественного собрания и их семейства имели возможность, как писали в те времена, «проводить свободное от занятий время с удобством, приятностью и пользою». Здесь устраивались балы, танцевальные, музыкальные и литературные вечера, маскарады, можно было почитать или поиграть в шахматы, шашки, домино, биллиард, карты. При клубе действовал любительский театр. В 1907 году к зданию со стороны двора была сделана двухэтажная пристройка, где в 1909–1912 годах находился кинотеатр «Модерн».

В 25–29 декабря 1919 года в здании проходил первый Северо-Двинский  съезд Российского Коммунистического Союза молодёжи. Об этом свидетельствует памятная табличка на здании.

В советское время здание продолжило быть местом просвещения и культурной жизни. Сначала здесь преподавались политехнические курсы, затем расположился клуб имени Карла Маркса. Он с 1922 года ­стал Домом просвещения имени Некрасова, затем – клубом ГСПС, с ноября 1925 года – клубом объединенных организаций, впоследствии переименован в  клуб труда и отдыха, с 1933 года ­– клуб имени Горького.  

Для исполнения в полном объеме новых, возложенных на здание функций в 1927–1928 годах по проекту техника Бубякина была осуществлена его реконструкция. По сведениям Н.М. Кудрина, «помещения первого этажа, занятые кладовыми и магазинами, освободили и большинство приспособили для работы кружков. Переделали парадный вход и гардеробную, изменили фойе и другие помещения. Клуб стал пригодным для работы в нем и городского театра, не имевшего своего помещения». После Великой Отечественной войны городской театр перестал существовать, а клуб стал городским Домом культуры.

Здание вновь подверглось перестройке, которая была проведена по проекту проектного бюро горисполкома с 1962 по ноябрь 1964 года. В итоге более чем на метр увеличилась высота здания, изменились и расширились зрительный зал, фойе, сцена, перенесен главный вход, перестроен первый этаж и боковое здание во дворе, где ныне помещается городская детская музыкальная школа.

В 1993 году здание как памятник архитектуры включили в список объектов культурного наследия регионального значения под наименованием «Административное здание».

В 2019 году приложением № 81 к приказу Комитета по охране объектов культурного наследия Вологодской области от 3 июля 2019 года N 6-О/01-07 «Об утверждении границ территорий объектов культурного наследия, расположенных на территории города Великий Устюг» https://docs.cntd.ru/document/561422443 определены координаты поворотных (характерных) точек границ территории объекта культурного наследия регионального значения Административное здание», расположенного по адресу: Вологодская область, г. Великий Устюг, Советский пр., д. 101, и режим использования его территории.

В 2021 году приказом Комитета по охране объектов культурного наследия Вологодской области от 1 июля 2021 года N 45-О/01-11 утверждено охранное обязательство собственника или иного законного владельца объекта культурного наследия регионального значения «Административное здание», расположенного по адресу: Вологодская область, г. Великий Устюг, Советский пр., д. 101. 

В настоящее время здание продолжает оставаться местом культурной и общественной жизни города. Здесь располагается  МБУК «Дом культуры города Великий Устюг», с деятельностью и мероприятия которого можно познакомиться на сайте.