Дом Неледина некогда был главным сооружением большой городской усадьбы на северной окраине бывшего Верхнего посада. Известный устюгский краевед Н.М.Кудрин в 1986 году писал, что «о размерах усадьбы можно судить по тому, что в 1790 году при доме купца Наледина был кожевенный завод, помещавшийся в здании на углу современных Красноармейской и Красной улиц, где ныне находится кондитерский цех хлебокомбината. По Красноармейской улице (если смотреть в сторону реки) при этом же доме стоял и другой одноэтажный корпус, занимаемый кладовыми (сейчас там находится пожарная команда)».

После перепланировки города дом оказался в глубине квартала, а территория усадьбы значительно сократилась. Н.М.Кудрин так описывал произошедшие изменения: «Начавшаяся в глубине веков застройка Устюга от Городища, а затем и местности около Успенского собора имела бесплановый характер. Возможно, что прежние; жилые строения располагались там, где стоит здание нынешнего райисполкома и другие дома. Первая улица в этом месте, как говорят летописи, была Дресвянка, которая шла от городской осыпи до Соборной площади. А поскольку Дресвянка, если смотреть в обратном направлении, шла от Соборной площади по направлению к Воскресенской церкви (ныне мебельная фабрика), то она в документах названа «Воскресенская улица, а Дресвянка тож». С утверждением нового плана города в 1804 году и застройками согласно ему место Дресвянкинской улицы оказалось под городскими кварталами 14 и 21, получило название Соборной улицы (теперь Красноармейская улица.

Дом много раз менял собственников. В 1790 году он принадлежал купцу Неледину (по поводу написания фамилии есть расхождения – в работах таких известных авторов, как Н.М.Кудрин, В.П.Шильниковская, Г.Н.Бочаров, В.П.Выголов, он фигурирует как Наледин, в официальной охранной документации – Неледин). В 1840 году им владели Бабарыкины, а с 1867 года – купец Николай Орешников, продавший его купцу В. И. Кострову. Позднее, как указывает Н.М.Кудрин, домом владела купеческая вдова Варвара Васильевна Жилина (в паспорте памятника указана фамилия Филина).

В 1918 году дом был муниципализирован. С начала 1919 года в нём находился Губернский земельный отдел. Позднее первый этаж занимал народный суд 1-го и 2-го участков, а второй – губернская прокуратура. Затем здесь расположились общежитие и квартиры работников пожарной команды, а в 1930-е годы – школа для слепых подростков. Во время Великой Отечественной войны дом служил эвакуационным помещением. После война до конца 1960-х годов здесь располагались различные учреждения. В 1970 году в здании разместился городской Дом работников народного просвещения, позднее — центр повышения квалификации педагогических работников. Указом Президента РФ № 176 от 20 февраля 1995 г. дому присвоен статус памятника истории и культуры федерального значения. В настоящее время планируется реставрация здания.