Это двухэтажное кирпичное здание, выполненное в стиле барокко, расположено  на Торговой площади в центре Тотьмы. Предполагается, что заказчиками строительства были купцы-компанейщики Григорий и Пётр Пановы. В XIX в. на втором этаже здания разместились городская и уездная земские управы, а первый этаж занимали склады и лавки, вдоль которых была выстроена утраченная ныне галерея с навесом. В советские годы в разные периоды здесь размещались отделение госбанка, хлебный и обувной магазины; в 2000-е гг. – отделения Федерального казначейства, Севергазбанка и различные магазины. Ныне здание пустует.