В северо-восточной части СпасоПрилуцкого монастыря в 1721 г. была построена больничная церковь, соединенная с корпусом братсконастоятельских келий. Известно, что ранее на этом месте находился небольшой каменный храм, воздвигнутый в 1624 г. Он располагался при деревянных братских и больничных кельях, которые в 1645 г. были заменены одноэтажными каменными постройками. В 1712–1737 гг. корпус келий был надстроен вторым этажом, в котором разместились летние настоятельские кельи. Здание впоследствии стало известно как корпус братско-настоятельских келий. В заново отстроенную больничную церковь перенесли престол Трех святителей, находившийся ранее в нижнем ярусе старой соборной колокольни.
В конце XVIII в. храм Всех святых сильно пострадал от двух пожаров и долгое время службы в нем не велись. Лишь в 1846 г., после значительных перестроек, церковь была восстановлена и приобрела нынешний облик. Храм был переосвящен во имя Всех святых.
После закрытия в 1918 г. монастыря храм Всех святых лишился главы с крестом. Здание храма, как и корпус братско-настоятельских келий, долгое время использовалось в различных хозяйственных целях. В 1980-х гг. в здании келий располагалось фондохранилище Вологодского государственного музея-заповедника.
В ходе реставрационных работ нижнему этажу братско-настоятельского корпуса был возвращён первоначальный внешний вид и белая окраска, восстановлены деревянные крыльца у входов.
