Каменная церковь в честь Рождества Христова на Архиерейском дворе построена в 1668–1670 гг. при архиепископе Вологодском и Белозерском Симоне в восточной части сооруженного им трехэтажного корпуса, позже названного его именем. О датах основания и освящения храма свидетельствуют две белокаменные плиты с надписями, закрепленные в стенах здания. На одной из них, находившейся с внутренней стороны западной стены церкви, была выбита надпись: «… Основася сей храм во имя Господа Бога и Спаса нашего Иисуса Христа на лето 7176, от Воплощения Бога Слова 1668 г., июня в 15 день, преосвященным Симоном, архиепископом Вологодским и Белозерским». На второй, и ныне располагающейся в рельефной рамке на внешней стороне южной стены: «Сотворен сий храм во имя Господа Бога и Спаса нашего Иисуса Христа, Пресвятого Его Рождества, в державу благочестивейшаго великого государя царя и вел[икого] князя Алексия Михайловича … в лето от создания мира 7178, а освящен благодатью Пресвятого Духа от Воплощения Бога Слова 1670, индикта 8, июня в 30 день…» (Суворов Н. И., 1869, с. 678).
В Крестовой палате трижды (в 1693, 1702 и 1724 годах) устраивались торжественные приемы в честь визита императора Петра I.
С постройкой в 1770-х гг. нового здания архиерейских палат и теплого Воскресенского собора значение домовой архиерейской церкви стало уменьшаться. Епископом Иосифом Золотым престол Христорождественской церкви был перенесен в соседнее помещение Крестовой палаты и вновь освящен 13 марта 1771 г. После этого первоначальное помещение церкви Рождества Христова долго оставалось пустым, а входной портал был заложен. Вдоль южного фасада корпуса на шести столбах на уровне второго этажа была устроена галерея для прохода из Гаврииловского корпуса в надвратную церковь и далее в соборы. Большая часть наличников была стесана, окна расширены и получили оформление в стиле классицизма. В XIX в. над галереей устроили односкатную кровлю, опиравшуюся на кирпичные колонны (Паспорт памятника…).
В XIX веке помещение бывшей Крестовой палаты с одноименной домовой церковью неоднократно перестраивалось и ремонтировалось, менялось и посвящение престола. Первый раз это произошло при епископе Иннокентии, когда были разобраны своды второго этажа и стена, отделяющая храм от помещения библиотеки. Церковь в получившемся просторном двусветном зале был освящена 5 октября 1811 г. в честь Всех Вологодских чудотворцев. После обновления иконостаса и росписи стен ярославским живописцем А. М. Колчиным епископ Евлампий 6 января 1850 г. второй раз переосвятил храм в честь Богоявления Господня. В 1897 г. при епископе Алексии церковь была вновь освящена во имя святителя Стефана, епископа Пермского, причем из домовой вологодских архиереев она была превращена в приходскую. В таком виде храм существовал до его закрытия постановлением Вологодского губисполкома 5 марта 1924 г. (Спасенкова, 1999, с. 64–65).
В 1920‑х г. все помещения Симоновского корпуса, включая церковные, были переданы Вологодскому объединенному музею для размещения в них экспозиции и фондохранилища. В годы Великой Отечественной войны в здании располагались склады Народного комиссариата обороны. В 1960 г. комплекс Архиерейского двора стал памятником республиканского (федерального) значения.
