Крестовоздвиженский собор является одной из первых каменных культовых построек в городе. Он был возведён на месте деревянной одноимённой церкви на средства горожан и «доброхотных людей», освящён в 1658 году. Первые цари династии Романовых пожертвовали собору икону Тихвинской Божьей Матери и 100 рублей на строительство.
Собор – бесспорное творение местных мастеров – сохранил все характерные черты ярославского усложнённого храма. Тот же пятиглавый массив с тесно примкнувшими к нему приделами, галереями и колокольней. Те же огромные купола, высота которых, как и в ярославских памятниках, превышает высоту здания. Храм одноэтажный, пятиглавый, квадратный с пятью алтарными полукружьями и двумя приделами по сторонам.
Краевед Вениамин Новиков отмечает, что храмы как люди. Среди них есть красавцы и щёголи, как собор Василия Блаженного в Москве, а Крестовоздвиженский собор невольно сравнивается с богатырём, защитником. Росписи в храме выполняли знаменитые художники – Гурий Никитин и Василий Ильин.
После закрытия собора для верующих, в нем открылся антирелигиозный краеведческий музей, просуществовавший до начала Великой Отечественной войны. В храме располагался склад лесоматериалов, который охранялся, а вместе с ним и собор. С 1992 года собор передан в ведение Ярославской епархии. В зимней церкви проходят службы. Ведутся реставрационные работы.
