Здание построено в XVIII веке. Дом значительный по объему, во двор здания вели две проходные арки, которые позднее были заложены кирпичом. Со двора здание имеет три этажа. На третьем этаже располагалась большая молельня староверов. Под домом глубокие подвалы. Бытует легенда, что из дома вели подземные ходы. Первым владельцем дома был купец-хлеботорговец Трутнев. Трутневы – богатый купеческий род в городе, его представители трижды были головами города. В дальнейшем дом неоднократно перепродавался.
Перед 1917 годом здание служило казармой Романово-Борисоглебского гарнизона. После октябрьской революции здесь была расквартирована воинская часть, которая находилась в городе почти до середины 30-х годов XX века. Перед домом среди деревьев стояли артиллерийские орудия.
В 1941 году в здании размещался призывной пункт, где формировались команды для отправки на фронт. Осенью 1941 года здесь расположилось авиационное училище. Оно готовило техников-механиков и летчиков на самолеты У-2. В период 1941-1945 годов все помещения периодически занимали воинские части, находившиеся на переформировании и временном отдыхе, здесь, временно размещали блокадников Ленинграда. На первом этаже работала столовая.
Сегодня в здании размещается библиотека имени Федор Никифоровича Слепушкина. Слепушкин — крестьянский поэт. За книгу своих стихов «Досуги сельского жителя»в 1826 году был удостоен малой золотой медали «Приносящий пользу русскому слову».