В первой половине 1770-х годов на этом месте губернским прокурором В.И. Ивановым был построен одноэтажный жилой дом. В 1780 году дом был приобретен Приказом общественного призрения и надстроен вторым этажом. Здесь разместились аптека, а также приют для инвалидов. С 1795 года по 1803 год дом принадлежал коменданту Воронежа полковнику П.А. Сандбергу. В 1803 году здание переходит богатому купцу, впоследствии дворянину, Т.С. Бородину (1737 - после 1817), затем его внучке О.М. Лобановой-Ростовской. Имение Лобановых-Ростовских - Масловка (Алексеевское) находилось на левом берегу реки, против города. Ее сын Алексей Борисович Лобанов-Ростовский (1824 - 1896), известный государственный деятель и историк, в двадцатилетием возрасте вступивший на дипломатическую службу, был послом России в Турции, Англии, Австро-Венгрии, Германии, в 1895-1896 годах занимал пост министра иностранных дел. Он сумел склонить Японию к смягчению условий Симоносекского мирного договора, его усилиями удалось подписать соглашение о совместном протекторате России и Японии над Кореей. Одновременно А.Б. Лобанов-Ростовский собрал огромную коллекцию писем, мемуаров и других документов, относящихся к XVIII-XIX векам, и двумя изданиями выпустил «Русскую родословную книгу» ( 1875, 1895) - капитальный труд по генеалогии русского дворянства.

В середине 1820-х годов Лобановы-Ростовские сдали воронежский дом внаем. С 1829 года по 1834 год здесь располагался частный пансион Федорова и Попова, дававший молодым дворянам среднее образование (ранее пансион размещался в доме княгини Н.П. Касаткиной-Ростовской, здание не сохранилось). Один из организаторов пансиона, П.К. Федоров (1801 - около 1860), преподавал математику в губернской гимназии.

В 1829-1831 годах в этом здании учился известный русский историк, писатель, публицист Николай Иванович Костомаров (1817 - 1885), завершивший потом образование в гимназии. В «Автобиографии» Костомаров дал негативную оценку системе преподавания П.К. Федорова, который «обыкновенно дремал, лежа в классе, а если ученики шумели, то ругался и дрался». В его воспоминаниях фигурирует «огромный тенистый сад с фантастическою беседкою» при доме.

В 1825-1830 годах в пансионе Федорова учился Николай Владимирович Станкевич (1813 - 1840), философ и поэт, организатор либерального кружка в Москве. Последний год его обучения проходил в этом здании; Н.В. Станкевич занимался изучением русской классической литературы, увлекался поэзией, музыкой, театром, пробовал писать стихи.

В 1837 году дом приобрел генерал-майор Дмитрий Иванович Халютин (1793 - 1862), участник войны 1812 года, живший с 1833 года в Воронеже и служивший интендантом. В начале 1840-х годов «двухэтажный каменный дом с антресолями», в котором насчитывалось 26 жилых комнат, был перестроен по проекту архитектора С.И. Соколова. Впоследствии сын генерала П.Д. Халютин сдал дом в аренду городской управе, и в конце 1870-х - начале 1880-х годов здесь размещалась солдатская казарма. В 1886 году здание купила епархия для общежития духовной семинарии. Вскоре дом был перестроен и расширен по проекту архитектора А.М. Баранова, а во дворе по его же проекту был выстроен одноэтажный флигель (№ 80-а). Оба здания получили нарядный декор фасадов в русском стиле, который в целом сохранился до наших дней; перед входом в главный дом была обновлена подпорная стенка с лестницами. С 1887 года по 1918 год здесь размещалось общежитие духовной семинарии. Одновременно в 1891-1893 годах часть помещений занимало епархиальное женское училище. В 1907
году была освящена домовая церковь.

В советское время дом занимали различные учебные заведения. В 1941-1942 годах здесь размещался штаб Юго-Западного фронта под командованием маршала С.К. Тимошенко. В память об этом событии в 1968 году на фасаде установлена мемориальная доска. В 1950-е годы по обеим сторонам здания появились пристройки, придавшие ему форму буквы П.

Главное здание и дворовый флигель являются яркими образцами русского стиля, характерного для епархиального строительства.

ГЛАВНОЕ ЗДАНИЕ - П-образное в плане, состоит из разновременных частей. Средняя включает объем первой четверти XIX века; Г-образные боковые части относятся ко времени перестроек 1880-х и 1950-х годов. Основной объем - двухэтажный, с севера высокий цоколь становится этажом. Крылья чуть ниже и уже основного объема с симметричными выступами в сторону двора. Средняя часть здания повышена и выступает на главном фасаде ризалитом с парадным входом. Оси боковых частей фасада подчеркнуты креповками. Прежде выступам фасада соответствовали высокие шатры на крыше.

Обильный объемный декор, подчеркнутый цветом штукатурки, сосредоточен на главном уличном и северном боковом фасадах основного объема. Ризалит и креповки завершены строенными полукруглыми кокошниками. Плоскости выступов обработаны пилястрами разного размера и конфигурации. Более строгие боковые части первого этажа рустованы. В декоре второго этажа использованы всевозможные мотивы древнерусского узорочья: различные кокошники и пояски, колонки-кубышки и колонки с перехватами, ширинки и проч. Арочный вход и окна по сторонам от него объединены в широкий портал, завершенный щипцами с киотами. Соответствующие актовому залу крупные окна второго этажа с коробовыми перемычками объединены архивольтами. Над каждым из них помещены по два узких окошка второго света. Северный фасад крыла также имеет декоративное завершение центральной части в виде аттика с крупным кокошником и щипцом. На дворовом фасаде объемы XIX века выделяются ступенчатыми брандмауэрами и лопатками.

Планировка здания коридорного типа, одинаковая в обоих этажах. Коридоры перекрыты лучковыми сводами, подвалы - мощными цилиндрическими. Центральную часть первого этажа занимает обширный вестибюль (частично перегорожен) с лестницей и четырьмя столбами, поддерживающими крестовые своды. Широкий лестничный марш, разделяющийся после площадки на два, подводит к актовому залу во втором этаже.

В здании находятся средняя школа и филиал Всероссийского института инженеров железнодорожного транспорта.

ФЛИГЕЛЬ - длинное одноэтажное прямоугольное в плане здание под вальмовой крышей. Декор обращенного к дому главного и боковых фасадов прост и выразителен. Основной мотив декора - характерный для конца XVII века наличник, наложенный на венчающий карниз, несколькими уступами спускающийся до оконных перемычек. На боковых фасадах - очень широкие окна с лучковыми перемычками. Входы, прикрытые поздними дощатыми тамбурами, декорированы, как окна.

Здание приспособлено под квартиры с отдельными входами.