Его левая южная часть построена в 1780 году как двухэтажный каменный жилой дом воронежского коменданта полковника А.И. Хрущева. В 1792 году дом перешел к губернатору О.И. Хорвату, который при отъезде из города в 1795 году продал его в казну. С тех пор до 1917 года дом был официальной резиденцией воронежских губернаторов. Здесь размещались канцелярия губернатора и его жилые покои.
В конце XVIII - начале ХIХ века, помимо двухэтажного главного дома, в обширную усадьбу входили два симметрично расположенных одноэтажных хозяйственных флигеля, а также большой сад, тянувшийся вдоль Чертковского переулка (ныне улица Чайковского) до Малой Дворянской улицы (ныне улица Фридриха Энгельса). На Большую Дворянскую улицу выходил балкон главного дома, подчеркиваемый четырьмя колоннами. В задней части дома была антресоль. Осевая композиция регулярного сада завершалась беседкой.
В таком виде усадьба дошла до конца XIX века, лишь сзади к дому были сделаны небольшие пристройки, а сад в соответствии с модой утратил регулярность и на планах, начиная с 1817 года, именуется «Дикий сад».
В 1797-1800 годах и в 1805-1811 годах в доме жил губернатор Осип Иванович Сонцов (1740-е - 1811), внесший значительный вклад в развитие просвещения в городе. В годы его губернаторства была открыта первая в губернии типография (1798), Главное народное училище было преобразовано в гимназию и уездное училище (1809). При губернаторе Петре Александровиче Сонцове (1785 - 1850), губернатор (1820-1824), был ликвидирован бульвар (проходивший посредине Большой Дворянской улицы) мостовая на Большой Дворянской улице была вымощена камнем, появились первые тротуары. В 1824-1826 годах губернатором был Николай Иванович Кривцов (1791 - 1843) - брат декабриста С.И. Кривцова. Н.И. Кривцов в Петербурге был близок к А.С. Пушкину, а также членам литературного общества «Арзамас». Он много сделал для благоустройства Воронежа - по его указанию были укреплены холмы и спуски к реке, построен Каменный мост (на улице Карла Маркса). В 1824 году в доме у губернатора Н.И. Кривцова гостил поэт Дмитрий Владимирович Веневитинов (1805 - 1827).
В 1830-1836 годы должность губернатора занимал Дмитрий Никитич Бегичев (1786 - 1855), брат декабриста С.Н. Бегичева. На посту губернатора он проявил себя как деятельный и гуманный администратор. Современники отмечали его энергичную работу в период распространения холеры в Воронеже в 1830 году и неурожая в Воронежской губернии в 1833 году. При участии Д.Н. Бегичева в 1834 году был составлен первоначальный проект памятника Петру I. Д.Н. Бегичев был дружен с А.С. Грибоедовым, В.К. Кюхельбекером, поэтом-партизаном, героем войны 1812 года Д. Давыдовым, сестра которого была супругой Д.Н. Бегичева. Воронежский период жизни Д.Н. Бегичева был наиболее плодотворным в его литературной деятельности. Он являлся автором пользовавшихся в свое время известностью бытоописательных произведений «Семейство Холмских» (1832), «Ольга», «Быт русских дворян в начале нынешнего столетия» (1840), «Провинциальные сцены» (1840), «Записки губернского чиновника» (1845). Среди воронежцев особой известностью пользовался роман «Семейство Холмс
ких», в немалой степени отражающий быт и нравы воронежского дворянства. Этот роман Д.Н. Бегичев подарил А.В. Кольцову, который бывал в этом доме.
В 1859-1861 годах дом занимал губернатор граф Дмитрий Николаевич Толстой (1806 - 1884). Он увлекался публицистикой, подписывая свои статьи псевдонимом «Дмитрий Т. Знаменский», оказывал поддержку местной периодической печати. Будучи заядлым театралом, Д.Н. Толстой являлся почитателем драматургии А.Н. Островского, который в 1860 году побывал у губернатора, о чем записал в «Дневнике». Он покровительствовал поэту И.С. Никитину, еще в 1856 году на средства графа был издан первый сборник стихов поэта с предисловием Д.Н. Толстого. И.С. Никитин часто посещал губернаторский дом.
В 1864-1871 годах губернаторствовал Владимир Александрович Трубецкой (1820 - 1879) - племянник декабриста С.П. Трубецкого. Живя в Нижнем Новгороде, в 1840-1850-е годах он помогал юноше Н.А. Добролюбову; его жена Мария Алексеевна (урожденная Пещурова) была знакома с А.С. Пушкиным.
История дома губернатора связана со многими известными людьми. В их числе представитель старинного дворянского рода, историк, археограф, литературовед, директор Румянцевского музея Михаил Алексеевич Веневитинов (1844 - 1901). По окончании историко-филологического факультета Петербургского университета он несколько лет прослужил чиновником особых поручений при воронежском губернаторе. Его кабинет располагался в этом же доме.
В доме губернатора в 1894-1898 годах жил управляющий канцелярией статский советник Петр Иванович Федотов - отец Г.П. Федотова, философа, историка, богослова.
В середине XIX века была произведена некоторая перестройка здания. Главный дом соединили с правым флигелем. В 1892-1893 годах по проекту архитектора C.Л. Мысловского была осуществлена радикальная реконструкция здания. К нему пристроили более высокий корпус, занявший место правого северного флигеля. По высоте и интенсивности декора эта пристройка стала доминировать в общей композиции. Размещенный в ней главный вход оформили порталом, длинным навесом на чугунных столбах, доходящим до проезжей части улицы и небольшим балконом над ним. К этому времени балкон старого дома был утрачен, Чертковский проезд превращен во внутренний и закрыт со стороны Большой Дворянской воротами.
Дом губернатора служил местом проведения различного рода официальных мероприятий. 1 декабря 1900 года здесь состоялось первое организационное собрание по открытию Воронежской ученой архивной комиссии - административного учреждения, ставшего одним из центров исторического краеведения. На заседании в числе учредителей присутствовали краеведы С.Е. Зверев, Л.М. Савелов, А.М. Правдин, городской врач К.В. Федяевский, писатель Г.И. Недетовский. Председателем комиссии был избран писатель Е.Л. Марков.
После февральской революции губернаторский особняк стал называться Домом народных организаций. Здесь размещались различные партийные, советские и общественные организации: военно-революционный комитет, Совет рабочих, солдатских и крестьянских депутатов, Воронежский губком партии, женсовет, редакции газет, штаб рабочих дружин города и т.д. В ночь на 30 октября (12 ноября) 1917 года большевики разработали здесь план вооруженного восстания в Воронеже.
В 1920-е годы часть здания была отдана под Дом крестьянина, а часть - под губсовпартшколу, где в 1921 году учился писатель А.П. Платонов (1899 - 1951). С 1934 года в здании располагались областная публичная библиотека, а также музей изящных искусств.
Во время Великой Отечественной войны особенно сильно пострадала старая часть дома. При восстановлении в 1950 году архитектор Н.В. Троицкий объединил две разновременные части здания путем надстройки старой части и создания в центре подобия огромного антового портика.
В 1950-е годы часть здания занимала областная комсомольская газета «Молодой коммунар». Здесь работали поэт Алексей Тимофеевич Прасолов (1930 - 1972), писатель Владимир Александрович Кораблинов (1906 - 1989), журналист Евгений Александрович Пульвер (1928 - 1983), Василий Михайлович Песков (1930 - 2013), известный писатель.
Кирпичное оштукатуренное трехэтажное здание сохраняет черты всех периодов своего строительства. В основе каждого из них лежат формы классицизма, трактованные сообразно времени. Наиболее старая южная часть (XVIII век) имеет прямоугольный план. Нижний цокольный этаж с маленькими окнами рустован. Средняя часть фасада первоначального объема чуть выступает и акцентирована полукруглыми сандриками над тремя окнами второго этажа. Эти окна обрамлены профилированными наличниками с ушами и пилястрами между ними. Остальные окна второго этажа были обрамлены такими же наличниками, дополненными прямым сандриком и накладной доской снизу. Образцы этого обрамления при восстановлении сохранены только на четных окнах.
Северная часть здания (XIX век) имеет сложный план с тремя значительными выступами в сторону улицы Чайковского и ризалитом на несимметричном главном фасаде. Первый этаж, как и в старой части, решен как цокольный и декорирован квадровым рустом. Крупные арочные окна второго этажа отделены друг от друга пилястрами с пышными коринфскими капителями, которые несут венчающий антаблемент. Помещенные на уровне капителей маленькие сдвоенные окошки второго света разделены каннелированными лопатками. Декоративную насыщенность фасада создают креповки, вертикальные полосы руста, массивные архивольты окон. Утрачены лишь портал, балкон над ним и венчание ризалита, которое в 1950 году заменено огромным треугольным фронтоном. По бокам фронтон опирается на ризалит и два рустованные столпа, выполняющие роль антпортика. Надстроенный тогда же над южной частью третий этаж стилистически нейтрален. Достройки советского времени, наиболее сдержанные и суровые на вид, не только объединили два здания в одно, но и придали ему более крупны
й масштаб.
В планировочном отношении обе части здания самостоятельны. Планировка старая, типичная для особняков классицизма, была сильно изменена при перестройке. В северной части ризалиту главного фасада соответствует вестибюль и аванзал над ним. Аванзал и расположенный в угловой части главный зал - двусветные. Вдоль улицы Чайковского располагаются служебные помещения с отдельными входами. В первом этаже они перекрыты системой крестовых сводов, опирающихся на столбы.
В здании размещаются областной Дом молодежи и фонды областного краеведческого музея.
На фасаде дома губернатора (по улице Чайковского) установлена мемориальная доска, посвященная А.Т. Прасолову.
В 1999 году в честь 100-летия со дня рождения писателя А.П. Платонова у торца здания установлен бронзовый памятник писателю, выполненный по проекту скульпторов И. Дикунова и Э. Пак. На гранитной стене цитата «А без меня народ не полный!»