Основной объем построен в конце 1720-х - начале 1730-х годов. В 1735 году дом упоминается как уже существующий на усадьбе П. Гарденина.

Потап Никитич Гарденин (1689 - 1746) принадлежал к числу богатейших людей Воронежа первой половины XVIII века, был совладельцем (1726), затем владельцем (1729) суконной мануфактуры, основателем известной в крае династии суконных фабрикантов, в 1744-1746 годах главой Воронежского губернского магистрата. Основал усадьбу в предместье, куда переселился из дома, стоявшего близ Успенской церкви. При Потапе Гарденине здание было двухэтажным прямоугольным в плане. В середине XVIII века (вероятно, в 1760-е годы) его сыновья расширили дом. Тогда же сформировался окончательный облик здания.

В 1820 году дом вместе с другими усадебными постройками был продан Я.И. Гардениным городу. Сначала он использовался как больничный корпус, в 1824 году в нем разместился воспитательный дом. На плане города 1856 года дом обозначен как здание Приказа общественного призрения. Во второй половине ХIХ - начале XX века здесь располагалась богадельня, в начале 1920-х годов - Дом инвалидов, затем он стал многоквартирным жилым домом. Во время Великой Отечественной войны здание было сильно разрушено. Восстанавливалось в 1946-1947 годы по старым фотографиям без чертежей под наблюдением архитектора Г.В. Здебчинского.

Дом Гарденина - самый ранний из сохранившихся жилых домов Воронежа, редкий образец провинциальной купеческой постройки первой половины XVIII века. В его архитектуре нашли отражение яркие черты стиля барокко.

Кирпичное оштукатуренное здание имеет П-образный план. К высокой вальмовой крыше основного объема с севера примыкают двускатные крыши дворовых ризалитов. Высокий со стороны двора цокольный этаж выделен уступчатой профилированной тягой. Рустованные пилястры, раскрепованные по углам, ритмично членят фасады от цоколя до массивного мелкопрофилированного карниза. Основные входы в здание расположены со стороны двора - два проема находятся в ризалитах (с лестницами, ведущими на верхний этаж) и один, заглубленный в наросший культурный слой, - между ризалитами. (Все входные проемы смещены к западу по отношению к осям соответствующих участков дворового фасада.) На восточном боковом фасаде находятся еще два, также заглубленных, входа. Почти все окна цокольного этажа заложены, оставлены только продухи. Окна верхнего этажа имеют лучковые перемычки слабого подъема. Своеобразие облику здания придают криволинейные тонко профилированные сандрики, украшенные в тимпанах изящными раковинами. Особенностью дворового фасада являются крутые фронтоны торцов ризалитов с тремя разновысокими арочными окнами в каждом. На акварели художника Салтыкова эти фронтоны изображены трехлопастными. В планировке обоих этажей здания читается первоначальный трехчастный объем. В его цокольном этаже хорошо сохранились сводчатые цилиндрические перекрытия. На главном этаже остатки сомкнутых сводов прослеживаются только в помещениях западной части дома.

Здание жилое.