В последней четверти XIX века принадлежал купцу, общественному деятелю Н.Н. Паныпину (1820 - 1897), имевшему конный завод в селе Михайловка Воронежского уезда, где выращивали орловских рысаков. В 1880-х годах Н.Н. Паныпин состоял гласным городской думы, а с 1885 года - старостой церкви Вознесения на Чугуновском кладбище.

В 1881 году Н.Н. Панынин по проекту архитектора В.Н. Шебалина пристроил к зданию с юго-запада входную галерею; в 1893-1894 годах расширил дом.

В 1903 году его сын И.Н. Панынин расширил здание со стороны двора, надстроил второй этаж и изменил фасадный декор по проекту техника Я.И. Стрельцова. В 1919 году реквизированный у него дом был занят службой гужевого транспорта губернского военного комиссариата. Позже его сменила одна из воинских частей, в 1920-х годах здание заняли квартиросъемщики. В 1942-1943 годах дом пострадал и был восстановлен в 1946 году. В нем размещались различные учреждения.

В объемной композиции многократно перестроенного двухэтажного здания сохранился центральный ризалит главного фасада, очевидно, относящийся к первому этапу строительства периода классицизма. Высокие окна первого этажа завершены сандриками. Над входом, расположенным в левой части, сохранился фрагмент очень широкого карниза.

В 2000-е годы проведена реконструкция, надстроен третий этаж.