Построен в конце 1760-х -начале 1770-х годов (в 1773 году он уже показан на плане города) как жилой дом купца-фабриканта С.А. Савостьянова. Семен Авраамович Савостьянов (1718 - 1794) - президент губернского магистрата, в 1767-1768 годах - в Москве в качестве депутата Уложенной комиссии.
Его дом стал первым трехэтажным домом в Воронеже. Разорившийся внук первого владельца И.А. Савостьянов в 1826 году передал здание городской думе под военный лазарет. Опека, назначенная над его имуществом в 1849 года, продала его с аукциона купцу С. Занину, который стал сдавать его внаем. Постепенно сюда переместились городские учреждения, магистрат, сиротский и совестный суды, городская дума, откупившая здание в конце 1850-х годов.
В 1854 году поэт И.С. Никитин посещал находящегося в заключении при магистрате родственника - Я.П. Денисова, арестованного за уклонение от рекрутской повинности. После упразднения судов и магистрата в 1870 году дума заняла все помещения. В 1878 году она переехала на Мясницкую улицу, оставив здание Мещанской управе. Позже здесь разместились также богадельня и ломбард.
В 1894 году в левом крыле здания был открыт Воронежский губернский музей, занявший две комнаты и зал второго этажа.
Это был первый музей в городе. На его открытии присутствовали губернские власти и принцесса Е.М. Ольденбургская, владелица имения Рамонь. У входа в здание была установлена чугунная пушка конца XVII - начала XVIII века, на лестничных площадках - каменная баба из Задонского уезда и модель Макарьевской школы. Экспозиция музея содержала материалы по истории края, часть которых была добыта в археологических экспедициях, часть пожертвована любителями старины. С 1896 год по 1911 год было проведено более десяти тематических выставок. Среди них посвященные Костомарову, Кольцову, Никитину, юбилею Полтавской битвы. Выставки были организованы по инициативе философа Н.Ф. Федорова (1829 - 1903), который в 1894-1899 годах подолгу жил в Воронеже. Н.Ф. Федоров, включавший музей в свою концепцию как место сохранения душ умерших через предметы, считал Воронежский музей одним из лучших в провинции. Музей сплотил местных историков и краеведов. В его создании приняли активное участие члены местного статистического комитета, часть которых была его первыми сотрудниками. Среди них: Степан Егорович Зверев (1860 - 1920) - первый директор музея, священник кадетского корпуса и секретарь статистического комитета, под редакцией которого издавались «Памятные книжки по Воронежской губернии», Александр Иванович Милютин (1869 - 1907) - историк, краевед, археограф и филолог, помощник правителя дел Воронежской губернской ученой архивной комиссии. В 1910-1911 годах в музее работал историк В.В. Литвинов (1873 - 1941), впоследствии арестованный по сфабрикованному «делу краеведов». Дважды в неделю посещение экспозиции было бесплатным. В 1911 году значительно увеличившему свои фонды музею было предоставлено другое старейшее здание города - бывший дом губернатора И.А. Потапова (ныне Воронежский областной художественный музей имени И.Н. Крамского).
Дом дважды сильно горел во время боев в 1919 года и 1942 года. В 1957 году был восстановлен по проекту архитектора Г.В. Здебчинского как двенадцатиквартирный жилой дом. В 1982-1984 годах по проекту архитектора И.М. Сергеева Воронежской реставрационной мастерской были проведены реставрация и приспособление здания под областной литературный музей.
Дом купца Савостьянова - очень крупное для провинциальных городов середины XVIII века жилое здание дворцового типа. Трехэтажный прямоугольный в плане объем (12 и 6 осей окон) имеет единственный вход в середине продольного восточного фасада. Середина противоположного фасада выделена слабой креповкой. Торцовые фасады завершены люкарнами. Одинаковый на всех фасадах декор стен отличается пластическим богатством и изощренной декоративностью деталей, характерной для архитектуры барокко и рококо. Равномерно размещенные прямоугольные окна на всех этажах разделены лопатками-пилястрами, смыкающимися с широкими межэтажными карнизами. В первом этаже, решенном как цокольный, лопатки рустованы, окна помещены в наличники с ушами и замковым камнем. На стенах главного второго и более низкого верхнего этажа базы пилястр декорированы тонко проработанными лепными вставками, окна снизу подчеркнуты накладками, а сверху лепными завершениями в виде гирлянд во втором этаже и рокайльного мотива в третьем. Пилястры второго этажа в креповке каннелированы. Двойной карниз между вторым и третьим этажом разделен лепным орнаментальным поясом. Входу в дом соответствует новая широкая лестничная клетка. Планировка верхних этажей коридорного типа.
С 1983-1984 годов в здании размещаются экспозиция Воронежского областного литературного музея имени И.С. Никитина, Воронежская писательская организация и редакция литературного журнала «Подъем».