Он принадлежал городскому голове Тимофею Ивановичу Нечаеву (около 1765 - 1812), после его смерти перешел к его детям от второго брака с Екатериной Кривошеиной: Петру (1801 - 1844), Павлу (1801 - 1845) и Николаю (1793 - 1852). Они вели торговые операции без раздела, после смерти братьев единственным владельцем оказался Н.Т. Нечаев, отмечавший, что «общий дом наш, в коем мы с семейством жительствуем, был совсем почти перестроен и приведен в надлежащий вид и удобность к жительству, на что употреблена значительная сумма». После его смерти дом находился под опекой из-за долгов прежнего владельца, в 1855 году здесь жил полицмейстер Ф.Л. Колиньи. С 1862 года по 1868 год дом арендовала Мариинская женская гимназия. Затем дом находился во владении присяжного поверенного М.Н. Нечаева (1832 - 1886) и его жены Е.Л. Нечаевой (1846 - 1914), впоследствии владелицы гимназии. В 1872 году дом был продан потомственному почетному гражданину Ю.А. Айвазу.
С 1897 года до начала XX века он принадлежал врачу, писателю, публицисту, члену исполкома «Народной воли» С.В. Мартынову (1855 - 1919), под именем которого вошел в краеведческую литературу. Он приехал в Воронеж после десятилетней ссылки за революционную деятельность. Свой дом предоставлял для нелегальных собраний воронежских социал-демократов, за что в 1902 году был вновь арестован и сослан. В доме часто бывали выдающиеся педагоги А.П. Киселев, Н.Ф. Бунаков, врач К.В. Федяевский, статистик Ф.А. Щербина, социал-демократы А.И. Любимов, Л.Я. Карпов, В.А. Носков и другие. Во время Великой Отечественной войны здание горело. Восстановлено по проекту архитектора А.В. Миронова с сохранением объема и его архитектурно-композиционной трактовки. Научная реставрация памятника проведена в 1991-1993 годах по проекту архитектора Воронежской реставрационной мастерской Т.М. Синегуб. Является одним из трех крупнейших жилых зданий города эпохи классицизма.
Прямоугольный в плане двухэтажный объем сооружен из кирпича и оштукатурен. Главным протяженным трехчастным фасадом обращен к улице. Центральная часть объема повышена до трех этажей и подчеркнута шестиколонным портиком большого ордера. Колоннам, сгруппированным по три, соответствуют пилястры, увенчанные такими же, как и у колонн, изящными коринфскими капителями. Во втором этаже устроен балкон. Нижний этаж отделан горизонтальным рустом с имитацией замковых камней над окнами. Все оконные проемы прямоугольные, более высокие во втором этаже. Основной вход в здание с левого торца. В помещениях первого этажа сохранились мощные сводчатые перекрытия.
До 1988 года в здании размещался городской Дворец пионеров и школьников, в 1992-2001 годах - Комитет по культуре администрации Воронежской области.
Ныне здание занимают учреждения федерального подчинения.