Построен в 1888-1890 годах на участке крестьянки А.К. Земсковой, который в середине XIX века принадлежал губернскому жандармскому управлению. Проект дома разработан сыном владелицы, подрядчиком Матвеем Ефимовичем Земсковым (около 1850 - 1900), который несколько лет учился в Московском училище живописи, ваяния и зодчества.

С 1890-х годов в этом доме жил архитектор Вячеслав Иванович Гайн (1876 - 1943) с семьей. В.И. Гайн учился в реальном училище в Воронеже, в 1901 году окончил институт гражданских инженеров в Петербурге. С 1906 года - сверхштатный техник, затем младший инженер строительного отделения Воронежского губернского правления. После революции В.И. Гайн был губернским архитектором (1924-1928), преподавал в практическом институте, строительном и железнодорожном техникумах. С 1930 года - доцент инженерно-строительного института (1934) и заведующий кафедрой начертательной геометрии (1934-1938). С 1938 года и до эвакуации из Воронежа летом 1942 года занимал должность доцента кафедры геометрии Воронежского государственного университета.

По проектам В.И. Гайна построены Казанская церковь в Отрожке (улица Суворова, 79) и техническое училище А.В. Шпольского (ныне средняя школа, улица Володарского, 60), городское механико-техническое училище имени Петра Великого (проспект Революции, 8) и общежитие этого училища (не сохранилось). Гайн принимал участие в достройке Владимирского собора, по его чертежам был оформлен вестибюль Общественного собрания. Согласно воспоминаниям учеников В.И. Гайна и его племянницы О.В. Червинской, он был автором гостиницы Воищева (улица Среднемосковская, 10).

В.И. Гайн стал первым архитектором-реставратором в Воронеже. По его проекту в 1912-1914 годах восстановлен прежний облик дома губернатора И.А. Потапова, предназначенного под музей (проспект Революции, 18), в 1923-1924 годах он руководил реставрацией дома, где жил поэт И.С. Никитин (улица Никитинская, 19). Многие здания, построенные по его проектам, отличаются выразительным силуэтом, характерным для русского стиля, в котором он преимущественно работал.

В «Материалах Свода памятников истории и культуры РСФСР: Воронежская область» (сборник научных трудов, часть 1, Москва 1984, страницы 73-75) авторство дома Земсковых ошибочно приписано В.И. Гайну, а строительство отнесено к началу XX века. Это во многом объясняется его стилистической близостью к другим постройкам известного воронежского архитектора.

В доме Земсковых в 1890-1900-е годах жила семья Вивьенов, из которой вышел актер и театральный деятель Леонид Сергеевич Вивьен (1887 - 1966).

В годы первой мировой войны дом часто посещал литовец Юлюс Янонис (1896 - 1917), участник молодежного революционного кружка, собиравшегося здесь в квартире Дьяковых. Ю. Янонис был эвакуирован из города Шяуляя (1915) вместе с другими гимназистами и развернул в Воронеже активную пропагандистскую и литературную деятельность. Он выпускал конспиративный рукописный журнал «Атжалос» («Побег»). В декабре 1915 года Ю. Янонис создал свой шедевр - стихотворение «Поэт» (на русском языке), ставшее выражением его общественной и эстетической программы. По мнению ряда исследователей, Ю. Янонис поместил в газете «Воронежский телеграф» в течение августа-декабря 1915 года около тридцати фельетонов (под псевдонимами «Долотов» и «Игла»). В начале 1916 года Ю. Янонис уехал в Петроград. Уже после смерти поэта в Воронеже вышел сборник его стихотворений на литовском языке (1918).

На верхнем этаже здания в 1920-е годы находилась квартира профессора Воронежского сельскохозяйственного института, ботаника Бориса Александровича Келлера (1874 - 1945), в будущем действительного члена Академии наук СССР, автора трудов о растительном мире степей, полупустынь и пустынь. В июле - октябре 1917 года он был губернским комиссаром Временного правительства, являлся последним председателем губернского земского собрания. Сын профессора, Владимир Борисович Келлер (1898 - 1954), увлекался поэзией. Позднее он станет видным литературным критиком (псевдоним «Александров»), одним из первых исследователей творчества А.Т. Твардовского, в журнале которого («Новый мир») активно сотрудничал. В.Б. Келлер с юности дружил с писателем Андреем Платоновичем Платоновым (1899 - 1951), последний постоянно бывал у него дома.

В 1930-е годы квартиру Келлеров занимал журналист Б.А. Дьяков, часто приглашавший к себе в гости профессора Александра Леонидовича Чижевского (1897 - 1964), выдающегося ученого-энциклопедиста, философа-космиста, специалиста в области изучения Солнца. На редкость многогранная личность, А.Л. Чижевский совмещал научную деятельность с увлечением искусством и литературой, сам писал стихи, которые вышли отдельным сборником уже после его кончины. В начале 1932 года А.Л. Чижевский проводил в лаборатории, размещавшейся на территории Воронежского сельскохозяйственного института, опыты по биологическому воздействию на организм животных аэроионизированного воздуха.

Дом пострадал во время войны, восстановлен в 1947-1948 годах по проекту архитектора П.А. Полищука с сохранением внешнего облика, утрачены лишь два входа в подъезды с навесами на главном фасаде.

Трехэтажный прямоугольный в плане объем сильно вытянут вдоль улицы. Из-за перепада рельефа на главном фасаде нижний этаж превращается в полуподвальный. Дом состоит из двух одинаковых секций, но членения главного фасада скрывают внутреннюю структуру здания. Здесь подчеркнуты три части, акцентированные, подобно древнерусским палатам, высокими кровлями: центральная - шатром, боковые - епанчами, На дворовом фасаде части здания, соответствующие входам, выделены лопатками, аттиками и высокими шатровыми кровлями. Полуналичники окон первого этажа на всех фасадах объединены профилированной полкой. Выделенный цветом основной декор сосредоточен в верхних этажах главного фасада и представлен рустованными лопатками, нишками, кокошниками и ширинками, а также разнообразными наличниками: с замковым камнем, щипцовым или полукруглым подвышением. На боковом фасаде декор сосредоточен на массивных угловых лопатках и в наличниках окон, на заднем - подчеркивает оси входов.

Планировка этажей одинакова. В каждой секции на этаже расположено по две квартиры разного размера.

Дом жилой. На первом этаже размещаются конторы.