Построен в 1777-1779 годы в стиле барокко по проекту губернского архитектора Н.Н. Невского для воронежского губернатора генерала-поручика И.А. Потапова (1722 - 1791) губернатор в 1775-1791 годах. Перед главным фасадом был устроен курдонер, окруженный аркадами и одноэтажными каменными службами. За домом находился обширный двор, дальше парк. Первый дом губернатора в этом районе после пожара 1748 года был построен там, где сейчас располагается старый корпус технологической академии (проспект Революции, 19). С домом 18, получившим за свою красоту название «дворец», связано несколько легенд. Считалось, что он был построен для отдыха Екатерины II во время ее поездки в Крым (но маршрут императрицы не проходил через Воронеж). По другой версии дворец предназначался для последнего крымского хана, сосланного в Воронеж.

В 1800 году дом был продан коменданту Воронежа, генерал-майору П.А. Сандбергу и губернскому архитектору, коллежскому асессору В.Б. Белокопытову. С 1803 года он находился в ведении военного ведомства - Комиссариатской комиссии, занимавшейся снабжением войск. Комиссия отремонтировала и перестроила здание по проекту архитектора В.Б. Белокопытова. Была заменена кровля, сделаны кафельные печи, фасад украсили балконом на железных консолях с чугунной балюстрадой. Были также расширены службы и сооружена решетчатая ограда.

В конце 1818 года - начале 1819 года здесь бывал по службе прапорщик конноартиллерийской роты поэт К.Ф. Рылеев (1795 - 1826). В 1820-е годы Комиссариатскую комиссию возглавлял Д.А. Вольховский, отец декабриста и приятеля Пушкина B.Д. Вольховского, здесь служил Н.О. Ге - отец художника Н.Н. Ге. Позднее Комиссариатскую комиссию возглавляли генералы, участники войны 1812 года П.К. Арнольди (1788 - 1855), Д.И. Халютин (около 1793 - 1862).

В 1905 году дом был передан городу, и в нем разместились казармы кавалерийских частей. В марте 1911 года здание перешло к Воронежской ученой архивной комиссии для размещения губернского музея. До 1914 года под руководством архитектора В.И. Гайна здесь проводились восстановительные работы. За ходом реставрационных работ наблюдал искусствовед Г.К. Лукомский, приезжавший в Воронеж из Петрограда. В работах участвовало также Московское Археологическое общество. Окончанию реставрационных работ помешала первая мировая война. Во время войны два этажа здания были заняты медико-санитарными и хозяйственными военными учреждениями. После революции 1917 года здесь находились губархивбюро, истпарт и губздравотдел со своими складами. Окончательно музей занял помещение лишь в середине 1920-х годов. До 1959 года здесь размещался областной краеведческий музей, а с 1959 года - музей изобразительных искусств. В 1920-1930-х годах в краеведческом музее работали известные воронежские краеведы Н.В. Валукинский, C.Н. Введенский, С.Н.
Замятнин, В.В. Литвинов, М.К. Паренаго, Ю.И. Успенский, Т.М. Олейников, многие из которых были арестованы в 1930-1931 годах. В 1930-х годах в связи с началом строительства Управления Юго-Восточной железной дороги флигели и аркада были частично снесены, а само здание отделено от улицы. При послевоенной реконструкции в здании Управления были прорезаны арки, через которые с проспекта можно увидеть уникальное для провинциального города сооружение в стиле барокко с ясной композицией фасадов. В 1984 году к тыльной стороне дворца был пристроен выставочный зал. В 1983-1985 годах Воронежской реставрационной мастерской проведена реставрация здания.

Трехэтажный, кирпичный объем дворца со двора имеет небольшие ризалиты. Все углы здания скруглены. Первый этаж, трактованный как цокольный, рустован. Второй и третий, антресольный, этажи композиционно объединены колоннами большого ордера, которые равномерно распределены по периметру, обрамляют скругленные углы и сгущаются в центре главного фасада в виде восьмиколонного портика. Над ним стену завершает живописный фигурный аттик. Общее впечатление ширины и пластичности фасада усиливают двойные раскрепованные мелкопрофильные карнизы. Стены здания равномерно прорезаны оконными проемами: в первом этаже они невысокие, с лучковыми перемычками в простых наличниках с замковым камнем, во втором - высокие, словно сдавленные с боков массой стены, полуциркульные в центральной части фасада и в ризалитах; в низком третьем этаже - квадратные.

Особую нарядность фасадам придают накладки под окнами третьего этажа с декором в виде гирлянд и аранжировками музейных атрибутов, а также композиции из военных атрибутов, размещенные в тимпанах лучковых фронтонов, завершающих дворовые выступы. Пластичность декора подчеркивают ионические с гирляндами капители колонн, прообразом которых послужили колонны Микеланджело.

Основное место в интерьере здания занимает обращенный к проспекту двусветный главный зал. Он украшен двумя карнизами, верхним, изящно профилированным, и нижним, на консолях. Подвалы перекрыты мощными коробовыми сводами с распалубками.

Вход в здание осуществляется через новую пристройку.

Здание занимает Воронежский областной художественный музей имени И.Н Крамского.