Приют был открыт в 1848 году на окраине города у Самофаловского плаца в двухэтажном кирпичном доме, пожертвованном купцом-меценатом Г.Д. Самофаловым. Через некоторое время купцом В.А. Лашкиным приюту был пожертвован дом у Каменного моста, куда приют перебрался в 1860-е годы. Первой попечительницей приюта была владелица Рамонского имения статская советница А.И. Шеле. В связи с ростом числа воспитанников в 1879-1880 годах по проекту архитектора А.А. Кюи здание было надстроено вторым этажом. В 1883 году на деньги, полученные от продажи Самофаловского дома, здесь было открыто отделение для взрослых воспитанников (от 12 до 16 лет), обучаемых «кухмистерскому, прачечному и белошвейному мастерству», - Самофаловское отделение; в 1897 году открыто отделение для мальчиков. В 1898-1900 годах здание было перестроено на средства почетного гражданина А.Н. Безрукова. Домовая Никольская церковь, устроенная в 1900 году, была выделена шатром, завершившим обращенную к Каменному мосту угловую часть здания. Внутри имела довольно богатое убранство. Одним из последних священников приютской церкви был Т.Д. Попов - известный в городе богослов. На фотографиях начала XX века здание занимает всю длину квартала, там, где сейчас ограда двора, был бревенчатый корпус со скругленным со стороны улицы Дзержинского углом. Перед входом находилась небольшая часовня. С 1936 года в доме размещались ясли-сад Управления Комитета Государственной Безопасности по Воронежской области. После войны здание было восстановлено по проекту архитектора Б.Н. Зотова. При этом угловая часть была сделана более высокой и получила открытый ярус, подобный ярусу звона колоколен.
Двухэтажное кирпичное прямоугольное в плане здание эффектно завершает угол квартала благодаря граненому башнеобразному объему, увенчанному шатром. В декоре стен использованы мотивы русского стиля. Фасады здания расчленены карнизом и лопатками с филенками и ширинками во втором этаже. Окна первого этажа помещены в штукатурные рамочные наличники, повторяющие лучковую форму перемычек. Узкие наличники прямоугольных окон второго этажа дополнены архивольтом. На протяженном фасаде по улице Карла Маркса часть, соответствующая главному входу, выделена креповками и аттиком с кокошником. Над арочным порталом находится окно в массивном прямоугольном наличнике.
В сквозном вестибюле расположена связывающая этажи лестница. Основой планировки этажей являются продольные коридоры с двусторонним расположением помещений.
С 1993 года в здании размещается поликлиника Управления внутренних дел Воронежской области.