Церковь построена на Вознесенском кладбище в 1808-1816 годах на средства купца Самуила Никитича Мещерякова, прозванного за могучую силу Чугунным. Это была вторая церковь, возведенная им на кладбище (первая - Вознесенская - в 1808 году, не сохранилась), которое стало называться в честь него Чугуновским. Позднее на соседнем участке открыли Немецкое (Лютеранское) кладбище.

Чугуновское кладбище считалось самым престижным в городе. Здесь были похоронены участники Отечественной войны 1812-1814 годов полковник М.М. Петров (1780 - 1858), подполковник А.И. Самбурский (1788 - 1862), генерал-лейтенант А.Н. Марин (1789 - 1873), литератор В.А. Дьяченко (1818 - 1876), начальница Воронежского епархиального училища Н.А. Колодкина (1810 - 1895), историк и краевед Г.М. Веселовский (1837 - 1896), издатель филологических записок А.А. Хованский (1814 - 1899), директор реального училища В.В. Вяхирев (1837 - 1899), купец Н.Н. Паныпин (1820 - 1897).

Среди похороненных на лютеранской части кладбища - преподаватель немецкого языка в гимназии В.Э. Гиттерман (1821 - 1895); пастор евангелической церкви Э.Э. Фере (1834 - 1895); А.Н. Гоголь-Яновская (1843 - 1895); А.Г. Столль (1863 - 1899); действительный статский советник, астраханский вице-губернатор А.Г. фон Бринкман (1833 - 1899); основатель садоводчества И.Г. Карлсон (1830 - 1902); архитекторы А.С. Купинский (1828 - 1908), А.А. Кюи (1828 - 1909).

В 1929 году обе церкви закрыли. В церкви пророка Самуила было размещено общежитие, в Вознесенской - стекольный завод. В 1950-х годах Вознесенскую церковь разобрали, на месте кладбища выстроили телецентр и жилые дома, в середине 1980-х годах - спортивный комплекс «Юбилейный».

От кладбища сохранились церковь пророка Самуила и входной пилон ограды около территории спортивного комплекса.

Оригинальная по объемной композиции церковь выполнена в стиле ампир. Сравнительно небольшое бесстолпное (завершения не сохранились) здание сооружено из кирпича и оштукатурено. Объем храма слегка вытянут и завершен с запада и востока апсидами. На продольных, северной и южной, сторонах выступают ризалиты. В центре ризалитов расположены арочные входные проемы, по сторонам - прямоугольные окна (по три с каждой стороны). Окна забраны металлическими решетками. В 1990-х годах начата реконструкция церкви, надстроен второй ярус.

Церковь действующая.