Первое известное упоминание о селе относится к 1669 году. По окладной книге Рязанской митрополии 1676 года село Гремячье Борщевского стана имело Вознесенскую церковь и 31 двор. Обстоятельством возникновения села Гремячье является тот факт, что здесь проходила Белгородская засечная черта, сооруженная для защиты русских поселений от набегов татар и других кочевников, для охраны южных окраин Московского государства. До 1928 года село территориально входило в состав Воронежского уезда Воронежской губернии.

Архиепископ Дмитрий (Самбикин) в 1880-е годы сообщал: «Церковь в селе Гремячем, Воронежскаго уезда, каменная, построена в 1821 году (с приделом св. муч. Параскевы); первоначально церковь посвящена св. муч. Параскеве. Село получило название от источника воды (родник), с горы в Дон впадавшего, от котораго слышен шум версты за две, а потому самый источник (водопад) в народе был назван гремячим. Церковь в селе Гремячем была еще при св. Митрофане. В 1738 году в селе Гремячем была уже Вознесенская церковь и при ней был поп Автоном; земли 52 десятин пахотной, отведенной прихожанами, 14 десятин помещиками Чертковым и Алисовым. Прихожан 1500 душ, хутор Дмитриевка». По данным за 1900 год, в штате церкви числились: священник, диакон и псаломщик. Земли 66 десятин. Приход насчитывал 341 двор, в которых проживало 3467 человек. В годы государственной политики воинствующего атеизма храм закрыли, а в 1935 г., под предлогом аварийности здания, разобрали.

Богослужения в Гремячьем возобновились лишь в 1998 году в помещении местного дома культуры. Вскоре приходской общине передали здание бывшего филиала сбербанка, где оборудовали домовый храм. В 2003 году начались подготовительные работы по строительству нового храма. В праздник Святого Духа, 31 мая 2004 года, митрополит Воронежский и Борисоглебский Сергий совершил освящение закладного камня в основание возводимого храма. 28 мая 2007 года митрополит Сергий совершил освящение крестов и 250-килограмового колокола для Вознесенского храма. В наши дни в храме совершаются богослужения.