Новая (Нижняя) Ольшанка – старинное русское село. Было основано в 1665 году, впервые упоминается в переписных книгах 1684 и 1730 гг. До 1928 года Новая Ольшанка территориально входила в состав Нижнедевицкого уезда Воронежской губернии. По данным 1705 года в селе располагалась деревянная церковь вероятно во имя святых Космы и Дамиана. Во время пожара 1763 года этот храм сгорел, и на его месте в 1766-1769 годах был построен и освящен каменный храм во имя Рождества Богородицы с приделом святых Космы и Дамиана. В 1882 году была осуществлена капитальная перестройка храма, во время которой старая храмовая часть была разобрана, и на ее месте возведена новая с тремя приделами. Из них два придела построены по правую и левую стороны от центрального алтаря. Они были освящены во имя святителей Митрофана Воронежского и Николая Чудотворца. Третий придел был построен в трапезной части храма и освящен во имя святых Космы и Дамиана. Трапезная часть храма и колокольня перестройке не подвергались. В результате перестройки церковь получилась однокупольной в виде корабля. Высота колокольни – 15 метров. Архиепископ Дмитрий (Самбикин) в середине 1880-х годов сообщал: «Церковь в селе Нижней Ольшанке, Нижнедевицкого уезда, с приделами по правую сторону св. Митрофана, по левую сторону св. Николая чудотворца, в трапезной св. безсребренников Косьмы и Дамиана, каменная с колокольнею, построена в 1882 году. Земли 33 десятины пахатной; два штата. В церковной (каменной) ограде 12 каменных лавок (церковных). Прихожан 1900 душ. Деревня Костырь». В 1900 году, в штате церкви числились: два священника, диакон и два псаломщика. Церкви принадлежало 46 десятин пахотных земель. Приход насчитывал 768 дворов, в которых проживало 6338 человек.
С 1930-х по 1950-е годы церковь была закрыта (по другим данным, во время Великой Отечественной войны храм не закрывался).
В 1954 году, во время управления Воронежской епархией митрополита Иосифа (Орехова), в храме были возобновлены богослужения. Храм сохранил свой внешний облик со времени его перестройки 1882 года, однако, придел святых Космы и Дамиана не сохранился. В настоящее время Рождество-Богородицкая церковь является объектом исторического и культурного наследия областного значения.