В мае 1997 года к Президенту России обратилась группа ветеранов-военачальников с предложением, для увековечения памяти военнослужащих и других граждан Российской Федерации, погибших при защите Отечества, а так же имевших особые заслуги перед государством создать национальное воинское кладбище, которое должно стать объектом общенациаональной гордости всех народов России, памяти павших ее сынов, ее нравственной совести и международного авторитета.
Основополагающим документом для создания Федерального мемориального кладбища стал Указ Президента Российской Федерации от 11 июля 2001 года № 829 «О Федеральном военном мемориальном кладбище».
Во исполнение Указа Президента Российской Федерации в феврале 2004 года подписано постановление Правительства Российской Федерации № 105 «О Федеральном военном мемориальном кладбище», в котором определены категории граждан, имеющих право быть захороненными на ФВМК, а Министерству обороны Российской Федерации предписано обеспечить выполнение работ по проектированию и строительству объектов.
В ноябре 2006 года Заместителем Председателя Правительства Российской Федерации — Министром обороны Российской Федерации утвержден окончательный вариант монументально-художественного оформления и фасадов основных архитектурных сооружений ФВМК. С апреля 2008 года начались строительные работы по созданию монументального ансамбля на территории военного некрополя. Автором монументально-художественного оформления нынешнего облика кладбища выступил Художественный руководитель ЗАО «Комбинат монументального декоративного искусства» народный художник Российской Федерации Сергей Горяев.
21 июня 2013 года было проведено первое захоронение останков Неизвестного Солдата, погибшего под Смоленском в годы Великой Отечественной войны.
22 июня 2013 года Министр обороны Российской Федерации генерал армии Шойгу С.К. провел торжественное открытие Федерального военного мемориального кладбища с зажжением Вечного огня.
5 ноября 2014 года Патриарх Московский и всея Руси Кирилл совершил чин великого освящения храма преподобного Сергия Радонежского на Федеральном военном мемориальном кладбище.
