Знак «Гвардия» учреждён 21 мая 1942 года. Право носить знак имели военнослужащие, которые служили в формированиях, удостоенных почётного звания «Гвардейские». С 11 июня 1943 г., (Указ Президиума Верховного Совета СССР от 11 июня 1943 г.) данный знак помещался также на знамёнах данных подразделений. Затем изображение знака стали изображать на военных машинах. Советская гвардия появилась в период тяжелейших оборонительных сражений лета и осени 1941 г. под Смоленском. В приказе № 308 Ставки Верховного Главнокомандования от 18 сентября говорилось: «В многочисленных боях за нашу Советскую Родину против гитлеровских орд фашистской Германии 100, 127, 153 и 161-я стрелковые дивизии показали образцы мужества, отваги, дисциплины и организованности. В трудных условиях борьбы эти дивизии неоднократно наносили жестокие поражения немецко-фашистским войскам, обращали их в бегство, наводили на них ужас». Им вручили особые гвардейские знамена с портретом В.И. Ленина. Бойцы таких частей должны были носить нагрудные знаки (на правой стороне груди), а военнослужащие РККФ (ВМФ) - специальные планки с муаровой лентой оранжевого цвета с чёрными продольными полосами. Автор одобренного проекта знака - художник С.И. Дмитриев. И.В. Сталин индивидуально рассматривал все проекты знака. Он предложил барельеф Ленина на знамени сменить надписью «Гвардия». После Великой Отечественной войны знак «Гвардия» вручался только военнослужащим гвардейских частей, соединений и объединений.
В период Великой Отечественной войны знак «Гвардия» вручался в торжественной обстановке, на общем построении, с выносом боевого знамени. Молодое пополнение, распределявшееся в гвардейские части и соединения, удостаивалось этой чести после боевого крещения, а в авиации и на флоте только после нескольких боевых вылетов либо похода. Данное правило распространялось как на рядовой, так и на офицерский состав. Для личного состава Военно-Морского Флота гвардейский нагрудный знак был учрежден 10 июня 1942 года.
В июне 1943 утверждены гвардейские Красные знамена для гвардейских армий и корпусов, а в феврале 1944 утверждены образцы гвардейских знамён для частей и соединений ВМФ. На знамени гвардейской армии знак изображался в венке дубовых веток, а на знамени гвардейского корпуса – без венка. На данных знаменах была надпись СМЕРТЬ НЕМЕЦКИМ ЗАХВАТЧИКАМ и наименование воинского соединений.
На 9 мая 1945 года звания гвардейских удостоены: 11 общевойсковых и 6 танковых армий; конно-механизированная группа; 40 стрелковых, 7 кавалерийских, 12 танковых, 9 механизированных и 14 авиационных корпусов; 117 стрелковых, 9 воздушно-десантных, 17 кавалерийских, б артиллерийских, 53 авиационные и 6 зенитных артиллерийских дивизий, 7 дивизий реактивной артиллерии; 13 стрелковых, 3 воздушно-десантные, 66 танковых, 28 механизированных, 3 самоходные артиллерии и 64 артиллерийских полка, 1 минометная, 11 истребительно-противотанковых, 40 реактивной артиллерии, 6 инженерных и 1 железнодорожная бригады; 1 УР; в ВМФ - 18 надводных кораблей, 16 подводных лодок, 13 дивизионов боевых катеров, 2 авиадивизии, 2 зенитных артиллерийских полка, 1 бригада морской пехоты, 1 морская железнодорожная артиллерийская бригада, также ряд отдельных батальонов и рот различных родов войск и специальных войск.