2 июня 1958 он вновь назначается заместителем Министра обороны СССР — начальником Тыла Министерства обороны СССР (позднее — заместитель Министра обороны СССР — начальник Тыла Вооружённых Сил СССР).25 апреля 1968 года Баграмян стал генеральным инспектором в составе Группы генеральных инспекторов Министерства обороны СССР. Указом Президиума Верховного Совета СССР от 1 декабря 1977 года за заслуги перед Вооружёнными силами СССР, мужество и героизм, проявленные в борьбе с немецко-фашистскими захватчиками в годы Великой Отечественной войны, и в связи с восьмидесятилетием со дня рождения Маршал Советского Союза Иван Христофорович Баграмян награждён орденом Ленина и второй медалью «Золотая звезда».Иван Христофорович Баграмян скончался 21 сентября 1982 года. Он был последним из маршалов, командовавших фронтами в Великой Отечественной войне. Урна с прахом прославленного военачальника захоронена в Кремлёвской стене на Красной площади в Москве. Предварительная запись. группа от 10 человек.