14 августа 1956 года стал заместителем министра обороны СССР по вопросам военной науки. В декабре 1957 года был уволен в отставку по болезни с правом ношения военной формы.В январе 1959 года был назначен генеральным инспектором Группы генеральных инспекторов Министерства обороны СССР (по 5 декабря 1977 года).На XIX и XX съездах избирался членом ЦК КПСС (1952—1961). Избирался депутатом Верховного Совета СССР 2—4 созывов (1946—1958).В 1956—1958 годы являлся первым председателем Советского комитета ветеранов войны, в дальнейшем принимал активное участие в деятельности организаций ветеранов Великой Отечественной войны.Умер 5 декабря 1977 года. Урна с прахом Александра Михайловича Василевского была замурована в Кремлёвской стене на Красной площади в Москве. Группа от 10 человек. Необходима предварительная запись.