В декабре 1919 года на фоне общего отступления и разложения колчаковских войск Говоров вместе с братом и несколькими солдатами из состава своей батареи дезертировал из части и направился в Томск, где в составе боевой дружины принимал участие в восстании против белых властей, получив должность помощника начальника дружины.22 декабря 1919 года Томск перешёл под контроль РККА и в январе 1920 года Говоров вступил в качестве добровольца в 51-ю стрелковую дивизию под командованием В. К. Блюхера, где занял должность командира артиллерийского дивизиона. Вскоре вся дивизия переброшена на Южный фронт, где в составе Перекопской ударной группы 6-й армии под командованием А. И. Корка дивизион принимал участие в сражениях против армии генерала Врангеля.