После Февральской революции 1917 года — член Петроградского совета рабочих и солдатских депутатов, делегат VII (Апрельской) Всероссийской конференции и VI съезда РСДРП(б). В марте 1917 года прибыл в Луганск, избран председателем Луганского комитета большевиков, с августа — городской думы, с сентября — Луганского совета. В ноябре 1917 года прибыл в столицу, назначен комиссаром Петроградского военно-революционного комитета по градоначальству. 5 декабря 1917 года комитет ликвидирован, создан специальный орган для поддержания порядка в столице. Реализовать это поручили К. Е. Ворошилову. Вместе с Ф. Э. Дзержинским вёл работу по организации Всероссийской Чрезвычайной Комиссии (ВЧК).В начале марта 1918 года Ворошилов организовал Первый Луганский социалистический отряд, оборонявший Харьков от германо-австрийских войск.