Учитывая, что конвойная стража не вошла в состав войск ВОХР, приказом НКВД от 31 января 1920 г на них дополнительно была возложена задача охраны лагерей принудительных работ, созданных в соответствии с постановлением ВЦИК весной 1919 г. Тем же приказом объявлялась и инструкция для конвоя. Войска ВОХР по-прежнему оставались одним из основных источников пополнения действующей армии. Только за второе полугодие 1919 г. 95 батальонов (52 699 чел.) было отправлено на фронт.
Военно-охранительной службой в этот период продолжали заниматься караульные части Всероссийского главного штаба и Наркомюста, части железнодорожной охраны Красной Армии, военизированная транспортная милиция, НКВД. Несогласованность их действий и межведомственные разногласия требовали проведения структурной реорганизации. Ее инициатором выступил Ф.Э. Дзержинский. 1 сентября 1920 г. СТО принял постановление о создании войск внутренней службы Республики (войск ВНУС), в состав которых наряду с войсками ВОХР вошли караульные подразделения, части железнодорожной обороны, транспортная милиция и военизированные формирования. Согласно другому постановлению от 24 ноября 1920 г войскам ВНУС передавались функции пограничной охраны. Проведенная реорганизация завершила процесс создания единой системы внутренней службы НКВД РСФСР. К концу 1920 г. войска ВНУС состояли из 14 дивизий и 18 бригад, насчитывавших 360 000 чел. В тяжелейший период гражданской войны и иностранной военной интервенции войска ВОХР-ВНУС оказались на переднем крае борьбы за обеспечение внутренней безопасности государства. Более 150 бойцов и командиров были награждены орденом Красного Знамени. Победы, одержанные на завершающем этапе гражданской войны. Позволили начать сокращение Красной Армии, передать им часть функций войск ВНУС и поставить вопрос о включении последних в объединенный аппарат военного управления. Переход от армии военного времени к армии мирного времени отразился и на строительстве войск ВЧК. 19 января 1921 г. СТО постановил передать войска внутренней службы Народному комиссариату по военным делам. Все части и отряды, находившиеся в ведении чрезвычайных комиссий, были сведены в особый вид войск - войска ВЧК. В их состав вошла железнодорожная и водная милиция. 21 января 1921 г коллегия Всероссийской чрезвычайной комиссии утвердила «Основные положения организации войск ВЧК». Войска состояли из батальонов и бригад и предназначались для обслуживания местных чрезвычайных комиссий, охраны границ, транспорта, железнодорожных станций и сооружений, а также выполняли задачи по борьбе с бандитизмом и обеспечению общественного порядка. Руководство войсками осуществлял председатель ВЧК через командующего войсками.
10 июля 1921 г было утверждено новое Положение об организации войск Всероссийской чрезвычайной комиссии. Оно регламентировало весь комплекс вопросов устройства, управления, службы, укомплектования и обеспечения, определяло права и обязанности начальников. Изменилась и структура руководящих органов. Штаб войск был преобразован в Управление. После реформирования в декабре 1921 г. и составе войск ВЧК находились части и соединения по охране угольною района Донбасса, охране сухопутных и водных путей; специальные и обслуживающие подразделения.
Победоносное завершение гражданской войны дало возможность приступить к мирному строительству государства. Строительство нового общества шло тяжело: голод, разруха, военные конфликты, создание культа личности Сталина И.В., репрессии – все это отразилось и на развитии и строительстве внутренних войск. Однако, все эти годы внутренние войска стояли на страже государственных интересов, оберегая рубежи СССР и обеспечивая государственную безопасность страны. С окончанием гражданской воины и переходом страны к новой экономической политике встал вопрос о реорганизации ВЧК. Постановлением ВЦИК от 6 февраля 1922 г. она была упразднена, а ее задачи возлагались на Государственное политическое управление (ГПУ). Войска ВЧК преобразовывались в войска ГПУ. На них были возложены следующие задачи: борьба с бандитизмом; гарнизонная служба; охрана особо важных государственных объектов, сооружений и транспорта; сопровождение грузов, в том числе продовольствия для голодающих губерний; охрана Донецкого бассейна. Начальниками войск ГПУ Республики в 1922-1923 гг. были Э.С. Кадомцев и Ф.В. Патаки. В структуре войск Государственного политического управления находились 126 тыс. чел., из них: внутренние войска (80 601 чел.); железнодорожные части (37939 чел.); части, обслуживающие погранособотделы и отделения (7760 чел.). Эта громоздкая система построения нуждалась в освобождении от второстепенных функций. В ходе коренной реорганизации личный состав войск сократился на 60 %. Охрана путей сообщения и сопровождения грузов передавалась в ведение НКПС.
По указанию Ф.Э Дзержинского в ходе реформирования обращалось внимание на создание хорошо вооруженных, легко подвижных, высоко дисциплинированных и сплоченных воинских частей. Снабжение войск всеми видами довольствия осуществлялось по армейским нормам. Анализ документов показывает, что проводимым реорганизациям предшествовало тщательное глубокое изучение состояния войск, в ходе которого вырабатывались наиболее целесообразные меры их дальнейшего применения. С целью решения проблемы качества подготовки командно-политического состава 13 ноября 1922 г. в Москве была создана Высшая объединенная школа войск ГПУ на 600 слушателей. Дополнительно были сформированы Высшие повторные курсы войск ГПУ В июне 1923 г. при штабах шести военных округов, в том числе и в Петроградском, были открыты окружные повторные курсы войск ГПУ общей численностью 825 курсантов. Большое значение для повышения авторитета командиров и политработников имело введение 9 февраля 1923 г. в войсках Государственного политического управления табеля знаков различия командно-политического и административно-хозяйственного состава.