С образованием СССР начинается новый этап строительства войск. ГПУ при НКВД РСФСР реорганизуются в Объединенное государственное политическое управление при Совете Народных Комиссаров СССР (0ГПУ). 15 ноября 1923 г. Президиум ЦИК СССР утвердил Положение об ОГПУ и его органах. В результате этого войска ГПУ стали именоваться войсками ОГПУ. Они вышли из подчинения НКВД и до 1934 г. находились в составе объединенного государственного политуправления. Руководство ими было возложено на заместителя председателя ОГПУ И.С. Уншлихта через штаб войск. Военная реформа, проведенная в войсках ОГПУ в 1924-1928 гг., была направлена на организационную перестройку и совершенствование системы управления всеми составными частями ведомства. Отдельные подразделения объединялись в части и соединения. 17 июня 1924 г. отряд особого назначения при коллегии ОГПУ был переформирован в дивизию особого назначения, на которую возлагались ответственные задачи по охране правительственных и партийных учреждений, других важнейших объектов.
Изменения в составе войск ОГПУ нашли отражение в утвержденных в 1931 г. Уставе службы внутренних войск и Наставлении по оперативно-боевому использованию войск ОГПУ. Этими нормативными документами регламентировалась их служебно-боевая деятельность, определялся порядок действий войск при проведении чекистско-войсковых операций, рассматривались вопросы повседневной жизни, обучения и воспитания. В 30-е годы значительно улучшилось техническое оснащение войск, формировались моторизованные части и бронедивизионы. Повысился уровень стрелковой и физической подготовки войсковых частей. Это позволило повысить их боеспособность, маневренность и качество выполнения служебных задач. Постановлением ЦИК СССР от 10 июля 1934 г, был создан общесоюзный Народный комиссариат внутренних дел. Главное управление пограничной охраны и войск ОГПУ было реорганизовано в Главное управление пограничной и внутренней охраны (ГУПВО) и включено в состав НКВД. Начальником внутренней и пограничной охраны стал Н.К. Кручинкин. В округах (кроме пограничных) вместо инспекций войск ОГПУ были сформированы Управления внутренней охраны (УВО). Это дало возможность более оперативно и качественно руководить служебно-боевой деятельностью войск. В состав внутренней охраны вошли части оперативного назначения, по охране важных предприятий промышленности, по охране железных дорог, конвойные части в октябре 1935 г. в указанных видах войсковых частей были введены воинские звания, новая форма одежды и знаки различии. Кадровые вопросы нашли свое отражение в Положении о прохождении службы командным и начальствующим составом пограничной и внутренней охраны ПКВД СССР. Это сыграло большую роль в повышении авторитета командиров и политработников, в укреплении воинской дисциплины.
В целях дальнейшего совершенствования системы управления в конце 1937 г ГУПВО было переименовано в Главное управление пограничных и внутренних войск (ГУПВВ), начальником которого в январе 1938 г был назначен комдив А.Л. Ковалев. Институт военных комиссаров в пограничных и внутренних войсках был введен приказом НКВД СССР от 22 апреля 1938 г.
Значительно повысились требования к командно-политическому составу, их квалификации, для чего создавались центры подготовки командных кадров среднего звена. В результате реформирования школ пограничной охраны 20 апреля 1937 г в Москве, Саратове, Харькове, Новом Петергофе были созданы военные училища пограничной и внутренней охраны НКВД. Для подготовки политработников Ново-Петергофское военное училище 7 октября 1937 г было реформировано в военно-политическое на 700 курсантов с двухгодичным сроком обучения на базе пехотного отделения указанного училища приказом Наркома внутренних дел от 30 декабря 1937 г. организовывалось Орджоникидзевское военное училище войск НКВД на 700 курсантов и слушателей. Для подготовки специалистов тыла было создано Московское военно-хозяйственное училище войск НКВД.
1939 г. для внутренних войск стал годом их дальнейшего развития. 3 января 1939 г был утвержден новый текст Военной присяги. 23 февраля все воины дали клятву на верность Родине. Постановлением СНК СССР от 2 февраля 1939 г. Главное управление пограничных и внутренних войск НКВД СССР было разделено на 6 главных управлений: пограничных войск НКВД СССР; войск НКВД СССР по охране железнодорожных сооружений, войск НКВД СССР по охране особо важных предприятий промышленности, конвойных войск НКВД СССР, военного снабжения НКВД СССР, главное военно-строительное управление войск НКВД.
Оперативные войска до 1941 г. оставались в подчинении Главного управления погранвойск. Система управления перестраивалась как в центре, так и на местах. Периферийные управления внутренних войск были упразднены. В каждой из управленческих структур были созданы штабы и политотделы, проведены необходимые оргштатные мероприятия. Общее руководство войсками и координацию их деятельности осуществлял заместитель наркома по войскам И.И. Масленников. Несмотря на разделение войск по отдельным видам, все они, кроме пограничных, относились к внутренним войскам. Кадровый принцип строительства Красной Армии был закреплен принятом Верховным Советом СССР 1 сентября 1939 г. «Законе о всеобщей воинской обязанности», в котором войска Наркомата внутренних дел получили законодательное подтверждение о вхождении в состав Вооруженных Сил страны. Согласно принятому Закону Вооруженные Силы СССР состояли из Рабоче-Крестьянской Красной Армии, Рабоче-Крестьянского Военно-Морского флота, пограничных внутренних войск.