Через четыре дня для объединения борьбы со шпионажем, контрреволюцией, и бандитизмом Дзержинский принял решение о реорганизации особых отделов. В войсковых частях и военных учреждениях при Цупчрезвычкоме Украины был создан Особый отдел с подчинением ему всех особых отделов, находившихся на территории Украины и Крыма; при Киевском и Харьковском военных окру-
гах сформированы окружные особые отделы с подчинением Особому отделу при Цупчрезкоме; расформирование и реорганизация фронтовых, армейских, окружных и пограничных особых отделов на территории Украины были возложены на Особый отдел Цуп-чрезкома; в распоряжение Особого отдела Цупчрезкома переданы аппараты и сотрудники бывших особых отделов Южного фронта и входивших в них армий. Особый отдел 14 армии был переформирован в пограничный особый отдел с обслуживанием румынской границы от Каменец-Подольска до Маяки включительно.
25 декабря 1920 г. Ф.Э Дзержинский писал И.П. Павлуновско-му: «У нас сейчас идет объединение ВЧК и Ос. От., хотя несколько болезненно, но думаю, что преодолеем; различие методов и построения вызвали разную психологию в товарищах и патриотизм к учреждению -отсюда трения...».
В то же время в письме к Ксенофонтову он выразил недовольство Менжинским об организации окружных особых отделов -«Я в корне не согласен. Борьба со шпионажем и контрреволюцией вообще едина есть, а посему все попытки создать ведомственные чека (сиречь Ос. Отд. для военного ведомства) обречены на разложение и трату сил. Из этого мы уже выросли и возвращаться не к чему».
1921 г. был характерен перестройкой структуры к условиям мирного времени, хотя борьба с вооруженными формированиями противников советской власти продолжалась. Поэтому основное внимание было уделено военному компоненту. В годы Гражданской войны и борьбы с интервентами был накоплен значительный опыт создания наиболее приемлемой организационной структуры и системы управления. Но она в большей мере соответствовала эпохе военного коммунизма и оказалась во многом непригодной с переходом к новой экономической политике. Это была значительная трудность, которую следовало преодолеть для того, чтобы органы и войска ВЧК-ОГПУ могли эффективно работать в новых условиях. Реформирование началось с войск ВЧК. При этом было обращено внимание на то, чтобы войсковые ее части не были «родными сестрами полевых дивизий РККА», т.е. более маневренными и меньшими по численности, «сплоченными не только дисциплиной, но и подбором и близостью с ЧК».
15 января 1921 г. в ВЧК состоялось обсуждение вопроса о пограничных войсках. На совещании присутствовали: Ф.Э Дзержинский, С.С. Каменев, Лебедев, В.С. Корнев, М.Н. Тухачевский, И.С.
Уншлихт, Д.Н. Авров, Пермяков и от пограничной стражи комиссар финляндской границы Березинский. Было решено определить для охраны границы общее число войск в 100 000 человек, в том числе до 1/6 конницы; Полевому штабу совместно с Особым отделом ВЧК выработать инструкцию, определяющую принципы охраны границы и расчетов пограничных военных сил; организация связи в пограничной полосе возложена на Военное ведомство; между пограничными войсками и Военным ведомством предложено установить «тесную органическую связь».
Ввиду сокращения численности армии и сосредоточения всей вооруженной силы страны в одном ведомстве, постановлением СТО от 19 января 1921 г. войска ВЧК были снова сведены в особый вид войск под названием «войска Всероссийской Чрезвычайной комиссии», во всех отношениях подчиненные ВЧК. В их состав вошли части и подразделения губернских и областных ЧК, полномочных представительств ВЧК, транспортных и особых отделов ВЧК, а также пограничные войска, железнодорожная и водная милиция. Особый штат войск ВЧК должен был утверждаться председателем ВЧК и содержаться на особых основаниях, вырабатываемых Коллегий ВЧК. Комплектование войск ВЧК предложено было производить на основаниях, вырабатываемых соглашениями председателей ВЧК и РВСР. На войска ВЧК кроме лежавших на них обязанностей, была возложена задача охраны границы РСФСР, железнодорожных станций и пристаней.
29 января 1921 г. Коллегия ВЧК уточнила основные положения организации войск ВЧК. Они должны были обслуживать местные ЧК, особые отделы войсковых частей и соединений, а также особые отделы по охране границ, подчиняясь Дзержинскому, который руководил ими через командующего войсками ВЧК, входившего в Коллегию ВЧК. Аппаратом управления войсками ВЧК являлся штаб. В феврале 1921 г. вместо штаба войск ВЧК было создано управление войск ВЧК. На местах части войск ВЧК подчинялись председателям губернских (областных) ЧК, а в Сибири, на Украине, Кавказе и в Туркестане - полномочным представителям ВЧК. 15 февраля 1921 г. Дзержинский утвердил инструкцию частям войск ВЧК, охранявшим границу РСФСР. Части войск ВЧК, обслуживавших особые отделы ВЧК по охране границы, были объединены на каждом участке границе и подчинены начальникам особых отделов ВЧК. Охрана границы разделена на войсковые районы, участки и посты.
18 марта 1921 г. Дзержинский, ссылаясь на единодушное мнение всех делегатов пограничных губерний Западного фронта и партийных и советских руководящих работников Украины, предложил срочно пересмотреть схему организации Особого отдела по охране границ: «вся организация на местах включается в губчека, с оставлением отделений, объединенных в губернии Ос. от. по охр. границ губчека и под общим руководством по всему фронту ос. от. Зап. фронта и Киев, округа и Крымского представителя».
25 марта 1921 г. должность командующего войсками ВЧК была упразднена и введена в штаты ВЧК должность начальника войск ВЧК. Командующий войск ВЧК В.С. Корнев был освобожден, а начальником войск ВЧК назначен М.И. Розен.