14 сентября 1918 г. Дзержинский подписал «Положение ВЧК о губернских и уездных чрезвычайных комиссиях» и предложил немедленно приступить к организации губернских ЧК, которые должны разделяются на четыре главных отдела: 1) отдел но борьбе с контрреволюцией, 2) отдел по борьбе со спекуляцией, 3) отдел по борьбе с преступлением по должности и 4) отдел иногородний; в менее важных губернских городах отдел по борьбе с контрреволюцией и отдел по борьбе с преступлением по должности могут быть совмещены в один отдел. ГубЧК и УЧК могут назначать в отдельные пункты комиссаров. В качестве вспомогательных отделов при губЧК создаются хозяйственный отдел и комендатура. Дзержинский подчеркнул, что «только при этой организации чрезвычайная комиссия по борьбе с контрреволюцией, спекуляцией и преступлением по должности выполняет те задачи, которые на нее возложены».
Немало времени Дзержинский уделял работе особых отделов, проводя в жизнь необходимость централизации чекистского аппарата. После 5 июля 1921 г. он писал Менжинскому: «Неподчинение Особому Отделу ЮгоЗапу фронта Особ. Отд. Черноморского и Азовского морей считаю неправильным. При неподчинении Особ. Отд. Юго-Зап. фронта - Морск. Особ. Отд. он обязательно выродится. При отсутствии фактического контроля при неподчиненности Ос. Отд. Юго.Зап. фронта конфликты Морского Ос. Отд. с 00 13 и 14 армиями, а также с губчека неизбежны. Разделить борьбу за шпионаж на морскую и сухопутную - бесмыслица, а посему предлагаю выработать проект предложения о соподчиненности Морского Особ. Отд. Черного и Азовского морей в своей деятельности от грузинской границы до Таганрога Особ. Отдела Кавказского фронта, а от Таганрога до Днестра - Особ. Отд. от Кавказского фронта Юго-Зап. фронта и командованию морским силами в духе аналогичном взаимоотношениям 00 ВЧК и командованию отдельным фронтом».
25 декабря 1921 г. Дзержинский снова писал Манцеву о важности не столько реорганизации, сколько упразднения особых отделов, считая, что особое существование ЧК и Особого отдела при отсутствии внешних фронтов - «доведет до драки и упадка. По-моему, в конечном счете, Ос. от. не должно быть. Персональная уния на верху не решает вопроса...Ужасно туго идет объединение, товарищи все друг друга «лучшие» особотделисты и вечекисты. А если объединения не произойдет, упразднят нас быстрее, чем это нужно. Сейчас положение таково, что какой-нибудь инцидент, даже мелкий, может вызвать крупные последствия. Каждый «обиженный» станет «обличителем». Но черт с этим. Пишу это не для нытья, нам нужно сейчас напрячь силы для перестройки, для избежания справедливых нареканий, быть на чеку. Злюсь на себя, что в связи с некоторыми перипетиями сам я расхлябался и несколько нервничаю». Органы ВЧК на местах, по мнению председателя ВЧК, должны быть едины, их базой является местная власть, и только там, где есть особые политические соображения, не следует передавать всей власти местным советским органам, а можно оставлять особые отделы для свободы действий центральной власти. Но представителем центральной власти по линии ВЧК должен быть ее представитель, он же начальник всех ЧК. - «Теперь это нетрудно было бы сделать вхождением Фрунзе в Совнарком». И Дзержинский предложил следующую схему построения чекистского аппарата: «Цупчерзком - единый и единственный орган ВЧК на Украине, Ос. от. не пщ Цупчр., а Цупчрезкома (как и у нас ни при ВЧК, а просто ВЧК). Никаких окружных Ос. от. (Какая их база? Ок-рвоенком?). Если нужно, при окрвоенкоматах могут быть уполномоченные нач. Цупчрезкома с правами, определяемыми не Конституцией, а Вашими полномочиями. Каждая губчека имеет там, где нужно, свой Ос. от. На случай военных действий и необходимости образовать армейские Ос. от. (подвижные, а не территориальные, приспособленными для войны, а не мира) должен быть мобилизационный план, уже сейчас составляемый.
Несмотря на эти мои взгляды, я приказ Ваш подпишу, ибо моя схема должна быть тенденцией, провести ее сразу трудно при не определившемся еще достаточно военном положении запада Украины и из-за персональных соображений. Ваши соображения.
В 1921 г. была улучшена организационная структура органов ВЧК на транспорте. 3 марта из подчинения войск ВЧК выведены железнодорожная и водная милиция, 27 июня, в соответствии с административным делением речного и морского транспорта, реорганизованы ТЧК. В первую очередь были созданы водные отделы при Петроградской, Южной, Кавказской, Сибирской ОКТЧК и ЮгоЗападной ДТЧК. Выступая на совещании представителей ВЧК, Центрального Комитета транспорта (ЦекТрана) и НКПС 17 мая с докладом о реорганизации ТЧК и их роли на транспорте, Дзержинский отметил, что принципы организационного строения ТЧК и транспорта должны совпадать, и главная задача ТЧК помогать НКПС, а борьба с контрреволюцией не может быть специализированной, ибо она «едина и ее нельзя подразделять на железнодорожную и гражданскую...»
Важной мерой явилась реорганизация Экономического управления, связанная со значительным повышением роли органов безопасности в защите важнейших экономических интересов государства и общества, основного экономического потенциала Советской России. Рассуждая о цели реорганизации ЭКУ ВЧК, 24 марта 1921 г. Дзержинский в письме Ихновскому отметил, что он напрасно нападает на построение ВЧК - «оно ни при чем. Наш аппарат- один из самых экономных и производительных и может быть лучше -это верно». Главная причина того, что «наше Экон. упр. хиреет, потому что нет в партии, в главках сознания его важности, с одной стороны, а с другой- потому что мы Эк. управлению поставили слишком широкие задачи. Мы слишком разбросались во все стороны. Экон. упр. нужно сосредоточиться на ударных группах. Этими, полагаю, должно себе поставить кроме топлива, НКВнешторг. Обсудите это у себя и с Ягодой (чл. кол. НКВТ). Надо составить план кампании, привлечь людей, привлечь внимание партии и бить в эту точку, не отвлекаясь до тех пор, пока не достигните результатов, т.е. пока НКВТ (не будет) реорганизован, сокращен в штатах, сменой в личном составе и т.д.