При подготовке к рассмотрению проекта контрольных цифр бюджета на 1925/1926 г. НКФ снова запланировал сокращение ассигнований ОГПУ. 3 июля 1925 г. Дзержинский поручил Ягоде «подготовить наше предложение. По-моему, бюджет наш в 25/26 г. должен быть больше, чем в 24/25 г..
Следовательно, всестороннее обсуждение вопроса о месте и роли органов ГПУ в политической системе способствовало более четкому пониманию их функциональных обязанностей, отношений с другими ведомствами, путей совершенствования организационной структуры ОГПУ. В последующем проводимые сокращения уже в меньшей степени касались аппарата чекистского ведомства, чем сокращения 1922-1924 гг. Это объясняется, прежде всего тем, что в основе своей он был максимально приближен к потребностям мирного времени. Однако ввиду нехватки средств на его содержание, руководство ОГПУ вынуждено было пойти на сокращение объема работы некоторых структур, в частности, политического контроля. С 9 декабря 1925 г. он был упразднен в уездах и округах и оставлен лишь в губернских и областных центрах, а также в тех окружных центрах, которые по своим масштабам были равны губернским. Для ведения профсоюзной работы в ОГПУ вместо профсоюзов были созданы культурно-бытовые комиссии, которые в своей работе руководствовались «Положением о членстве сотрудников ОГПУ и об органах союза в учреждениях ОГПУ», принятом ВЦСПС и ОГПУ 11 октября 1924 г..
В связи со складывавшимся международным положением и изменениями во внутренней политике ВКП (б) и Советского правительства, новыми правами и обязанности органов ОГПУ произошло дальнейшее уточнение структуры ОГПУ. К концу 1925 г. его центральный аппарат состоял из Председателя, Коллегии, Секретариата и трех управлений: Экономического, Административноорганизационного, Секретно-оперативного; пятнадцати отделов: Иностранного, Пограничной охраны и Главной инспекции войск ОГПУ, Специального, Финансового, Хозяйственного, Связи, Секретного, Контрразведывательного, Особого, Информации и Политконтроля, Транспортного, Восточного, Оперативного, Центральной регистратуры и тюремного, а также специального отделения, особоуполномоченного, санитарной части, комиссии по распределению и контролю секретных сумм, Центрального шифровального бюро. С ноября 1926 г. Отдел пограничной охраны и Главная Инспекция войск ОГПУ стала именоваться «Главным управлением погранохраны и войск ОГПУ».
Повышенное внимание к госаппарату в середине 1920-х гг. объяснялось стремлением большевистской партии создать органы власти в центре и на местах, соответствовавшие ее требованиям, но оно во многом не увенчалось успехом. «Надо прямо признать, -писал Ф.Э. Дзержинский, - что в этой борьбе до сих пор мы биты. Активнее и победоноснее другая сторона. Неудержимое раздутие штатов, возникновение все новых и новых аппаратов, существующая бюрократизация всякого рода дела - горы бумаг и сотни тысяч писак, захватывание больших зданий и помещений, автомобильная эпидемия, миллионы излишеств. Это легальное кормление и пожирание гос (ударственного) имущества этой саранчей. В придачу к этому неслыханное и бесстыдное взяточничество, хищения, нерадение». Поэтому «разрешение вопроса госаппарата, - по мнению Председателя ОГПУ, - есть вопрос существования рабочекрестьянской России».
Эти недостатки, хотя и в меньшей мере были присущи и аппарату ОГПУ.
Наряду с совершенствованием организационной структуры административных органов управления, не меньшее внимание Ф.Э. Дзержинским было уделено и общественно-политическим структурам. Речь идет в большей мере об аппарате партии большевиков в органах ВЧК-ОГПУ.
Идея руководителей компартии о четком разделении функциональных обязанностей между советским административным государственным аппаратом и политическим (партийным) не была проведена в жизнь. Более того, постепенно начали стираться различия между органами коммунистической партии и государства. И вся высшая власть в стране сосредоточилась в Политбюро и Оргбюро ЦК РКП (б)-ВКП (б). Она стала абсолютной и через широкую сеть различных элементов общепартийной структуры охватила все стороны жизни и деятельности коллективов сотрудников ВЧК-ОГПУ. Ни одно важное решение, касавшееся органов безопасности, во всех государственных структурах не принималось без участия партийных органов. Следовательно, общественно-политическая структура в лице аппарата коммунистической партии, от первичной партийной организации до ЦК, была важнейшим элементом чекистского ведомства, позволявшей ей предметно руководить всеми сторонами деятельности органов ВЧК-ОГПУ.
При этом много внимания уделялось тесной работе двух структур: административной и партийной. Это было необходимо, потому что не всегда чекисты и коммунисты-руководители доверяли друг другу, а сотрудники ВЧК-ОГПУ принимали решения без учета мнения парткомов.
Одним из существенных факторов влияния партии коммунистов на все стороны жизни и деятельности органов безопасности была работа их руководителей в составе парткомов в центре и на местах. Так, Дзержинский являлся членом ЦК РКП (б), Оргбюро, а с июня 1924 г. - кандидатом в члены Политбюро ЦК партии. Руководители ВЧК-ОГПУ: Ф.Э. Дзержинский, И.К. Ксенофонтов, В.Р. Менжинский, И.С. Уншлихт, М.А. Трилиссер и другие избирались делегатами партийных съездов, конференций, принимали участие в заседаниях всех руководящих партийных органов: Политбюро, Оргбюро, Секретариата и отделов ЦК РКП (б) при обсуждении самых актуальных вопросов, связанных не только с работой чекистских органов. Полномочные представители и руководители губЧК (отделов ГПУ-ОГПУ) являлись членами областных бюро, бюро губкомов и других партийных комитетов, делегатами губернских и областных конференций и др.