Дзержинский, безусловно, хотел, чтобы поведение чекистов, имевших заслуги в борьбе с контрреволюцией, служили примером всем остальным. 15 июля 1923 г. он писал Хрусталеву: «Заслужили на суровое наказание. Вы должны были быть для всех образцом по Вашей работе в ВЧК и по боевым заслугам. Если Вы себе позволяете, то все остальные тем более будут себе позволять. Тогда ГПУ надо будет разогнать, ибо не польза, а вред от него будет. На этот раз наказание отменяю, надеясь, что Вы слово свое сдержите».
Председатель ВЧК-ОГПУ был требовательным человеком, и часто прибегал к наказаниям за провинности и упущения по службе и тем более за преступления. Обращаясь к чекистам 23 июня 1919 г., он писал, что «суровое наказание ждет всех тех, кто вздумает злоупотреблять предоставленными ЧК правам. В случае применения высшей меры наказания к каким-либо лицам в корыстных целях виновные будет расстреливаться. Ответственность за проступки чекистов он возложил на местные коллегии ЧК в целом и на председателей в частности».
19 января 1921 г. Дзержинский предложил И.К. Ксенофонтову составить циркуляр ко всем председателям и начальникам ЧК и особых отделов об отношении к преступлениям и проступкам чекистов и к неправильным на них обвинениям. При этом учесть следующее:
«I. Работа чекистов тяжелая, неблагодарная (в личном отношении), очень ответственная и важная в государственном, вызывающая сильное недовольство и отдельных лиц и саботажных учреждений. Вместе с тем - работа полная искушений на всякие злоупотребления властью, на использование своего положения и одного факта службы в ЧК для личных выгод.
2. Чтобы чекист мог выполнить свои обязанности и остаться твердым и честным на своем пути, для этого необходима постоянная товарищеская поддержка и защита со стороны председателя, членов Коллегии, заведующих отделами и т. п. Чекист может только тогда быть борцом за дело пролетарское, когда он чувствует на каждом шагу себе поддержку со стороны партии и ответств. перед партией руководителей. Но, с другой стороны, слабые на искушение товарищи не должны работать в ЧК. И защита, и укрывательство тех, кто впал в искушение и злоупотребил своей властью для своей корысти - недопустимы и преступны троекратно.
Совершает преступление тот председатель и заведующий, который замазывает и покрывает преступление чекиста. Преступник против пролетарской революции, преступник против партии, ответственной за ЧК, преступник против всех честных чекистов и самой ЧК. Чтобы выполнить свои обязанности для революции, чтобы быть в состоянии защищать и оказывать поддержку своим сотрудникам в их тяжелой борьбе - для этого ЧК должны беспощадно и неуклонно отбрасывать от себя слабых и наказывать жестоко совершивших преступление.
В 1919 г. член коллегии Петроградской губЧК Д.Я. Чудин вступил в интимную связь с некой Свободиной- Сидоровой. За «любовь» приходилось платить. И Чудин по ее просьбам освободил из-под ареста ее сожителя спекулянта В.М. Дрейцера и спекулянтов Эменбекова, Баршанского и Розенберга, с которых его любовница получала крупные взятки за заступничество в ЧК.
Дзержинский отправился в Петроград, чтобы лично разобраться с этим делом. Ввиду важности дела, ВЧК назначила для рассмотрения его комиссию из трех членов ВЧК и трех членов Петроградской губчека под председательством Дзержинского. Были арестованы Чудин, Свободина-Сидорова и освобожденные Чудиным спекулянты. Показаниями обвиняемых и всеми обстоятельствами дела вина Чудина была установлена. Он, узнав от Свободиной о полученной ею от Эменбекова крупной взятке, хотя сам и отказался от предложенных ему 25 тыс. руб. из этой взятки, не только не арестовал ее, не сообщил об этом в губЧК и не прервал с нею преступной связи, продолжая брать от нее разные продукты. Когда ЧК напала на след сожительницы Чудина, тот рассказал об этом ей и заявил: «Я боюсь к тебе ходить, за мной следят». Узнав от Свободиной также, что к ней ходит разыскиваемый ЧК Габаев, чтобы с ее помощью добиться освобождения своей жены за взятку от 50 до 100 тыс. руб., Чудин опять-таки ограничился только предупреждением, сказав ей, чтобы Габаев перестать к ней ходить.
Комиссия единогласно постановила Чудина расстрелять. В приговоре от.22 августа 1919 г. Дзержинский записал: «..вина Чудина усугубляется еще тем, что он, состоявший несколько лет в рядах Коммунистической партии и занимавший такой ответственный пост, как пост члена Чрезвычайной комиссии не мог не понимать как предательски он нарушает интересы партии и злоупотребляет доверием своих товарищей по ЧК».
Н.А. Свободиной-Сидоровой за использование интимной связи с Чудиным для шантажа и взяточничества, а В.М. Дрейцер за освобождение ряда лиц за взятки были расстреляны 23 августа.
29 апреля 1920 г. Дзержинский приказал арестовать и доставить в Москву бывшего заместителя председателя РЧТК Петрограда Д.В. Усова, как дезертира, самовольно оставшегося в Киеве.
22 июня 1922 г. Дзержинский ознакомился с предварительным заключением уполномоченного Следственного отдела ГПУ Де-Решак-Вельмора, который обвинил в преступлении по должности уполномоченного активной части Оперативного отдела ГПУ А. В. Карпова и фельдегеря ГПУ П. И Матвеева в систематическом пьянстве. К тому же Карпов терроризировал своим поведением жильцов дома, где проживал, вымогал у них деньги, угрожал револьвером, содействовал незаконному получению удостоверений и пропусков скупщику золота и бриллиантов, вел антисемитскую агитацию.
Карпов и Матвеев были арестованы 21 июля 1922 г. Через два дня Дзержинский просил Фельдмана доложить, почему Карпов «так долго после поступления на него обвинения не был арестован, а также кто из его сотоварищей за него ручался и заступался? Все они должны быть опрошены, ибо иначе некоторая тень может пасть и на них. Ибо трудно предположить, чтобы могли ускользнуть от их внимания антисемитизм и разгульная, не по средствам жизнь Карпова. Дело это очень важное. Каленым железом надо выжить из ГПУ таких подлецов. Докладывайте мне о ходе дела. Мера наказания должна быть определена при моем участии. Приговор должен навести ужас на подобных лиц - дабы ушли от нас».