Но в 1937 году над ним, как и над многими другими старыми сотрудниками разведки, стали сгущаться тучи. Узнав о бегстве Рейсса, с которым был хорошо знаком, Бармин не стал дожидаться вызова в Москву и допроса о связях с невозвращенцем, и в июле 1937 года покинул свой пост в Греции. Обосновавшись во Франции, он громко заявил о своем несогласии с проводимой в СССР политикой. Первое время он активно сотрудничал с троцкистами и опубликовал книгу под несколько странным названием «Записки советского дипломата».

Но в 1939 году, не желая более рисковать жизнью, Бармин отходит от троцкистов и переезжает в США, где вскоре получает американское гражданство. За океаном он начинает сотрудничать с американскими спецслужбами. В годы Второй мировой войны он находился на службе в военной разведке, а потом в Управлении стратегических служб. После войны Бармин в числе очень немногих перебежчиков сделал успешную карьеру в ЦРУ, а потом возглавлял русский отдел «Голоса Америки». С 1964 по 1972 год он работал в Информационном агентстве США (ЮСИА), где за успешную службу был награжден тремя наградами этого ведомства. Умер Бармин 25 декабря 1987 года.

В отличие от Рейсса, Кривицкого и Бармина, через прессу заявивших о своих политических убеждениях сразу же после побега, нелегальный резидент НКВД в Швейцарии Максим Штейнберг, принявший в конце 1937 года решение не возвращаться в Москву, не афишировал свой выбор. Более того, в письме своему бывшему начальству, написанном в 1938 году, он заявил, что по-прежнему предан партии и Советской власти, но боится возвращаться в Москву, так как опасается чисток в НКВД. Кроме того, в августе 1939 года через сотрудника НКВД Л. Василевского он помог нелегалу ИНО Н. Эйтингону получить американскую визу для въезда в США, чем немало способствовал успешному проведению операции по убийству Л. Троцкого. Вот что вспоминает по этому поводу П.А. Судоплатов:

Но, отказавшись вернуться в СССР в конце тридцатых годов, Штейнберг после смерти Сталина поверил обещанной ему амнистии и вместе с женой Эльзой приехал в Москву. Там он был немедленно арестован по обвинению в государственной измене. Военная коллегия Верховного суда СССР приговорила его к пятнадцати, а его жену Эльзу — к десяти годам тюремного заключения. При этом в его приговоре фигурировала весьма любопытная формулировка: суд не считает необходимым применить к нему за измену Родине высшую меру наказания в связи с тем, что его действия не нанесли реального ущерба государству и он возвратил денежные средства, выделенные ему на оперативные цели в 1937 году.

В сентябре 1937 года произошел редчайший случай в истории большого террора, связанный с именем сотрудника НКВД Гуднева.

Гуднев работал в Воронеже референтом по следственному производству областного управления НКВД. В сентябре 1937 года он без доклада начальнику управления НКВД освободил четырех человек, арестованных за подрывную агитацию против ЦК и издание нелегальной литературы. На следующий день он исчез, а вместе с ним и освобожденные им лица. Проведенное расследование установило, что перед своим исчезновением Гуднев уничтожил находившиеся у него в производстве дела по тем статьям УК, которые грозили высшей мерой наказания. Этот случай стал широко известен в Воронеже и сильно взбудоражил население.

Другой подобный случай произошел на Украине в ноябре 1938 года, когда перед своим арестом скрылся в неизвестном направлении нарком внутренних дел Украины комиссар государственной безопасности 3-го ранга А.И. Успенский.

Александр Иванович Успенский родился в 1902 году и был сыном то ли лесничего, то ли священника. После окончания сельской школы он некоторое время работал в тульском частном магазине, а с 1917 года — в Суходольском волисполкоме. После Октябрьской революции Успенский примкнул к большевикам, а в сентябре 1920 года был направлен в органы ВЧК.

Первое время он служил в Тульской губчека, а потом в Тульском губотделе ОГПУ. В 1927 году Успенский был переведен на работу в Полномочное представительство ОГПУ по Уралу, где его назначили начальником экономического отдела ПП ОГПУ. На этом посту Успенский сумел отличиться в так называемом «Шахтинском деле». Организовал его полномочный представитель ОГПУ по Северному Кавказу Е. Евдокимов, в 1927 году доложивший лично Сталину о том, что в. городе Шахты действуют вредители. После этого доклада по прямому указанию Сталина в Шахтах была арестована большая группа старых специалистов, в том числе и иностранных, которых обвинили во вредительской деятельности на предприятиях угольной промышленности и цветной металлургии и создании контрреволюционной организации, действовавшей под руководством так называемого «Парижского центра». Успенский принимал в этом деле активное участие и в 1930 году «за разгром шахтинских вредителей в уральской металлургии, в угольной, медеплавильной и золото-платиновой промышленности» был награжден орденом Красного Знамени. Скорее всего, именно тогда на него и обратил внимание Н. Ежов, работавший в то время заведующим отделом кадров ЦК ВКП(б) и много сделавший для дальнейшего продвижения Успенского наверх.

В 1931 году Успенский был переведен в Москву, где работал в Полномочном представительстве ОГПУ по Московской области, а в июле 1934 года — стал вторым заместителем начальника УНКВД по Московской области. Двадцать девятого ноября 1935 года ему было присвоено специальное звание старшего майора госбезопасности, после чего он был назначен заместителем коменданта Московского Кремля по внутренней охране. Это назначение без протекции Н. Ежова состояться не могло, а значит, будущий нарком НКВД СССР зачислил Успенского в свою команду.

В феврале 1936 года Успенский был направлен в Западно-Сибирский край заместителем начальника краевого УНКВД. Но пробыл там недолго. В октябре 1936 года новым наркомом НКВД СССР становится Ежов, развернувший по распоряжению Сталина очередной этап «большого террора». Для выполнения указаний Сталина Ежову потребовались люди, способные выполнять деликатные поручения особой важности и не раз доказывавшие свою преданность. Одним из таких людей и был Успенский. Поэтому, когда в марте 1937 года, как «не обеспечивший чекистской работы по области», был снят с должности начальника УНКВД по Оренбургской области Н. Райский, на его место назначили Успенского. Перед назначением на новую должность Успенского принял сам Ежов, дав при встрече следующее напутствие:

Указания своего покровителя Успенский принял к безусловному исполнению. В результате за короткое время в Оренбурге было сфальсифицировано несколько громких дел, в том числе и о военизированной белогвардейской организации. И только по этому делу местными органами НКВД было арестовано несколько тысяч человек. Ежов был доволен успехами своего назначенца, и на состоявшемся в июне 1937 года Всесоюзном совещании руководства НКВД поставил его в пример другим. А уже в январе 1938 года Ежов назначает Успенского наркомом внутренних дел Украины.

Прибыв в Киев, Успенский заручается санкцией ЦК ВКП(б) на арест тридцати шести тысяч человек с вынесением им приговора во внесудебном порядке, то есть постановлением тройки при НКВД УССР. Надо ли говорить, что маховик репрессий на Украине после назначения Успенского завертелся в полную силу. Но в июле 1938 года первым заместителем Ежова был назначен Л. Берия. Опытный аппаратчик Ежов прекрасно понял, что его время подходит к концу. Как в свое время он уничтожил всех руководителей НКВД, занимавших свои посты при Г. Ягоде и готовивших первые московские процессы, так и Берия уберет его и его выдвиженцев. В августе 1938 года, когда в Москве собралась вторая сессия Верховного Совета СССР, Ежов пригласил к себе на дачу Успенского и другого своего любимчика — М. Литвина. За обедом, выпив, по обыкновению, немало водки, Ежов сказал своим фаворитам: «Мы свое дело сделали и теперь больше не нужны. От нас будут избавляться как от ненужных свидетелей».