На процессе японских военных преступников в Токио в 1946–1948 годах генерал Касахара выступал, благодаря покровительству американцев, не как обвиняемый, а как свидетель. На вопросы трибунала он отвечал уклончиво до тех пор, пока ему не были предъявлены фотокопии его докладной записки. Только после этого он полностью признал не только подлинность документа, но и свое авторство.
Работа Федора Карина в качестве резидента ОГПУ в Харбине была настолько успешной, что в начале 1930-х годов харбинская резидентура стала главной «легальной» резидентурой внешней разведки в Китае. Особое внимание Кариным уделялось террористическим планам японской военщины в Маньчжурии, каналам засылки японских разведчиков в СССР, деятельности антисоветских эмигрантских центров. Им была получена информация о том, что японская военная миссия в Харбине приступила к созданию в приграничных районах вооруженных банд белогвардейцев для организации восстания на Дальнем Востоке, чтобы использовать данное обстоятельство в качестве предлога для ввода японских войск в СССР, якобы для «защиты японских подданных».
Одновременно руководимая Кариным резидентура ОГПУ срывала попытки японских спецслужб создать на территории СССР крупные шпионско-диверсионные формирования. В эти группы, подготавливавшиеся для засылки на территорию нашей страны, внедрялась надежная агентура, которая информировала резидента о планах японцев в отношении СССР и доводила до сведения японцев дезинформацию, специально подготовленную аналитиками в Москве. За период пребывания в Харбине Кариным были созданы серьезные заделы в работе против Японии, которые использовались советской разведкой еще многие годы. Достаточно отметить, что сотрудник руководимой им резидентуры В.И. Пудин получил сотни секретных японских документов и добыл около 20 японских и китайских шифров. Являясь в конце 1930-х годов заместителем резидента внешней разведки в Софии, В. Пудин заполучил дипломатические шифры, которыми пользовался японский МИД в Европе, благодаря чему Лубянка читала шифрованную переписку японцев с немцами в годы Великой Отечественной войны.
В 1927 году завершилась служебная командировка Федора Карина в Китай. За успешную работу в качестве резидента он был награжден нагрудным знаком «Почетный чекист».
В ноябре того же года разведчик был направлен в США для организации там работы с нелегальных позиций в качестве резидента-нелегала. За океаном он находился до середины 1928 года. Карину удалось обосноваться в Нью-Йорке, приобрести надежные документы, легализоваться и создать прикрытие для ведения работы с нелегальных позиций. Созданной им нелегальной резидентуре на связь была передана цепная агентура, которая добывала документы госдепартамента США, в том числе копии докладов послов США в Европе и на Дальнем Востоке, а также некоторые материалы по экономической и научно-технической разведке. Работа Карина на посту резидента положительно оценивалась Центром.
В июне 1928 года по указанию Центра Карин из США переехал в Германию, где также возглавил нелегальную резидентуру. Интересно, что для въезда в эту страну он воспользовался подлинными швейцарскими документами своего друга и начальника Артузова, настоящая фамилия которого была Фраучи.
Нелегальная резидентура Карина в Германии состояла из шести человек, включая курьера и содержателей конспиративной квартиры. Несмотря на это, она располагала обширной агентурной сетью, имевшей выходы на белогвардейскую вооруженную организацию Русский общевоинский союз (РОВС) во Франции, правительственные учреждения Германии, Франции и США. Поскольку с агентурой в других странах поддерживать связь через курьеров было затруднительно, в марте 1931 года Карин был переведен на нелегальную работу во Францию.
Во Франции Карин проработал до августа 1933 года и добился впечатляющих результатов в вербовочной работе. Руководимая им нелегальная резидентура имела «своих людей» в спецслужбах, важных правительственных учреждениях, выходы на главарей РОВС Кутепова и Миллера. За успешную работу во Франции Карин был награжден вторым нагрудным знаком «Почетный чекист».
Из служебной аттестации за 1933 год, подписанной начальником Иностранного отдела ОГПУ А.Х. Артузовым:
«Тов. Карин Федор Яковлевич, член ВКП(б) с 1919 года, работник ВЧК — ОГПУ с 1919 года является одним из наиболее опытных и квалифицированных руководителей разведки в условиях подполья. Считаю тов. Карина в первом десятке лучших организаторов-разведчиков СССР».
По возвращении в Москву в сентябре 1933 года Ф. Карин был назначен начальником 1-го отделения ИНО ОГПУ, занимавшегося ведением разведки в США и Европе. Ему было присвоено звание старшего майора госбезопасности, что соответствовало армейскому званию генерал-майор.
В связи с приходом к власти в Германии Гитлера и возросшей опасностью войны новому начальнику ведущего отделения внешней разведки предстояло реорганизовать работу «легальных» и нелегальных резидентур, прежде всего в Германии, с таким расчетом, чтобы на постоянной основе получать упреждающую информацию о планах и намерениях нацистов, в том числе о подготовке ими к войне. Эту задачу Карин решал успешно. Под его руководством были созданы «запасные площадки» германской нелегальной резидентуры ОГПУ в соседних странах. В случае осложнения обстановки в Германии предполагалось организовать с их помощью работу по Третьему рейху.
В связи с возросшей нацистской угрозой в мае 1934 года Политбюро ЦК ВКП(б) рассмотрело вопрос о координации деятельно ста Разведывательного управления РККА, Иностранного и Особого отделов ОГПУ. Решением ЦК партии начальник ИНО ОГПУ А.Х. Артузов был назначен по совместительству заместителем начальника Разведывательного управления Красной Армии. Ему было предложено в месячный срок проанализировать работу военной разведки и разработать меры по устранению недостатков, прежде всего многочисленных провалов военных разведчиков. При назначении на этот пост Артузов в качестве единственного условия оговорил право взять с собой в Разведывательное управление РККА около двадцати сотрудников ИНО ОГПУ. Просьба была удовлетворена. Федор Яковлевич Карин был переведен в военную разведку и назначен на должность начальника ее 2-го отдела, занимавшегося ведением военной разведки в странах Востока. Ему было присвоено звание комкора, что соответствовало воинскому званию генерал-лейтенант.
В июне 1934 года Артузов подготовил подробный доклад на имя Сталина, в котором были проанализированы причины провалов военной разведки в Европе. Они вызывались низкой дисциплинированностью сотрудников Разведупра, пренебрежением правилами конспирации, использованием коммунистов европейских стран в работе «легальных» и нелегальных резидентур. Выводы Артузова были одобрены Сталиным, который распорядился «навести должный порядок» в работе резидентур военной разведки. По указанию начальника Разведупра Я.К. Берзина Карину было поручено проанализировать работу резидентур своего отдела, в которых также произошло несколько провалов, и принять меры по улучшению их работы. Однако в феврале 1935 года по вине видного военного разведчика А. Улановского произошел очередной, весьма серьезный, провал резидентуры Разведупра в Копенгагене. Расследование показало, что, несмотря на указания Артузова о недопустимости привлечения к разведработе коммунистов, пятеро связников резидентуры Улановского состояли в компартии Дании. К тому же один из них являлся осведомителем полиции. Конспиративная квартира нелегального резидента была взята полицией под наблюдение. Вскоре датские спецслужбы, организовав засаду, арестовали на ней сразу троих резидентов Разведупра из других европейских стран, прибывших к Улановскому в Копенгаген на совещание. Поскольку начальник Разведупра Берзин отсутствовал в Москве, докладную записку на имя наркома обороны Ворошилова был вынужден подготовить Артузов.
Нарком, с недоверием относившийся к представителям ОГПУ в его ведомстве, использовал данное обстоятельство для дискредитации Артузова и пришедших вместе с ним в военную разведку чекистов. Перед тем как направить докладную записку Сталину, он написал на ней резолюцию, смысл которой сводился к тому, что Артузов мало что сделал для улучшения разведывательной работы. После этого провала военной разведки Сталин назначил на должность начальника Разведупра Урицкого, который имел тот же ранг корпусного комиссара, что и Артузов, Штейнбрюк и Карин, пришедшие из ОГПУ. Урицкий ревниво воспринял этот факт и вскоре практически отстранил их от всех дел по руководству военной разведкой.