Занимаемое Зарубиным солидное положение во Франции не вызывало каких-либо подозрений к нему со стороны местных спецслужб. Разведчик пользовался авторитетом во французских деловых кругах и сумел наладить получение информации, касающейся внутренних и международных проблем.

Однако основная задача, поставленная Центром перед нелегальной резидентурой Зарубина, заключалась в сборе информации по Германии. Выполняя ее, Зарубин завербовал французского журналист-антифашиста, стенографистку германского посольства, технического секретаря одного из депутатов французского парламента. От этих источников на постоянной основе поступала информация, представлявшая большой интерес для Центра.

Разведчики-нелегалы Зарубины активно работали и по белогвардейской эмиграции. В частности, в Париже они поддерживали связь с ценным агентом ОГПУ, бывшим царским генералом Павлом Павловичем Дьяконовым, который в прошлом занимал пост военного атташе России в Англии, а в 1920 году переехал на жительство во Францию и имел широкие связи в русской военной эмиграции. Он выполнял задания по разложению крупнейшей белогвардейской организации — Русского общевоинского союза (РОВС), который насчитывал в своих рядах более двадцати тысяч активных сторонников, и готовил вооруженные акции против СССР и его представителей за рубежом. Генерал также снабжал Центр информацией о деятельности французской военной разведки.

Дьяконов принимал участие в операции по захвату руководителя РОВС генерала Кутепова. Располагая обширными связями в высших военных кругах Франции, Дьяконов по заданию «Вардо» (новый оперативный псевдоним Елизаветы Зарубиной) довел до руководства французской военной разведки подготовленные Центром достоверные сведения о «пятой колонне» профашистски настроенных французских генералов и офицеров. Эта операция прошла успешно и сыграла свою роль в охлаждении отношений между Францией и Германией.

Во Франции Зарубины находились до 1933 года. По приезде в Москву после четырехлетнего пребывания на нелегальной работе, не получив даже кратковременного отпуска, они сразу же были вновь направлены за рубеж, на этот раз — в Германию.

В 1933 году в связи с приходом Гитлера к власти обстановка в Германии осложнилась. По существу, прекратилась деятельность нелегальной резидентуры в этой стране в связи с отъездом на родину большинства оперативных работников. Зарубин получил задание в кратчайший срок восстановить деятельность резидентуры. Он был назначен руководителем нелегальной резидентуры, а его супруга — оперативным работником. Разведчикам предстояло обосноваться в нацистской Германии, принять на связь агентуру и приступить к добыванию интересующей Москву информации о внутренней и внешней политике Гитлера, особенно информации, касающейся его планов в отношении СССР.

До Берлина Зарубин и его жена добирались по разным маршрутам. О получении вида на жительство на длительный срок не могло быть и речи. Поэтому сначала Зарубины находились в нацистском рейхе в качестве туристов. Тем не менее они сразу же приступили к приему на связь агентуры. Центр был вынужден пойти на этот риск, учитывая имеющийся у разведчиков богатый опыт нелегальной работы во Франции. Москва принимала во внимание и ряд благоприятных обстоятельств. В частности, немаловажную роль имело «прикрытие» нелегалов Зарубиных, которые должны были представлять американскую фирму. А накануне новой мировой войны немцы нуждались в хороших отношениях с США и внешне хорошо относились к американским гражданам.

Руководимая Зарубиным нелегальная резидентура была сформирована в кратчайшие сроки. В нее вошли оперработники, приехавшие в Берлин вслед за резидентом, а также шесть источников информации из числа местных граждан и иностранцев. Через некоторое время из Берлина в Центр пошла важная секретная информация.

С декабря 1933 года нелегалы Зарубины более трех лет действовали в гитлеровском рейхе. Работа в нацистской Германии требовала небывалого мужества в первую очередь от «Вардо», исходя из се национальности, которая хорошо понимала, что малейшая неосторожность в работе или в быту приведет ее в гестапо. И она, постоянно рискуя жизнью, успешно справлялась с заданиями.

Зарубин лично поддерживал конспиративную связь с наиболее ценными источниками информации, среди которых был, в частности, сотрудник гестапо Вилли Леман («Брайтенбах»). Он возглавлял отдел гестапо но борьбе с «коммунистическим шпионажем» и, пользуясь своим служебным положением, неоднократно спасал резидентуру НКВД от провалов и предупреждал о провокациях, которые готовились против советского дипломатического представительства и его сотрудников в Берлине. От «Брайтенбаха» регулярно поступала информация о внутриполитическом положении в Германии, ее военных приготовлениях против соседних стран. В 1935 году он сообщил сведения о создании Вернером фон Брауном принципиально нового вида оружия — знаменитых ракет «Фау». Успешная работа с немцем продолжалась до отъезда Зарубиных из Берлина в 1937 году. «Брайтенбах» был передан на связь сотруднику «легальной» резидентуры и стал одним из самых результативных ее источников.

Другим ценным помощником нелегальной резидентуры Зарубина был сотрудник германского МИД «Вальтер». Являясь членом СС, он тем не менее критически относился к нацизму, не одобрял политику Гитлера и симпатизировал нашей стране. От источника регулярно поступала документальная информация, включая телеграммы и письма германских послов в других странах, копии записок по различным политическим вопросам, которые готовились для руководящих деятелей Третьего рейха. В дальнейшем он наряду с «Брайтенбахом» стал одним из тех источников, кто проинформировал берлинскую резидентуру о готовящемся нападении Германии на СССР.

В Берлине «Вардо» восстановила связь с «Ханум», бывшей стенографисткой германского посольства в Париже, которую она завербовала, работая во Франции. Теперь «Ханум» работала в центральном аппарате гитлеровского МИДа и передавала советской разведке очень важные документы. Из них следовало, что Гитлер готовит большую европейскую войну.

Однако через некоторое время «Ханум» заболела и вскоре умерла. «Вардо» нашла ей замену в лице скромного служащего МИД Германии, который работал в дальнейшем под псевдонимом «Винтерфельд» и имел доступ к секретной, в том числе шифрованной, переписке. Весной 1936 года разведчица обучила немца технике фотографирования документов микроаппаратом, и вскоре он стал передавать советской разведке копии секретных шифртелеграмм и других важных документов германского внешнеполитического ведомства.

В агентурной сети нелегальной резидентуры в Берлине были лица, тесно связанные с влиятельными кругами нацистской партии. Благодаря этим связям Центр получал сведения о доверенных лицах национал-социалистической партии в германских представительствах в СССР, а также о деятельности нацистского партийного аппарата, включая и разведывательную, так как НСДАП располагала собственной партийной разведкой. Центр также регулярно получал данные о тайных внешнеполитических замыслах нацистского руководства. Информация нелегальной резидентуры, возглавляемой Зарубиным, неизменно получала высокую оценку его кураторов на Лубянке. Из потока информации, направлявшейся резидентурой, следовал вывод о неизбежности военного столкновения с Германией в ближайшие годы.

В середине 1937 года нелегалы Зарубины были направлены на несколько месяцев в США для выполнения нового важного задания. В связи с реальной угрозой гитлеровского нападения на СССР Центр принял решение реорганизовать деятельность внешней разведки. При этом упор делался на подготовку к работе в чрезвычайных условиях. Разведчикам предстояло подобрать агентуру из числа американцев для возможной работы в Германии в военный период. С поставленной задачей разведчики успешно справились. Ими были завербованы три агента, которых в дальнейшем нелегальная разведка активно использовала в качестве курьеров-связников.

За успешную работу в нелегальной разведке Зарубин в 1937 году был награжден орденом Красного Знамени. «Вардо» было присвоено звание капитана государственной безопасности (соответствовало званию подполковника в Красной Армии).