31 мая 1924 года по поручению ЦК партии и Советского правительства Л. М. Карахан подписал с китайским правительством соглашение об общих принципах для урегулирования вопросов между СССР и Китайской Республикой, которое предусматривало установление нормальных дипломатических и консульских отношений между двумя странами.

Советское правительство подтвердило по этому соглашению свой добровольный отказ от прав экстерриториальности, консульской юрисдикции и ряда других привилегий, которыми пользовались империалистические державы в Китае. Это соглашение было первым равноправным договором, заключенным Китаем с каким-либо иностранным государством.

«Одна гора свалилась с плеч, — писал он 2 июня 1924 года своей жене. — Подписал соглашение с Китаем на этот раз окончательно. Отношения дипломатические восстановлены, и скоро переедем в посольское здание… Дьявольски трудно было добиться результатов с китайцами. Весь дипломатический корпус делал все, чтобы сорвать дело. Но удалось провести всех. Никто не знал, что подписание будет 31 мая, кроме 2–3 лиц, и для дипломатического квартала — это разорвавшаяся бомба. Я рад этому больше всего».

Трудно переоценить историческое значение советско-китайского соглашения от 31 мая 1924 года. Оно было подписано в период, когда главные империалистические державы хозяйничали в Китае, содержали там свои войска и направляли туда военные корабли. Соглашение с Китаем не только завершало нормализацию отношений Советского Союза с крупнейшим государством Азии, но и оказывало большую политическую и моральную поддержку китайскому народу в его борьбе против закабаления иностранными державами. Л. М. Карахан писал в НКИД: «Мы даже самим фактом появления нашего в дипломатическом корпусе наносим брешь общему империалистическому фронту против Китая».

Не прошло и двух недель, как Лев Михайлович, согласовав свои действия с НКИД, предпринял новый шаг, направленный на дальнейшее укрепление политического авторитета Китая. 13 июня 1924 года полпред направил в китайское министерство иностранных дел ноту, в которой предложил возвести дипломатические представительства обеих стран в ранг посольств. Это был смелый шаг. Западные державы рассматривали Китай как неравноправного партнера и обменивались с ним лишь дипломатическими миссиями, возглавляемыми посланниками. Предложение Л. М. Карахана вызвало растерянность и неудовольствие в иностранных представительствах в Пекине и субсидируемых ими органах печати. Ведь Советский Союз был первым государством, назначившим в Китай представителя в ранге посла. Будучи назначенным послом, Лев Михайлович оказался по рангу выше всех своих иностранных коллег в Пекине, которые были лишь в ранге посланников, и стал поэтому старейшиной дипломатического корпуса. Началась настоящая битва по вопросу признания Л. М. Карахана дуайеном. В конце концов он получил официальное признание в качестве дуайена, но иностранные дипломаты в нарушение всех дипломатических правил стали собираться без своего старейшины, под председательством «старшего посланника».

В течение первого года пребывания в Пекине Л. М. Карахан вел также переговоры по вопросам нормализации отношений между СССР и Японией. Он был в курсе всех японских дел, и это значительно облегчало для него решение стоявшей перед ним задачи. Тем не менее переговоры длились много месяцев. Японские правящие круги, хотя и потерпели поражение на пути военных авантюр на советском Дальнем Востоке, все же упорно не желали отказываться от своего интервенционистского курса. Несмотря на явную враждебность японского правительства, Коммунистическая партия и Советское правительство, руководствуясь в своей практической политике принципами мирного сосуществования, неуклонно и последовательно осуществляли курс на установление Дипломатических отношений и налаживание мирного сотрудничества с Японией.

18 февраля 1924 года советский полпред в Пекине имел продолжительную беседу с японскими корреспондентами относительно заявлений японского министра иностранных дел барона Мацуи о том, что Япония не намеревается урегулировать свои отношения с Советским правительством.

Указав на все предшествовавшие попытки СССР нормализовать отношения с Японией, Л. М. Карахан заявил: «В настоящее время Япония в результате землетрясения отброшена более чем на 10 лет назад. Ее международное положение сильно поколеблено. Она принуждена занять более примирительную позицию по отношению к Америке и заискивать в ее дружбе. Никогда еще внутреннее положение Японии не было так чревато всякими грозными возможностями, как в настоящее время. Это опасное внутреннее положение, естественно, поглощает все внимание правительства, и поэтому японское правительство не спешит с урегулированием вопроса о возобновлении сношений с СССР. Между тем положение СССР за последние полгода стало прочнее, чем раньше, и привело к признанию СССР Великобританией и Италией. Японское правительство считает излишним торопиться. Со своей стороны мы тоже не будем настаивать на этом. Мы будем спокойно ждать в полной уверенности, что время работает в нашу пользу. Наша задача в настоящий момент очень ограничена: мы будем спокойно ждать и терпеливо помогать всем, включая и японское правительство, освобождаться от вредных иллюзий».

Под давлением общественности, а также ввиду серьезной заинтересованности в нормализации экономических отношений между двумя странами японское правительство пошло на переговоры о нормализации советско-японских отношений.

В состоявшейся 19 марта 1924 года беседе с Л. М. Караханом японский посланник Иосидзава сообщил, что «японское правительство приняло важное историческое решение, которое должно сыграть громадную роль в отношениях обеих стран». В течение последующих трех дней, писал советский полпред в НКИД, «он мне сообщил «японский план» восстановления отношений между Японией и Россией», оговорив его рядом предварительных условий.

Как сообщал Л. М. Карахан в НКИД, он заявил японскому посланнику: «Никаких предварительных условий принять не могу. В частности, я вообще не имею инструкций обсуждать с ними этот вопрос, но если ставят условия, я даже не передам этого в Москву и не запрошу инструкций». В результате твердой позиции, занятой советским представителем, японская сторона отказалась от предварительных условий.

14 мая 1924 года в Пекине начались официальные переговоры между советским представителем Л. М. Караханом и японским посланником К. Иосидзава, главной задачей которых было восстановление дипломатических отношений между СССР и Японией.

Вначале переговоры проходили успешно, и после восьми заседаний были выработаны основные принципы будущего соглашения. «Последние два дня у меня большое оживление с японцами, — писал Лев Михайлович 20 мая своей жене. — Заседания два раза в день, и сейчас иду в японскую миссию. Сидим по 4 часа подряд иногда два раза в день. Утомительно, но я гоню вовсю. Японцы с непривычки к концу заседания начинают заметно пухнуть. Но это только весело и полезно для дела». Главные разногласия возникли по вопросу сроков эвакуации японских войск с советского Сахалина и условий концессионного договора на разработку японцами нефтяных источников на Северном Сахалине. Переговоры осложнялись также внутриполитической борьбой в самой Японии, в результате которой японское правительство не могло дать четких инструкций своему представителю на переговорах. Однако здравый смысл и реальная оценка сложившегося положения взяли верх.

20 января 1925 года была заключена Конвенция об основных принципах взаимоотношений между Союзом Советских Социалистических Республик и Японией. Согласно этой конвенции, подписанной Л. М. Караханом и Иосидзава, между двумя странами устанавливались «дипломатические и консульские отношения». Стороны подтвердили свое желание «жить в мире и дружбе друг с другом». Правительство СССР выражало готовность предоставить японским подданным и компаниям концессии на эксплуатацию минеральных, лесных и других богатств на советской территории. Японское правительство обязалось вывести свои оккупационные войска с советского Сахалина к 15 мая 1925 года.