Через несколько дней оратор уехал в Петроград на Учредительное собрание (он был также депутатом III съезда Советов) и, как это часто бывало с депутатами в те месяцы, на прежнее место не вернулся: Каганович был избран во ВЦИК РСФСР и остался в Питере, а вскоре стал одним из комиссаров Всероссийской коллегии по организации Красной Армии. В июне 1918 года он был направлен агитатором в Нижний Новгород. В тот момент это было довольно важное задание: на Волге спешно формировался Восточный фронт, и будущее этого фронта представлялось тревожным. Вначале Лазарь работал заведующим местным агитотделом и был малозаметен. В Нижнем Новгороде впервые пересеклись пути Кагановича и Молотова; благодаря последнему Каганович стал председателем Нижегородского губкома партии и губисполкома. Во время недолгой работы Кагановича весной 1918 года в Москве в аппарате советского правительства произошла неожиданная и памятная для участников встреча Лазаря Моисеевича с поэтом Сергеем Есениным и его друзьями: Рюриком Ивневым, Анатолием Мариенгофом и Матвеем Ройзманом. Вот как описывает подробности состоявшейся беседы Рюрик Ивнев в своем романе «Богема»:

«Мы поднялись на третий этаж. Впереди всех шел Есенин. Дойдя до дверей, на которых написано „Секретарь“, он приоткрыл дверь. „Товарищ, можно? — спросил он, — я вам вчера звонил насчет приема к… товарищу Кагановичу…“ „Он на заседании, будет минут через двадцать, не раньше“. „Хорошо, мы подождем“, — сказал Есенин, закрывая дверь. Все отошли к окну. „Как? — воскликнул Мариенгоф, — ты же говорил, что звонил самому Кагановичу“. „Ну не все ли равно, — махнул рукой Есенин, — к Кагановичу или к секретарю, ведь это одно и то же…“ „Подождите, ребята, — вмешался Ройзман, — еще раз порепетируем, чтобы не напутать: сначала будет говорить Есенин… общие, так сказать, основы дела. Затем уж я коснусь деталей. Бумажка у тебя?“ — обратился он ко мне? „Да“. „Давай ее мне, я подсуну в подходящий момент, он подпишет“.

„Главное, не забывайте, — шептал Мариенгоф, — что произносить фразу „отдельные кабинеты“ ни в коем случае нельзя“. „Что ты нас учишь? — огрызнулся Ройзман, — мы это знаем не хуже тебя“. „Я напомнил… на всякий случай…“ „Тсс… вот, кажется, он сам“, — прошептал Есенин, кидаясь к поднимавшемуся по лестнице невысокому усатому брюнету в военной форме. „Здравствуйте, товарищ Каганович, — заулыбался Есенин. Военный пристально посмотрел на него равнодушными стальными глазами и, слегка кивнув, прошел мимо. Есенин почесал затылок. „Экой черт, не узнал, а ведь вместе пьянствовали в прошлом году…“ „Не надо было подскакивать“, — деловито вставил Ройзман. „Ну, теперь все равно, идем, он нас примет“. Под водительством Есенина мы вошли в комнату секретаря. Молодой человек в черной рубахе, затянутой тонким поясом, пропустил нас в кабинет Кагановича. „Только не слишком задерживайте Лазаря Моисеевича“, — бросил он в догонку.

Хозяин кабинета сидел у письменного стола, положив локти на стол. Видный большевик, уже известный партийным массам, одним глазом он смотрел на лежащую перед ним коричневую папку, другим — на вошедших поэтов. Первым выступил Есенин. „Здравствуйте, товарищ Каганович, вы меня не узнаете? Я Есенин, а это мои товарищи, тоже поэты, вы, конечно, слышали их имена: Рюрик Ивнев, Анатолий Мариенгоф, Матвей Ройзман“.

„Садитесь“, — сухо произнес Каганович. „Вот, товарищ Каганович, — продолжал Есенин, — мы имеем маленькое издательство, выпускаем журнал, ведем культурную работу, и так как для издания альманахов и сборников нужны средства, мы открыли кафе“. „Кафе?“ — переспросил Каганович, занятый, очевидно, своими мыслями. „Да, кафе-клуб, где наши нуждающиеся товарищи-поэты получают бесплатные обеды.“ „И при клубе образованы библиотека, шахматный и марксистский кружки“, — выпалил Ройзман. Анатолий наступил ему на ногу и тихо прошептал: „Не лезь!“. „И вот, — распевал Есенин, — всей этой большой культурной работе грозит полное разрушение“. „Я не совсем вас понимаю, — устало произнес Каганович, — при чем тут я… и потом нельзя ли покороче, у меня тут дела… и заседание“. „Товарищ Каганович, — взволновался Есенин, — мы понимаем, что вы — человек дела, и если решились посягнуть на ваше время, то…“ — „Дело в том, — перебил его Ройзман, — что наше кафе помещается в двух этажах, так вот нижний этаж захлопнули“. — „Захлопнули?“ — „Ну да, закрыли“. — „Ничего не понимаю, кто закрыл?“ „Административный отдел Моссовета“. — „Как это можно — один этаж закрыть, а другой не закрыть?“ — „Вот и мы не понимаем этого… Мы пришли к вам… У нас приготовлены бумаги, вот, товарищ Каганович, подпишите… нам тогда откроют“. Каганович прочел вслух: „В Адмотдел Моссовета. Прошу оказать содействие Правлению Ассоциации поэтов, художников и музыкантов в деле полного функционирования их клуба 'Парнас'“.

„Что значит, 'полного функционирования'? А потом, товарищи, я не имею никакого отношения к Адмотделу…“ „Ну, товарищ Каганович, вас там так уважают“, — сказал Ройзман. „Товарищ Каганович, вы нас выручите“, — вставил Есенин. Я и Мариенгоф сидели молча и не могли выдавить из себя ни одного слова… „Я не могу ничего предписывать Адмотделу и не могу подписывать никаких бумаг. Самое большее, что я могу сделать, это позвонить“. Он взялся за телефонную трубку. Есенин переглянулся с Ройзманом. „Кабинет начальника Адмотдела… Да… Спасибо… Саша, ты? Говорит Каганович… Здорово… Послушай, в чем дело? Тут пришли поэты из 'Парнаса' — клуб-кафе… Их прихлопнули. Что? Не прихлопывали? Закрыли только отдельные кабинеты? Очаг проституции? Понимаю. Да. Да. Овечками. Ха-ха-ха. Ну будь здоров“. Он опустил голову.

„Все кончено“, — шепнул Есенин Мариенгофу. Каганович молча посмотрел на Есенина и Ройзмана. Я и Мариенгоф отвели глаза в сторону. „Ну, — вздохнул Есенин, — мы пойдем“. „Не задерживаю“, — буркнул Каганович, причем нельзя было разобрать, смеется он или сердится. Есенин вышел первым. За ним, точно сконфуженные школьники, шествовали я, Мариенгоф и Ройзман, крутивший прядь волос у виска и наверняка размышлявший, к кому бы еще пойти… Жаль, что Соня не в Москве. Спасти положение здесь могла бы только женщина. „Удивительно, — сказал Есенин, когда все вышли на улицу, — кто бы мог подумать, что он забудет, как мы проводили время. Можно сказать, друг закадычный, вместе пили, кутили, и вдруг такой пассаж…“[51]»

С востока наступали армии Колчака. Но после многих драматических и кровавых событий, к концу лета 1919 года, этот фронт перестал был главным. Теперь для советской власти наибольшая угроза исходила с юга, от Деникина. Его войска быстро продвигались на север, имея конечной целью взятие Москвы. Обстановка менялась каждый день. На южный фронт мобилизовывали большевиков и комсомольцев. В первых числах октября Каганович был направлен в Воронеж для инспектирования работы партийных и советских организаций города и губернии. В тот момент Воронеж еще был (а точнее — казался) тыловым городом. Но едва Лазарь успел прибыть на место, как все вокруг всполошилось: вспыхнули слухи о прорвавшей фронт и идущей с юга коннице Мамонтова. С той стороны все прибывали и прибывали в город люди с дурными вестями. Все партийцы получили на складе оружие, «забронировали» несколько вагонов мешками с песком, положенными вдоль стен, и покинули Воронеж. 11 сентября в город ворвался Мамонтов. Кое-где вспыхивали перестрелки, но настоящих боев не было. Проведя в Воронеже одну ночь, мамонтовцы двинулись дальше, взрывая мосты и грабя винные подвалы монастырей. Вышестоящие организации поставили короткое пребывание Мамонтова в вину воронежскому ревкому и назначали его новым председателем Кагановича, который тут же вызвал свою «команду» из Нижнего Новгорода (Сергушева, Белова, Миронова и др.). Но те прибыть не успели — с юга подходили теперь основные силы белых. Корпус генерала Шкуро преследовал разбитые части 12-й армии красных. 30 сентября утром началась бомбардировка города, около 11 часов терские и кубанские казаки генерала Губина появились на улицах, завязались уличные бои. На следующий день продолжались бои лишь на окраинах, в Монастырщенке и Придаче. Ко 2 октября Воронеж был полностью в руках белых.