С 1920 г. работал на железной дороге ремонтным рабочим, подручным слесаря.
Его комсомольская ячейка была причислена к Тульчинскому батальону частей особого назначения (ЧОН) как Вербовский взвод Вапнярской роты ЧОН. Иван Черняховский возглавил взвод, который снабдили 6 винтовками, 2 наганами, 4 гранатами и ящиком патронов. Черняховский участвует в разгроме банд Маруськи в Крижопольских лесах и Зеленого в Томашпольских. В 1923 г. отряд Черняховского уничтожил в районе Крижополя бандитское формирование батьки Кныша. За организацию боевых действий и личную храбрость командир награжден личным боевым оружием — маузером.
В 1922–1923 гг. — проводник грузов 1-й государственной заготовительной конторы, затем — станковый бондарь, шофер цементного завода «Пролетарий» (г. Новороссийск).
Новороссийский окружной комитет комсомола в сентябре 1924 г. направил И. Д. Черняховского на учебу в Одесскую пехотную школу. В 1928 г. окончил Киевскую артиллерийскую школу. «В артиллерийской школе Черняховский был одним из самых передовых курсантов, отличным спортсменом, капитаном футбольной команды, активным участником художественной самодеятельности, батарейным запевалой. У него был приятный баритон и неплохой слух… Для влюбленного в военное дело курсанта Черняховского не существовало таких слов, как «не могу исполнить», «не могу знать». (Из воспоминаний полковника И. И. Цешковского, друга и родственника И. Д. Черняховского.)
Далее служил командиром взвода, начальником топографического отдела полка, помощником командира батареи по политической части, командиром разведывательной учебной батареи в 17-м конноартиллерийском полку. В 1930 г. окончил вечернюю среднюю школу.
Полковник Черняховский И. Д. - командир 28 отдельной танковой дивизии и полковой комиссар Банквицер А. Л. - военком 28 отд. танковой дивизии. 26 августа 1941 г.
В 1931 г. поступил в Военно-техническую академию РККА (с 1932 г. — слушатель командного факультета Военной академии механизации и моторизации РККА). После окончания академии с отличием служил на должностях начальника штаба 2-го отдельного танкового батальона 8-й механизированной бригады, командира 1-го отдельного танкового батальона 8-й механизированной бригады. С мая 1938 г. — командир 9-го отдельного легкотанкового полка.
В июле 1940 г. подполковника Черняховского назначили командиром 28-й танковой дивизии. В дивизию входило более двухсот танков и ста бронемашин, около десяти тысяч бойцов и командиров.
В этой должности Черняховский и встретил войну. Сражался в боях юго-западнее Шяуляя, на Западной Двине, под Сольцами, защищал Новгород. По воспоминаниям, комдив сам ходил в атаку, подбил немецкий T-IV. 16 января 1942 г. Указом Президиума Верховного Совета СССР «за четкую организацию обороны Новгорода, личное участие в организации и ведении боев, воспитание десятков молодых бесстрашных командиров, отвагу и мужество» И. Д. Черняховский награжден орденом Красного Знамени.
«Знакомясь с войсками 60-й армии, переданной нам с Воронежского фронта, я внимательно приглядывался к генералу И. Д. Черняховскому. Это был замечательный командующий. Молодой, культурный, жизнерадостный. Изумительный человек! Было видно, что в армии его очень любят».
«Весной 1941 года в 28-ю танковую дивизию, где я проходил службу, прибыл новый комдив. Это был Иван Данилович Черняховский. Несмотря на молодость, подполковник проявил исключительную зрелость в определении степени боевой и политической подготовки. Все поняли, что спокойная жизнь кончилась… Если кто-то неуверенно вел танк или не укладывался в огневой норматив, Иван Данилович с особой доброжелательностью показывал, как добиться хороших результатов. Не было случая, чтобы допустившего ошибку он подверг разносу. Будучи от природы щедро одаренным человеком (играл на гитаре, баяне, хорошо пел) Черняховский обращал внимание на душевное состояние воинов и солдатскую сплоченность. Очень любил и ценил в людях жизнерадостность. Все эти замечательные качества волевого комдива, вскоре ставшего полковником, цементировали нас, притягивали сердечно к нему».
До июня 1942 г. командовал 241-й стрелковой дивизией, хорошо проявившей себя зимой 1942 г. при окружении частей 16-й немецкой армии в районе Демянска. Указом Президиума Верховного Совета СССР от 3 мая 1942 года «за наступательные бои по окружению демянской группировки 16-й немецкой армии» И. Д. Черняховский был награжден вторым орденом Красного Знамени.
5 мая 1942 года полковнику Черняховскому было присвоено звание генерал-майора.
В июне-июле 1942 г. руководил вновь сформированным 18-м танковым корпусом на Воронежском фронте. В ходе ожесточенных боев получил контузию. Несмотря на огромные трудности, 18-й танковый корпус совместно с соединениями 40-й и 60-й армий остановили дальнейшее продвижение врага под Воронежем. По настоятельной просьбе возглавившего 14 июля Воронежский фронт генерала Н. Ф. Ватутина, высоко оценивавшего действия этого молодого, волевого и образованного командира, Черняховский был назначен командующим 60-й армии (до апреля 1944 г.). Трое суток И. Д. Черняховский занимался проверкой состояния частей и был крайне не удовлетворен ситуацией. Командарм провел ряд мероприятий по усилению обороны.
Войска армии успешно действовали в Воронежско-Касторненской операции, в ходе которой сдавили с юга и востока кольцо вокруг противника и захватили в плен свыше 5000 солдат и офицеров противника. Указом Президиума Верховного Совета СССР от 4 февраля 1943 года И. Д. Черняховский за освобождение Воронежа был в третий раз награжден орденом Красного Знамени.
«Начав довольно робко свою первую наступательную армейскую операцию, причем в крайне неблагоприятных погодных условиях, он, быстро овладев собой и взяв в руки армию, блестяще выполнил поставленную задачу, освободив в первый же день Воронеж. Еще более блистательным результатом оперативного руководства со стороны молодого командарма явились боевые действия его армии при взятии Курска: город был взят в течение суток».
В феврале 1943 г. армия Черняховского участвовала в освобождении Курска. За пять дней непрерывных боев войска армии прошли от рубежа реки Тим до города Курска 90 километров и освободили 350 советских сел и деревень. К. К. Рокоссовский вспоминал: «Если на главном направлении наши части в результате тяжелых боев за четыре дня наступления продвинулись всего на 20–25 километров, то умело организованный Черняховским удар сразу принес более ощутимые результаты. Не встречая сильного противодействия противника, войска 60-й армии продвинулись далеко вперед. Используя наметившийся на этом направлении успех, мы немедленно начали усиливать армию Черняховского фронтовыми резервами, придали ей авиацию». В день освобождения Курска -8 февраля — молодой командир был награжден орденом Суворова I степени. 14 февраля 1943 г. Иван Данилович получил звание генерал-лейтенанта.
К началу марта 1943 г. 60-я армия вышла к реке Сейм. Армия была переподчинена Курскому фронту, затем включена в Центральный фронт, в составе которого принимала участие в Курской битве и освобождении Левобережной Украины. В ходе наступления в августе-сентябре 1943 г. армия И. Д. Черняховского освободила Глухов, Конотоп, Бахмач, Нежин, расширив прорыв по фронту до сотни километров. Армия участвовала в форсировании Десны и Днепра.
«Я побывал у Черняховского после того, как его войска освободили Нежин. Солдаты и офицеры переживали небывалый подъем. Они забыли про усталость и рвались вперед. Все жили одной мечтой — принять участие в освобождении столицы Украины, — вспоминал К. К. Рокоссовский. — Такое настроение, конечно, было и у Черняховского. Все его действия пронизывало стремление быстрее выйти к Киеву. И он многого достиг. Войска 60-й армии, сметая на своем пути остатки разгромленных вражеских дивизий, двигались стремительно, они уже были на подступах к украинской столице…». 21 сентября Черняховский был награжден вторым орденом Суворова I степени. 24 сентября 1943 г. 306 воинам 60-й армии, в том числе и ее командарму, были присвоены звания Героя Советского Союза.