Человек, чью голову Киёмори так страстно желал заполучить, был старшим из трех оставшихся в живых детей Минамото, которых Киёмори отправил в ссылку в 1160 г.

Ёритомо было 14 лет, когда его отправили на Идзу, гористый полуостров Токайдо. Идзу входил во владения Тайра, и юноша был поручен заботам Фудзивара Сугэтика, союзника Тайра, а надзор за ним осуществлял Ходзё Токимаса, местный землевладелец, происходивший из рода Тайра. Как опекун Сугэтика не отличался строгостью, и у юного Минамото было достаточно времени для военных упражнений и для размышлений о том, сколь гибельны для его семьи оказались чрезмерный энтузиазм и поспешность в использовании военной силы. Говорят также, что Ёритомо разнообразил свои ученые занятия в области политики и военного искусства более приятным занятием – тем, что в народе называют «посевом диких каштанов». В результате его опекун однажды обнаружил, что стал дедом младенца Минамото. Это так разъярило верного сторонника Тайра, что он убил ребенка и готов уже был расправиться с Ёритомо, но тот вовремя бежал к Ходзё Токимаса, где вскоре влюбился в дочь Ходзё и со временем женился на ней.

Существует легенда, что во время его изгнания Ёритомо посетил странствующий монах по имени Монгаку, который подарил ему череп его отца Ёситомо, тем самым вдохновив на восстание против Тайра. Однако к мятежу его побудил не череп отца, а полученный 23 мая 1180 г. призыв от принца Мотихито. Вскоре после этого он получил известия об исходе битвы при Удзи, подтвердившие его мнение о бесполезности преждевременных действий. 13 июля Ёритомо получил еще одну плохую весть. Тайра Киёмори приказал схватить его и предать смерти. Кому было поручено это исполнить, он не знал; скорее всего это мог быть Тайра Канэтака, помощник наместника провинции. Положение Ёритомо еще больше осложнилось к концу августа, когда после битвы при Удзи вернулся домой Оба Кагэтика, один из самых ревностных сторонников Тайра в районе Идзу. Еще один враг оказался рядом, к тому же в сопровождении значительного войска.

Двадцать лет Ёритомо размышлял о гибельности преждевременных восстаний, так что решение действовать, видимо, далось ему нелегко. Он начал с атаки на Ямаги, ставку наместника Тайра Канэтака. Набег был совершен 8 сентября, Канэтака был убит. Как это ни странно, Ёритомо лично не принимал участия в этой операции, но остался в доме своего тестя, Ходзё Токимаса, где возносил молитвы за победу. Ёритомо был государственным деятелем, а не полководцем, и в этой роли мы видим его на протяжении всей войны Гэмпэй. Сражаться он предоставил другим членам своей семьи.

Теперь, когда его ближайший враг был мертв, Ёритомо мог вырваться с Идзу. Ширина северного перешейка, самой узкой части полуострова, всего около 10 миль. 11 сентября Ёритомо выступил с Идзу в Сагами. Через два дня к нему присоединился первый из союзников, собиравшихся под знамена Минамото, Миура.

Другим ближайшим сторонником Тайра был Оба Кагэтика. С той же стремительностью, которую Тайра проявили в битве при Удзи, он собрал своих людей и бросился в погоню. Соотношение сил было примерно десять к одному в пользу Тайра, когда 14 сентября они настигли Ёритомо в долине Исибасияма. Сражение при Исибасияма стало почти такой же катастрофой для Минамото, как и битва при Удзи. Опасаясь, что к Ёритомо придут подкрепления, Оба Кагэтика предпринял отчаянную ночную атаку на позиции Ёритомо. Исибасияма представляет собой узкую долину у берега моря, не оставляющую много места для маневра, не говоря уже о формальностях поединка. Непроглядная тьма, ветер и проливной дождь способствовали неожиданному нападению. Можно представить, с какой решимостью грубые провинциальные самураи приступили к своей смертоносной работе. Не было ни провозглашения родословных, ни вызовов на поединок достойных противников, только грязь и кровь жестокой битвы. К концу сражения небольшой отряд Минамото был практически уничтожен, но Оба Кагэтика дорого заплатил за преимущества ночной атаки, поскольку в разгар сражения Ёритомо успел скрыться в лесу. Много захватывающих историй было сложено о последующих пяти днях, когда враги охотились за Ёритомо в горах Хаконэ. Самая известная из них связана с Кадзивара Кагэтоки, который в то время был на службе у Тайра, а впоследствии стал одним из самых верных сторонников Ёритомо. Ёритомо спрятался в пустом древесном стволе, который Кадзивара послали осмотреть. Последний уже тогда втайне сочувствовал делу Минамото. Увидев там Ёритомо, он просунул в ствол свой лук и спугнул двух голубей, что вполне убедило остальных преследователей в том, что, кроме птиц, там никого больше быть не могло. Суть этой истории в том, что голубь считается посланцем Хатимана, бога войны и покровителя семьи Минамото.

Ёритомо в конце концов удалось добраться до берега моря у мыса Манадзуру, где с горсткой верных ему людей он сел на корабль и переправился в провинцию Ава, владения Минамото. Он прошел через Ава и вокруг того залива, который в наши дни называется бухтой Токио, собирая своих приверженцев. В течение месяца его небольшая свита превратилась в огромную армию, с которой он вступил в небольшую рыбацкую деревушку Камакура. Здесь он решил устроить свою ставку, и Камакура, которой суждено было дать свое имя полуторавековому периоду японской истории, стала центром восстания Минамото. У Ёритомо, однако, не было времени расслабляться, наслаждаясь столь неожиданно обретенной популярностью, ибо его разведка донесла ему, что большая армия Тайра выступила из Киото на восток. Это было в ноябре 1180 г., за месяц до того, как карательная экспедиция Тайра сожгла Миидэра. До сих пор Тайра не знали ни одного поражения, однако Тайра Киёмори не учел, что за несколько прошедших месяцев ситуация сильно изменилась. Во время восстаний Хогэн, Хэйдзи и, наконец, мятежа принца Мотихито Тайра сражались на своей территории. Теперь им предстояло иметь дело с восстанием в 300 милях к востоку от столицы, в исконных владениях Минамото.

Киёмори поручил дело подавления Минамото наименее способному члену семьи, Тайра Корэмори, своему внуку, отпрыску его покойного сына Сигэмори. Корэмори было двадцать лет, и ему не хватало боевого опыта. «Хэйкэ моногатари» сообщает, что «кисть была бы неспособна передать всю красоту его одеяния и осанки». Под его началом должен был служить Таданори, брат Киёмори, ветеран битвы при Удзи. Единственным утешением для Тайра было то, что в Канто они могли рассчитывать на поддержку союзников, которые перед этим так основательно разбили Ёритомо при Исибасияма. Прежде чем выступить против Тайра, Ёритомо принял меры, чтобы нейтрализовать эту угрозу, отправив своего тестя Ходзё Токимаса напасть на клан Такэда в Суруга. Тот быстро справился с ними, и объединенные усилия Такэда и Минамото обеспечили Ёритомо безопасный проход по дороге Токайдо. Его армия миновала перевал Асигара в горах Хаконэ и спустилась в Суруга, к подножью величественной Фудзи. Они остановились на восточном берегу Фудзигава, или реки Фудзи, мелководной, но широкой и поросшей тростником, за которой, на другом берегу, уже были видны красные знамена Тайра. Впервые с начала войны Гэмпэй две великих армии, Тайра и Минамото, выстроились друг против друга в боевом порядке. Это произошло 9 ноября 1180 г. Описания того, что произошло вслед за этим, запутаны и противоречивы. Те авторы, которые пишут о битве на Фудзигава, скорее всего весьма далеки от истины. Достоверно известно лишь то, что Тайра чувствовали себя очень неуютно; многих из них охватила тоска по дому, что вряд ли придавало им уверенности. Некоторые источники утверждают, что Такэда предприняли ночную атаку на фланг Тайра. «Хэйкэ моногатари» приводит более поэтическую версию событий: «Той же ночью, около полуночи, водяные птицы, в великом множестве гнездившиеся в болотах у подножья горы Фудзи, как видно, чем-то потревоженные, внезапно снялись всей стаей. Как посвист бури, как гром небесный, раздался шум бесчисленных крыльев, поднявшихся в воздух. «Беда! – закричали воины Тайра. – Это войско Минамото перешло в наступление. Они зашли нам в тыл, как предупреждал о том Санэмори! Если нас окружат, мы пропали». И, побросав все как было, они с величайшей поспешностью обратились в бегство, торопясь обогнать друг друга. Так велик был обуявший их страх, такой начался тут беспорядок, что схвативший лук позабыл взять стрелы, взявший стрелы – позабыл взять лук; тот вскочил на чужого коня, его конь достался чужому, а иной, взгромоздившись на неотвязанного коня, как безумный, бессмысленно кружился вокруг коновязи».