Литовцы представляли реальную угрозу для владений ордена, усугублявшуюся тем, что они зачастую действовали заодно с поляками и русскими, а порою и с татарами, против тевтонских рыцарей в регионе. Литовцы, вопреки своему, более политическому нежели искреннему, обращению в христианство великим князем Миндовгом, по сути своей оставались язычниками. После смерти Миндовга в 1262 г. язычество вновь возродилось, и редкими были те крещеные литовцы, которые остались верными своей новой религии. Литовские племена регулярно грабили соседей и совершали набеги на земли Тевтонского ордена, в ответ на это следовали жесткие репрессии.
В начале XIV в. конфликт между орденом и литовцами усугубился. Кампании, проводимые на литовской территории великим командором Генрихом фон Плотцке с 1311 по 1316 г., позволили ордену сохранить свои позиции. Но приход к власти великого князя литовского Гедимина, родоначальника Ягеллонов, привел к усилению напряжения. В начале 1320 г. Гедимин начал широкое общее наступление на орден; победа, которую он одержал над рыцарями 27 июля при Меденике в Жемайтии, поставила точку на амбициях ордена в этом регионе. Во время сражения магистр ордена Генрих фон Плоцке погиб, как и многие его рыцари. Окрыленные победой, литовцы жестоко расправились с пленными: так, Герхард фон Руден, попавший им в руки, был сожжен живьем вместе с конем во время церемонии жертвоприношения во славу языческих идолов. В многочисленных исторических трудах тевтонские рыцари — и только они — представлены как жестокие воины, уничтожавшие иноверцев огнем и мечом, но справедливости ради следует напомнить, что и противники были не лучше и также жестоко обходились со своими врагами.
После неудачной кампании 1320 г. Тевтонский орден запросил помощи в Германии и Богемии, и тогда был организован очередной крестовый поход. Великий князь Гедимин посчитал разумным вернуться к политике, проводимой его предшественником Миндовгом. Он принял христианство и выдал замуж свою дочь Альдону за сына короля Польши Владислава IV, тогда как тот враждовал с Тевтонским орденом. Своим обращением в христианство литовский князь снимал с себя всякую вину за крестовый поход, направленный против язычников. Война возобновилась в 1322 г. Тевтонские рыцари благодаря подкреплению, полученному из Германии, разорили страну, однако в следующем году языческие племена Жемайтии возобновили свои набеги и захватили Мемель, затем опустошили Мазовию и Добжин, в то время как в Ливонии литовцы напали на Ревель, разрушив и ограбив все церкви и монастыри, которые встретили на своем пути, что ясно доказывало чистую формальность крещения Гедиманаса. В польской Мазовии литовцы разрушили Пулаву, опустошили все земли, сожгли церкви и убили священников и верующих. В 1320-1321 гг. еще далеко было до союзнического договора с Польшей. Но так как поляки не оставили надежды отвоевать Померелию у тевтонских рыцарей, они в 1325 г. возобновили добрые отношения с Гедиминасом.
После состоявшегося брака дочери Гедиманаса с наследным принцем Польши эта союзническая попытка явилась новым этапом сближения между Польшей и Великим княжеством Литовским, к которому стремились и тот и другой, обеспокоенные растущей мощью Тевтонского ордена. Однако в ближайшем будущем о длительном и искреннем союзе между ними, ввиду разрыва между Польшей, глубоко христианской, и Литвой, население которой в своем большинстве оставалось традиционно языческим, говорить не приходилось.
Восточные амбиции Гедимина, направленные на Русь и Черное море, а также постепенное восстановление нормальных отношений между Тевтонским орденом и Польшей вернули видимость мира в отдаленных владениях Тевтонского ордена и Литвы. Тем более что магистр Дитрих фон Альтенбург, который только что получил от императора Людвига V инвеституру на все земли во владении литовцев, одержал над ними победу 15 августа 1338 г. в решающей битве на равнине Даблавкене (Галелукен), недалеко от Мекденика, где восемнадцать лет тому назад были разбиты тевтонские рыцари. Война продолжалась еще некоторое время. Тевтонская армия выдвинулась на литовскую территорию, но не смогла захватить крепость Влиона. Защищая эту позицию, Гедимин погиб в 1341 г. Оба его сына, Ольгерд и Кейстут, поделили между собой наследство, первый из Вильнюса правил Восточной Литвой, в то время как его брат из Каунаса правил Западной Литвой и Жемайтией.
В 1343 г. после двух лет относительного мира возобновилась война. Литовцы атаковали Ливонию, где вспыхнуло восстание литов и эстов против немцев и датчан, они потопили в крови и сожгли эту землю. Герцогу Ливонии благодаря подкреплению, прибывшему из Пруссии, удалось освободить Ревель, осажденный восставшими эстонскими крестьянами. Одновременно литовцы захватили Самбию и Земгалию и разгромили Митаву, затем разбрелись по окрестностям Риги. Тевтонский орден обратился к своим традиционным союзникам, королям Богемии и Венгрии, маркграфу Моравии, к которым присоединились многочисленные немецкие и голландские принцы. К несчастью, теплая зима 1344-1345 гг. не позволила ордену и его союзникам перебраться через реки и преодолеть болота, которые создавали для литовцев превосходную естественную защиту. Каждый остался на своих позициях.
Помощь, предоставленная королю Дании Тевтонским орденом, не была бескорыстной. В 1346 г. король Дании Вальдемар IV продал ордену за девятнадцати тысяч серебряных марок все свои владения в Эстонии, т. е. округа Харжумаа и Вирумаа с городами Ревель (Таллин), Пернов (Пярну) и Нарву, а также остров Эзель (Сааремаа). Договор передачи был торжественно подписан 24 июня 1347 г. в резиденции великого магистра в Мариенбурге, и Тевтонский орден вошел во владение этими территориями 2 ноября 1347 г. Отныне он осуществлял свою власть над единой территорией, которая простиралась от низовий Вислы до Чудского озера и Финского залива.
Литовская угроза не исчезла, несмотря на непрочный мир, который был заключен в 1344 г. Новый великий магистр Генрих Дуземер фон Арффберг (1345-1351), как только был избран, решил напасть на Литву. С армией в сорок тысяч человек он захватил литовские земли в начале января 1348 г. Ольгерд собрал мощную армию, состоящую из литовцев и русских. Встреча двух армий произошла 2 февраля 1348 г. на равнине Анкен (Укаим). Потери с обеих сторон были весьма значительными, но преимущество осталось за Тевтонским орденом, который следующим летом возобновил военные действия, опустошил запад Литвы, захватил богатые трофеи и взял в плен большое количество воинов, которых тут же отпустил, так как они согласились креститься. Нельзя забывать, что, по крайней мере тогда, тевтонские рыцари помнили, что, кроме воинских обязанностей, на них была возложена и религиозная миссия, которая заключалась в обращение в христианство языческих народов.
В 1349 г. пришел черед литовцев и русских вторгнуться в Пруссию и Вармию. Магистр быстро восполнил потери своей армии, отбросил врагов и разбил армию Ольгерда на Стребе (Стебниц). Орден во время сражения потерял пятьдесят рыцарей и четыре тысячи пеших воинов, в то время как русские и литовцы потеряли на поле брани тысячи людей.
После короткого затишья война возобновилась в 1353 г. Узнав, что литовцы готовятся к нападению, новый магистр их опередил. В начале зимы 1353-1354 гг. он вторгся на литовскую территорию, но ранняя оттепель помешала ему продолжить поход. Как только грянули морозы, литовцы контратаковали тевтонцев, преодолели Куршский залив, схваченный льдом, и опустошили Вармию. Командору Генриху фон Шиндекопу удалось отбросить их, но весной литовцы снова атаковали, уже со стороны Ресселя, и взяли в плен многих рыцарей, Ольгерд приказал их убить, чтобы облегчить себе отступление.
Война на литовской земле практически никогда не прекращалась. За постоянными набегами литовцев неизменно следовали карательные операции, проводимые тевтонскими рыцарями. Зимняя кампания 1370 г. была особенно кровопролитной. Во время сражения при Рудау, где 13 февраля армия магистра фон Винриха фон Книпроде сошлась с огромной армией численностью семьдесят тысяч человек — цифра, вероятно, преувеличенная историками ордена, дабы более ярко описать победу тевтонских рыцарей, — состоящей из литовцев, жемайтов, русских и татар, тевтонские рыцари одержали победу Их противники потеряли более десяти тысяч человек убитыми, не считая тысяч раненых, которых оставили, отступая. Потери со стороны ордена на первый взгляд ограничились двадцатью шестью командорами, среди которых был магистр Пруссии, двухстами рыцарями и множеством командиров. Потери весьма не велики в абсолютных цифрах, но значительны по отношению к человеческому потенциалу ордена. Впрочем, в этом было слабое место Тевтонского ордена: число рыцарей всегда было ограничено, и эти рыцари постоянно находились под угрозой полного уничтожения. Учитывая их ограниченную численность, которую восполнить становилось все труднее и труднее.