В середине XI века род Вельфов по мужской линии пресекся. Его представительница Кунигунда вышла замуж за итальянца Аццо, герцога Эсте. Сын Кунигунды был назван Вельфом в честь деда по материнской линии и воспитывался в семейных традициях Вельфов. Он возвратил себе родовые имения на Боденском озере, отказавшись ради них от владений в Италии, и получил в лен от короля Генриха IV Баварское герцогство. Этот Вельф, в качестве герцога Баварии именовавшийся Генрихом IX и прозванный за темные волосы и смуглый цвет кожи Генрихом Черным, и стал родоначальником младшей линии Вельфов.

Поначалу представители этого знатного княжеского рода свысока смотрели на мелких господ из Бюрена, говоря, что тем была дана в лен Швабия лишь для того, чтобы посеять в королевстве смуту. Но когда молодой герцог Швабский Фридрих II стал играть все более заметную роль при дворе императора Генриха V и уже считался своим среди членов Салической династии, Вельфы признали его равным себе. Около 1120 года герцог Генрих Черный отдал за него свою дочь Юдит.

Однако Фридриха Швабского постигло горькое разочарование. После смерти в 1125 году Генриха V князья по настоянию папы римского избрали королем не его, а престарелого герцога Саксонии Лотаря Супплинбургского. Поскольку акт передачи Фридриху королевских инсигний, знаков монаршей власти, в свое время не состоялся, он не мог официально считаться наследником престола, хотя Генрих V и передал ему наследственные владения Салического дома. Этим и не замедлили воспользоваться паписты. Братья Штауфены, Фридрих и Конрад, известные своей преданностью Генриху V, разделяли и его отношение к папству, не отличавшееся особым почтением, что теперь им и припомнили. Церковь отдала предпочтение герцогу Лотарю Супплинбургскому, поскольку тот давно слыл противником императоров Салической династии и убежденным папистом. Против Фридриха возник заговор, возглавленный архиепископом Майнцским, примасом, главой немецкой церкви. Между ним, папой, а также архиепископами и епископами непрерывно скакали гонцы, доставляя донесения и распоряжения. Папа даже специально прислал в Германию двоих кардиналов, дабы обеспечить исход дела в интересах римской курии.

Архиепископу Майнцскому удалось хитростью завладеть королевскими инсигниями, отданными Генрихом V на сохранение своей супруге Матильде, после чего противники Фридриха Штауфена в конце августа 1125 года во всеоружии собрались в Майнце для избрания нового короля Германии. Исход голосования был неясен до самого последнего момента, и все решил голос, поданный герцогом Баварии Генрихом Черным, долго размышлявшим, кому отдать предпочтение: своему зятю Фридриху, герцогу Швабскому, или герцогу Саксонскому Лотарю, обещавшему его сыну Генриху, прозванному Гордым, руку своей единственной дочери Гертруды и титул герцога Саксонии в качестве приданого. Рассудив, что больше выгоды будет от породнения с Лотарем, Вельф и проголосовал за него, после чего обескураженный Фридрих Швабский три дня отказывался принести присягу на верность своему новому государю, но затем смирился.

Однако позднее, когда король Лотарь III потребовал возвратить короне в качестве «королевского имения» салическое наследство, завещанное Фридриху Генрихом V, братья Штауфены восстали. Поначалу положение Лотаря казалось угрожающим. Конрад по настоянию старшего брата, предпочитавшего держаться на втором плане, был даже избран частью знати королем в пику «поповскому королю» Лотарю III. Но тут вмешались Вельфы.

Генрих Гордый, шурин Фридриха, ставший после смерти своего отца Генриха Черного герцогом Баварии, справедливо опасался, что Конрад, если сумеет утвердиться на троне, не потерпит объединения в его руках сразу двух герцогств, Саксонии и Баварии. Уже по одной этой причине он стал на сторону своего тестя, сразу же признавшего его в качестве герцога Баварии и завещавшего ему титул герцога Саксонии. Тщетно возражали против этого Штауфены, ссылаясь на законы и обычаи: никогда еще два герцогства не были в одних руках, ибо это вопиющим образом противоречило смыслу ленного права. Однако против превосходящей силы дома Вельфов они не могли ничего поделать. После десятилетней кровавой усобицы Штауфены уступили, покорившись Лотарю III, к тому времени ставшему обладателем и императорского достоинства. Подвергшийся имперской опале Фридрих Одноглазый, как прозвали Фридриха Гогенштауфена из-за потерянного в бою глаза, вынужден был броситься в ноги императору. Он клятвенно заверил, что отказывается от всех притязаний на корону, за что получил обратно свое достоинство герцога Швабии.

В то время как младший из братьев Штауфенов, Конрад, находился при дворе императора, Фридрих держался вдалеке от политики. Расставшись с мечтой о королевской короне, он решил превратить свое герцогство в надежное, единое владение рода Штауфенов. После безвременной кончины своей первой супруги он женился на дочери-наследнице графа Саарбрюккенского, получив за ней в качестве приданого богатые земли Саарланда, служившие естественным связующим звеном между его владениями в Эльзасе и Швабии. Герцог умел не только приобретать, но и удерживать имеющееся. Ясно сознавая недостатки традиционной ленной системы, при которой вассалы нередко выходили из повиновения, он, опираясь на традиции Салической династии и беря пример с Сицилийского государства норманнов, предпринял смелое для того времени нововведение, назначив чиновников, служивших за жалованье.

За этими занятиями он потерял интерес к большой политике, безучастно взирая на то, как Лотарь III идет на поводу у папистов. Когда из-за избрания сразу двух пап представилась хорошая возможность сместить их обоих и посадить на престол Святого Петра своего ставленника, этот немецкий государь подчинился воле архиепископа Майнцского, признал одного из пап и смиренно прошествовал, держа узду и стремя, рядом с его конем. Его покорность была тем более поразительна, что дело происходило не в Риме, а в Люттихе, посреди территорий, подвластных немецкому королю, к которому бежал папа, спасаясь от своих римских противников. Однако и этого доказательства королевского смирения папистам было мало. Король должен был, встав во главе немецкого войска, лично проводить папу в Рим и там признать себя ленником того, чьим защитником являлся, за что папа милостиво «пожаловал» ему императорскую корону. Дабы увековечить триумф Святого Петра, сей примечательный акт был изображен на большой картине, запечатлевшей коленопреклоненного императора в качестве папского вассала. Вскоре все епископские кафедры в Германии были заняты верными сторонниками папы, из которых ни один не признавал себя ленником короны. Возвращаясь в 1137 году из Италии, этот первый немецкий король и император «милостью папы римского» умер в крестьянской хижине в Тироле. На смертном одре Лотарь передал королевские инсигнии своему зятю Генриху Гордому, обладавшему, помимо Баварского и Саксонского герцогств, еще и имперским леном Тоскана в Италии.

Сколь уверен был Фридрих Швабский двенадцать лет назад в получении королевской короны, столь же твердо рассчитывал теперь зять покойного императора стать его преемником. Однако и на этот раз все вышло вопреки ожиданиям. Гордый Генрих казался князьям слишком могущественным, чтобы те согласились дать ему еще и королевское достоинство. Поскольку же Генрих к тому времени уже успел настроить против себя епископов, кардиналов и самого папу римского, он был нежелателен и в Риме. Так полагал и архиепископ Трирский Альберон, которому в отсутствие архиепископов Майнцского и Кельнского (по стечению обстоятельств тогда эти епархии оказались вакантными) предстояло руководить выборами, намеченными на Троицу 1138 года в Майнце. Принялись подыскивать более приемлемую кандидатуру и нашли ее в лице Конрада Штауфена, бывшего соперника Лотаря в борьбе за корону. Конрад обладал лишь незначительным влиянием, так что нуждался в поддержке со стороны папства, дабы выдержать натиск исконных соперников Вельфов, выступление которых было неизбежно.

И вскоре, недель за десять до того, как предполагалось созвать собрание для избрания нового короля, приятно удивленный Конрад был вызван, дабы засвидетельствовать свою приверженность папской политике. Конрад принял предложенные условия, и в Кобленце незамедлительно собрался узкий круг знати, на котором его и избрали королем. Об этом не знал ни один из князей Баварии и Саксонии — во всяком случае, никто из них не присутствовал на собрании. Спустя шесть дней, 13 марта 1138 года, в завершение процедуры избрания, больше напоминавшей государственный переворот, архиепископ Альберон организовал в Ахене коронацию своего ставленника. В нарушение обычая церемонию провел папский легат. Большое собрание королевских выборщиков, которое должно было этому предшествовать, даже не проводилось. Сразу же состоялась церемония приведения к присяге имперского вассалитета.