Когда король Франциск предложил императору проехать в Нидерланды, куда хотел поехать Карл, через Париж, Альба, как некогда в Экемортесе, высказался за то, чтобы, согласно рыцарским правилам, принять приглашение. В соответствии с этим Карл он и другие высокопоставленные лица проехали через Сеговию и Вальядолид к границе Франции, где были встречены высшим дворянством страны. Затем все отправились в замок Фонтенбло, построенный Франциском, а оттуда — в Париж. Турниры, карнавалы, балы заполнили новогоднюю неделю 1540 года. Во время торжественных обедов Альба сидел вместе с дофином, принцем Орлеанским, и кардиналами за столом императора и короля Франциска.

Разговоров на политические темы избегали, хотя речь и заходила о новых брачных проектах. Все протекало превосходно, и довольный приемом Карл отправился через Валансьенн в Брюссель вместе с Альбой, который получил самый ценный подарок после императора, — бриллиант стоимостью четыре тысячи дукатов. Самой важной задачей в Нидерландах было подавление восстания в Генте. Когда Альба впоследствии признался, что Карл из-за волнений в одном-единственном городе заспешил в дальние страны, а его сын Филипп не прилагает никаких личных усилий, даже когда целые страны охвачены восстанием, то это была только часть правды. Ибо Карл прибыл не только из-за Гента, но и из-за необходимости многое уладить в Нидерландах, а также в империи. Однако он считал своей первейшей обязанностью навести порядок в своем родном городе. Характерно, что после подавления восстания герцог Альба выступил за сооружение крепости, суровую кару, отмену привилегий и смертную казнь зачинщикам, что, впрочем, Карл отклонил. Вначале, правда, он назначил тяжелое наказание, но затем использовал свое присутствие, чтобы удовлетворить прошения о помиловании и смягчить суровость наказания. Альбу он тем временем отослал в Испанию с двумя новыми поручениями: герцог должен был позаботиться о военной защите Испании от турок и французов и сделаться наставником 1б-летнего сына Карла, Филиппа.

Альба занимался в большей степени военными делами, чем воспитанием Филиппа. Он неутомимо трудился, чтобы провести преобразования, необходимые любой армии, вооружить постоянную армию новейшим оружием и укомплектовать руководство не привилегированным, а обладающим необходимыми знаниями дворянством. В то время лишь небольшая часть солдат имела огнестрельное оружие. Альба был одним из первых, кто вооружил им кавалерию; он также позаботился о хорошем вооружении судов, поскольку раньше на борт, в основном, вкатывали обычные полевые пушки. Всего этого он добился, несмотря на большие трудности, в первую очередь финансовые, ибо оружие было дорогим, а Карл V ощущал нехватку средств как никто другой.

Самым трудным при таких обстоятельствах было поддержание дисциплины, особенно среди вельмож. Они прибывали с целой толпой обслуги, пажей, камергеров, поваров и дам. Тот, кого не устраивало распоряжение герцога об ограничении свиты, отсылался домой. Отослать всех — этого не мог потребовать даже сам Альба. Лишний багаж нужно было отправить назад, а оружие, которое охотно оставляли дома, нужно было везти с собой, как и артиллерию с боеприпасами.

Подготовка, проведенная Альбой, была большим достижением, однако судьбе было угодно, чтобы она стала практически напрасной, ведь Карл поставил задачу не только обороны страны, но и подготовки нового нападения на турок, которое оказалось неудачным На этот раз нужно было завоевать Алжир. Вероятно, виновата не постановка задачи, а момент, выбранный для ее осуществления. В середине октября 1541 года, когда погода была уже неблагоприятной, герцог получил приказ выйти в море.

Следуя приказу, Альба отправился на африканское побережье и там с пятью тысячами человек ожидал флот Карла. Однако когда Карл прибыл с двадцатью тысячами человек, осенние бури в течение нескольких дней не давали возможности высадиться на берег. Когда люди наконец высадились, бури воспрепятствовали выгрузке провианта и артиллерии. Голодным и беззащитным солдатам пришлось выдерживать натиск мавров. Буря усиливалась, удержать позиции было невозможно, и после трех мучительных дней войско вновь с трудом погрузилось на суда. От предприятия пришлось отказаться. На обратном пути ураган привел к новым жертвам; разбитый в пух и прах, Карл V достиг берегов Испании 1 ноября.

Роль герцога Альбы во время военных действий в Африке весьма незначительная. Он не был рядом с императором, когда принималось решение о нападении, не участвовал в командовании операцией, поскольку лишь часть испанской армии была высажена на берег. Он не давал команды возвращаться, поскольку Карл не назначал его руководить операцией. Лишь один голос прозвучал против — завоевателя Мексики Эрнана Кортеса. Он уже пережил трудности подобного рода, испытал большие опасности и нашел выход. Эрнан вызвался с частью войска в Африке вести войну на свой страх и риск. Однако Карл ответил вежливым отказом. Возможно, был упущен великий момент. Кортес умер шесть лет спустя, в ожесточении и, как Колумб, одиночестве.

Лишь один Альба вернулся, чтобы пожинать лавры. Его подготовка и строгость в отношении испанского дворянства нашли полное понимание у императора. Еще на побережье Алжира он получил высший пост королевства — верховного камергера.

Карл V сразу же учел неудачу своей экспедиции, за которой последовал ответный удар французов и турок в следующем году. Поэтому первой его заботой после возвращения стало укрепление северных границ Испании. При этом речь не могла идти ни о ком кроме Альбы. Лишь два месяца были отпущены герцогу для пребывания дома. В начале января, в разгар зимы, ему пришлось уехать, чтобы обеспечить необходимые приготовления. Его основное внимание было направлено на небольшую провинцию Руссильон и город Перпиньян, расположенные на Средиземном море, севернее Пиренеев.

Герцог заложил укрепления, обеспечил защиту границы и в самых важных пунктах разместил войска. Когда Карл послал прежнего начальника герцога времен Фуэнтеррабиа, дона Иникеса де Веласко, для поддержки, а возможно, и для контроля в Наварру, последний вскоре возвратился, заявив, что поскольку все так превосходно организовано, ему нечего было там делать.

В апреле 1542 года герцог вновь появился при дворе и занял в качестве советника по внешней политике первое место при наследнике престола, но уже через три месяца ему пришлось уехать: пришло известие о вступлении в Перпиньян французских войск под командованием дофина. В сопровождении Филиппа Альба прибыл на границу, где ему вначале удалось помешать дофину блокировать Перпиньян со всех сторон, а затем сдерживать французскую армию до самой осени, когда потоки дождя свели на нет все ее усилия.

Увенчанный новой славой, завоеванной на глазах будущего властителя, Альба возвращается домой и сопровождает двор в Барселону, Валенсию, Бургос и другие места, где все сословия приносили принцу как будущему королю присягу на верность. Когда в начале 1543 года Карл отбыл в Германию, Альба остался при Филиппе верховным комендантом всей Испании, защитником севера и побережий и военным советником. На состоявшемся в том же году бракосочетании Филиппа с португальской инфантой Марией он выполнял обязанности распорядителя и вместе со своей женой был свидетелем бракосочетания.