Отплыв из Испании 4 ноября, флот Каррано сразу попал в тяжёлые погодные условия. Его стали преследовать неудачи. Всё началось с того, что капитана — флагманское судно Каррано сгорело в океане. Погибло более 300 человек, и только двадцать оставшихся в живых, включая капитан-генерала, смогли перебраться на другой корабль. Подчинённые ему суда рассеялись в океане во время шторма. Восемь кораблей исчезли без следа, прежде чем достигли берегов Америки.

В феврале—марте 14 судов достигли цели. Однако здесь испанцев поджидал неприятный сюрприз. Ещё в сентябре 1552 года ураган разрушил портовые сооружения Веракруза. Несмотря на всё старание чиновников, восстановить пристани в срок они не смогли. В результате обратно в 1553 году смогли отправиться только два судна. Остальные должны были ждать следующего сезона, поскольку отправление через океан в одиночку, вне флота, было строжайше запрещено предписаниями Каса де Контратасьон.

Так начиналась грандиозная драма, которая нанесла первый удар благосостоянию Испании, основанному на дешевом испанском золоте.

Только 9 апреля 1554 года четыре судна — «Сан Андреас», «Сан Эстебан», «Эспириту Санто» и «Санта Мария де Икиар» покинули гавань Веракруз. В официальном грузовом манифесте значилось 96 000 фунтов драгоценных металлов стоимостью около 2 миллионов песо.

Плавание через Мексиканский залив проходило первоначально довольно спокойно. Согласно правилам тех времён, чтобы избежать встречных ветров, испанские суда пересекали залив не напрямик, а поднимались вначале на север, а затем уже направлялись в Гавану. Это и стало фатальным для эскадры. Через две недели плавания у берегов нынешнего Техаса корабли попали в шторм. Обычно сезон ураганов в этих широтах проходит с июня по октябрь, это уже хорошо было известно испанским лоцманам. Именно поэтому плавание и было рассчитано на то, что оно займёт период до сезона ураганов. Однако то, что корабли попали в сильнейший шторм в апреле, означает лишь то, что, скорее всего, они попали в так называемый шторм весеннего равноденствия. Как бы то ни было, итог для испанцев оказался печален. Только «Сан Андреас» смог выдержать шторм и со сломанными мачтами и обрывками парусов с трудом достичь Гаваны. Остальные корабли затонули 29 апреля 1554 года у острова Падре (штат Техас, США).

Сотни людей погибли в бурных водах залива. По крайней мере, половина из трёх сотен человек, находившихся на борту погибших судов, смогли выбраться на берег. Приблизительно 30 человек, включая монаха, который оставил свои записи об этом путешествии, смогли добраться до испанского поселения в Тампе, остальные были убиты индейцами.

О том, сколько ценностей оказалось на дне у острова Падре, можно судить хотя бы по тому факту, что общая стоимость грузов, перевозившихся этими кораблями, составляла более двух миллионов серебряных песо, что составляет более чем 9,8 миллиона долларов (по состоянию на 1975 год).

Столь масштабные потери не могли не вызвать желания поднять хотя бы часть затонувшего груза, и уже в июле того же года на месте крушения оказалась испанская спасательная экспедиция. Именно испанцы первые приблизительно определили место крушения в районе 26° 30´ с.ш., хотя фактически место крушения находится на 26° 45´ с.ш.

Ныряльщики-рабы смоги поднять приблизительно 35 801 фунт серебра, оказавшегося на дне. Оставшиеся сокровища продолжали будоражить умы кладоискателей вплоть до второй половины XX века.

В 40-е годы XX века при расширении порта Мэнсфилд со дна моря были подняты первые обломки неизвестного судна. Предположительно это была «Санта Мария де Икиар». Землечерпалки подняли со дна целые груды серебряных монет XVI века. Однако в те времена это мало заинтересовало кладоискателей.

Очередной виток интереса к пропавшему флоту произошёл в 1967 году, когда компания «Платоро Лимитед» объявила, что нашла остатки «Эспириту Санто» в трёх милях от порта Мэнсфилда. Власти штата Техас наложили запрет на исследование затонувшего судна и подъём ценностей. Права на любые исследования «Эспириту Санто» были переданы в Техасскую археологическую научно-исследовательскую лабораторию.

Среди поднятых с места крушения «Эспириту Санто» предметов были совершенно уникальные вещи, которые не имели аналогов на антикварном рынке. Среди них было маленькое золотое распятие, золотой слиток, несколько серебряных дисков, бронзовые орудия, арбалеты и три астролябии. Последние считаются самыми ценными среди поднятых предметов, поскольку использовались в навигации ещё в XVI веке и чрезвычайно редки сегодня.

В 1972—1973 годах Комитет старины штата Техас провел исследования места крушения, уточнив местонахождение «Сан Эстебана» в пяти милях от Мэнсфилда.

При подготовке к исследованиям учёными было изучено более тысячи страниц подлинных документов из испанских архивов. Изучение «Сан Эстебана» стало настоящей полевой археологической лабораторией. Помимо подводных исследований были проведены раскопки на берегу, чтобы обнаружить лагерь выживших после катастрофы и спасательной экспедиции.

В течение сезона 1973 года были проведены основные подводные изыскания. На поверхность было поднято более чем 12 тысяч кг различных бытовых предметов. Самой массивной и ценной находкой стала часть кормы с килем. Они позволили оценить размеры судна и более тщательно его идентифицировать. В соответствии с полученными данными оно имело длину примерно 21—30 м и водоизмещение в 170—286 тонн. Так же был поднят якорь судна, оружие, инструменты, различные металлические изделия, серебряная монета и слиток. Среди интересных и ценных находок оказалось зеркало, сделанное из полированного пирита, и лезвия из обсидиана.

Таким образом, были обнаружены все три судна, входившие в злополучный Серебряный флот 1554 года.

Однако история на этом не заканчивается, поскольку большая часть серебра и по сей день находится на дне моря.

Безопасное использование тихоокеанских прибрежных маршрутов имело большое значение для Испании. Огромные богатства, добывавшиеся на копях в Перу, отправлялись затем в порты Арики и Кальяо. Оттуда сокровища перевозились морским путём в Панаму, через которую эти ценности и попадали в Карибское море. В дальнейшем хорошо вооружённый Флот Материка должен был доставлять их в Гавану и далее в Кадис.

В отличие от Карибского моря, где галеоны были хорошо вооружены и следовали крупными караванами для защиты от пиратов, испанские корабли в Тихом океане были практически беззащитны и потому не раз становились жертвами морских разбойников.

Не меньшую опасность представляли и подводные рифы и мели на побережье Чили, Перу, Эквадора и Колумбии. Одной из таких жертв стал галеон «Санта Мария де лос Ремедиос». Он отплыл в 1590 году из Кальяо в сторону Панамы в качестве капитаны эскадры из 4-х кораблей. На борту этих кораблей располагался один из самых ценных грузов, когда-либо перевозившихся из Нового Света

В грузовом манифесте значилось 12 тонн золота и 174 тонны серебра, 176 сундуков серебряной посуды и 7 сундуков золотой церковной посуды, 313 «коробок подарков», содержание которых остаётся тайной. В качестве пассажиров на борту располагались 46 торговцев, которые, по предположениям, везли не менее миллиона дукатов, поскольку направлялись на ежегодную ярмарку и планировали сделать большие закупки. Учитывая контрабанду, которая составляла до 50% от официальной части груза, можно с уверенностью сказать, что это судно несло груз стоимостью около 1 миллиарда долларов в современном эквиваленте.

Согласно архивным данным, армада покинула Перу в середине апреля и в начале мая остановилась в порту в заливе Манта, чтобы пополнить свои запасы и переждать вероятную опасность со стороны пиратов, появление которых испанцы опасались гораздо больше, чем штормов. Капитана, как наиболее ценный корабль, стояла ближе всего к берегу, что самым роковым образом сказалось на её судьбе.