В 1628 году флот адмирала Пита Хейна, финансируемый голландской Вест-Индийской компанией, захватил в бухте Матансас на Кубе Серебряный флот из пятидесяти кораблей. Половина из них была сожжена, а вторая половина была включена в состав молодого голландского флота. Только золота и серебра, шелков и других товаров голландцы захватили не менее чем на 4,5 миллиона песо. Филипп IV перенёс после этого нервное потрясение и 5 дней не появлялся на людях. В 1634 году голландцы захватили Кюрасао, создав базу для дальнейших нападений на испанцев в самом сердце их колониальной империи.

В 1629—1632 годах испанцы включили в состав флота военные корабли, и они на постоянной основе остались в Карибском море. Это мало помогало. Среди прочих трофеев пиратов оказался захваченный в 1635 году Пьером Леграном 54-пушечный флагманский корабль, который по какой-то причине, отстал от флота, В этом не было бы ничего особенного, если бы не одно обстоятельство — Легран командовал 4-пушечным люгером, с командой всего из 28 человек, а, значит, силы нападавших были в десятки раз меньше, чем у испанцев.

Первая неудача постигла голландцев в 1639 году, когда они не смогли захватить испанский флот. Во многом это произошло благодаря появлению фрегатов, которые были вдвое меньше галеона, однако несли то же количество орудий. Эти нововведения не смогли сдержать усиливающийся напор на испанские колонии Англии, Франции, Голландии, особенно учитывая слабеющую роль Испании в европейских делах.

В 1657 году в бухте Санта-Крус-де-Тенерифе английский флот под командованием Роберта Блэйка уничтожил Серебряный флот, что стало настоящей катастрофой для испанских финансов.

В 1668 году Генри Морган с отрядом из 400 пиратов захватил Портобелло — мощную крепость, считавшуюся неприступной, а в 1669 году — Маракаибо и Гибралтар.

Самой крупной операцией пиратов стал рейд на Панаму в 1671 году объединённых англо-французских сил из 1200 человек. Им удалось разгромить втрое больший по численности испанский гарнизон и, захватив город, разграбить до последнего песо.

В 1683 году французские буканьеры атаковали Веракруз и получили 800 тысяч песо в серебре и других ценностях. В 1697 году — Картахену, и население выплатило им 8 миллионов песо, чтобы они оставили город.

Силы Испании были ещё более ослаблены уменьшением добычи серебра в Америке. Его производство в Потоси достигло максимума в 1600 году и составило 9 миллионов песо. После этого в течение ста лет производство неуклонно снижалось. К 1700 году во всех испанских колониях добывали 11 миллионов песо в отличие от 16 миллионов столетием ранее. В то же время экспорт серебра из Азии достиг 4,5 миллиона песо и продолжал уменьшаться.

Война за испанское наследство нанесла невосполнимый удар её колониальной империи. Англо-голландский флот господствовал в Карибском море и на торговых путях через Атлантику, что не могло не сказаться на эффективности перевозки ценностей. Последствия разгрома Испании в этой войне ещё долго сказывались на перевозках золота и серебра через океан.

В начале XVIII века классический морской разбой в Карибском море практически исчез. Однако это совсем не означало, что испанские галеоны могли безопасно доставлять свой груз в метрополию. На смену флибустьерам, пришли королевские каперы. Как оказалось, обеспечивать пополнение бюджета своей страны за счёт испанских галеонов весьма прибыльное дело, и английский военный флот не упускал случая воспользоваться очередным европейским конфликтом в своих интересах.

В 1739 году британский флот под командованием адмирала Эдварда Вернона захватил Портобелло и атаковал Картахену. В 1748 году англичане напали на флот с сокровищами возле Кубы, взяли на абордаж и утопили несколько кораблей. Один из кораблей был взорван командой, рассеяв вокруг 10 миллионов песо.

Это настолько повлияло на испанских чиновников, что они стали искать более безопасные морские пути, стремясь обезопасить ценнейший груз от посягательств враждебных держав. Но и это слабо помогало.

В 1761 году флот из Мексики доставил в Испанию 16 миллионов песо. Однако её вступление в Семилетнюю войну в 1762 году оказалось катастрофой. Сильнейший флот в мире — английский захватил в том же году Гавану и Манилу, перерезав торговые пути испанской колониальной империи.

В 1763 году испанцы попытались укрепить свою обороноспособность за счёт формирования постоянных гарнизонов в колониях, которые пришли на смену добровольно созывавшейся милиции. Производство серебра за это время увеличилось с 12 миллионов в 1770-е годы до почти 30 миллионов песо в 1780-х. Испания также попыталась восстановить систему конвоев для перевозки сокровищ в 1760-е годы, но неудачно.

Последний успех испанцев заключался в возвращении в 1783 году Флориды и Менорки после окончания Американской революции и Войны за независимость в Северной Америке.

Испанские власти стали поощрять развитие торговли и предпринимательства в колониях, чтобы ликвидировать их иждивенчество. В Тихом океане манильская торговля была передана в руки частной компании в 1785 году. В 1790 году была закрыта Каса де Контратасьон, и с ней закончилась история Серебряного флота. Хотя перевозки золота и серебра не прекратились, они перестали быть столь организованными. Правила, выработанные в течение несколько столетий, были отменены. Это отнюдь не уменьшило количество нападений пиратов и кораблекрушений, но развязало руки купцам и предпринимателям, которые с новой силой кинулись осваивать драгоценные залежи Америки, приближая конец испанской колониальной эпохи в Новом Свете.

В истории перевозок золота и серебра на испанских галеонах особое значение имеет район Флоридского пролива и островов Флорида-Кейс. Именно в этом наиболее опасном для мореплавания районе погибло наибольшее в Карибском море количество галеонов (см. Приложение I). Огромные сокровища, усеявшие дно в этом регионе, создали особую индустрию, получившую название рекинг (wreck — затонувшее судно) — грабёж затонувших кораблей.

Достаточно бегло взглянуть на список погибших в этом районе кораблей, чтобы понять, почему именно здесь зародилась профессиональная охота за золотом погибших галеонов.

В 1536 году 250-тонный галеон «Ла Мадалена» под командованием Кристобаля Родригеса, направляясь из Веракруза в Испанию, был выброшен на Флоридские мели во время шторма. Из 300 человек, находившихся на борту, только 16 пережили крушение, доплыв до берега на маленькой лодке. Груз галеона состоял из 1,25 миллиона песо в монетах и слитках, 170 ящиков серебряных изделий, 1150 фунтов золота, К этому перечню следует добавить также ценности, принадлежавшие пассажирам, которые, судя по всему, были немалыми.

Через шесть месяцев после крушения из Гаваны было выслано спасательное судно, однако найти обломки галеона испанские моряки не смогли. Впоследствии рыбаки подняли со дна два орудия, а в середине XVIII века в сети попал сундук с тремя тысячами реалов.

В 1571 году два галеона — 300-тонный «Сан Игнасио» и 340-тонный «Санта Мария де ла Лимпия Консепсьон» — погибли во время шторма на флоридских отмелях. На борту этих судов находилось 2,5 миллиона песо, не считая прочих грузов.

В 1589 году 350-тонный галеон «Санта Каталина» под командованием Доминго Ианеса Омеа и 400-тонный «Иисус Мария» капитана Франциско Сальваго, а также одно неизвестное нао погибли в Багамском проливе во время шторма. Они были частью большого каравана из 100 судов, который отплыл из Гаваны 9 сентября и попал в шторм у берегов Флориды.

27 июля 1591 года испанский флот из 79 судов покинул Гавану. В ходе штормов испанцы потеряли 29 судов — большинство на флоридских отмелях.

В 1600 году здесь погиб 200-тонный галеон под командованием капитана Диего Родригеса Гарручо. Он следовал из Мексики с ценным грузом — 700 тысяч песо и 250 сундуков восточных товаров. В результате катастрофы только семь матросов и юнга смогли спастись. Испанские спасатели обнаружили место крушения в 1602 году и подняли три бронзовых орудия. Добраться до главного груза они не смогли, поскольку обломки затянуло песком Экспедиция 1603 года также оказалась безрезультатной.