Луи Гюго не удалось убедить невестку, но вскоре парижские банкиры Терно уведомили госпожу Гюго, что муж прислал ей деньги - пятьдесят одну тысячу франков, для того чтобы она купила себе дом во Франции. Дело уже становилось серьезным. Если действительно генерал Гюго вознесся на вершину почестей, разве она имеет право лишать своих сыновей удачи в жизни? О своем решении она сообщила королю Жозефу через его эмиссаров. Король хорошо знал Софи Гюго, он еще в Люневиле оценил по достоинству ее ум и ее изящество. Ему досадно было, что генерал Гюго, один из видных: сановников его двора, компрометирует себя перед всей Испанией сожительством с какой-то девицей Тома, авантюристкой, именуемой теперь "графиней де Салькано". Король пожелал, чтобы приехала законная жена и потребовала свое законное место у семейного очага.
Жозеф Бонапарт расточал госпоже Гюго всяческие заверения. Она уступила. На следующий же день она подарила Эжену и Виктору словарь и грамматику испанского языка. "Через полтора месяца эти одаренные мальчики уже знали достаточно, чтобы их могли понимать". Весной 1811 года госпожу Гюго уведомили, что формируется обоз и что она должна присоединиться, к нему в Байонне. Она взяла у банкиров Терно двенадцать тысяч франков на дорожные расходы, выправила паспорт на имя госпожи Гюго, урожденной Требюше де ла Ренодьер, и наняла целый дилижанс, который и довез ее от Парижа до Байонны. Она ненавидела путешествия. А для ее сыновей переезд был упоительным приключением. Им понравились и удобная карета, и города, через которые они проезжали. У Виктора был острый взгляд и такая цепкая память, что двадцать лет спустя он верно нарисовал две прекрасные башни Ангулемского собора, которые видел лишь мельком. Всю жизнь он помнил Байонну, где пришлось прожить месяц в ожидании обоза, помнил театр, где они сидели в ложе, обтянутой красным коленкором, и семь раз смотрели мелодраму "Развалины Вавилона", помнил те вечера, когда все три брата, испачкав разноцветными мазками чашечку в ящиках для красок, размалевывали картины в книге, подаренной им Лагори, - "Тысяча и одна ночь". А больше всего запомнилась Виктору четырнадцатилетняя девочка с ангельским лицом, исполненным чистой Прелести, как у дев Вергилия; она читала ему вслух, сидя на садовой скамье. Он стоял позади чтицы, но не слушал, он весь поглощен был ее созерцанием, дивился матовой белизне ее тонкой шейки. Когда ветер заворачивал косынку на ее плечах, он с каким-то странным, смешанным чувством неловкости и восхищения видел округлую белую грудь, тихонько поднимавшуюся и опадавшую в тени, пронизанной теплыми беглыми отблесками солнца.
"Не раз случалось, что в такие мгновения она вдруг поднимала свои большие голубые глаза и говорила мне: "Виктор, ты что не слушаешь?" Я терялся, краснел, трепетал... Я никогда сам не осмеливался ее поцеловать, но иногда она подзывала меня и говорила: "Ну, поцелуй же меня". В день отъезда я испытал две великие печали: грустно было разлучаться с ней и выпустить на волю своих птиц...
Байонна осталась в моей памяти как что-то дорогое, милое, праздничное. К ней восходят самые ранние воспоминания моего сердца. О годы наивности, но уже возникающих нежных волнений) Именно в Байонне я увидел, как в тайнике моей души забрезжил первый, невыразимый свет, божественная заря любви..." [Виктор Гюго, "Пиренеи" ("Путешествия")]
Супругу генерала Гюго, графиню де Сигуэнса, на протяжении всего пути встречали с почетом. Огромный парадный экипаж в стиле рококо, запряженный шестеркой лошадей или же мулов и нанятый на весь переезд за две тысячи четыреста франков, был куда внушительнее, чем кареты других путешественников, испанским герцогиням приходилось уступать ему дорогу. Как было не важничать трем мальчишкам-подросткам? Виктору сразу полюбилась Испания, земля контрастов; пейзажи то веселые, то мрачные, залив у Фуэнтеррабиа, блестевший вдали, как драгоценный камень; первый город, который он увидел в Испании, назывался Эрнани. Мальчика поразил его облик - благородный, гордый и суровый; он увидел кастильских овчаров, в руках которых пастуший посох казался скипетром. В пограничном городе Ируне узкие улицы, черные дома, деревянные резные балконы и крепостные ворота очень удивили маленького француза, выросшего среди мебели красного дерева стиля ампир.
Его глаза, привыкшие видеть кровати с легким пологом, усеянным звездами, изящные подлокотники кресел в виде лебединой шеи и бронзовых позолоченных сфинксов, украшавших подставки для дров в каминах, теперь с каким-то испугом смотрели на тяжелые балдахины, нависавшие над постелями, на массивное столовое серебро с выпуклым витым орнаментом, на окна с мелкими стеклышками в свинцовом переплете. Но сама эта необычность нравилась ему. Даже скрип испанских телег, такой жалобный, такой резкий, казался ему приятным. Никогда Виктор не забывал строгого и твердого звучания испанской речи - недаром же у всякого, кто слышит ее, "безотчетно, так сказать, машинально, возникают в душе величественные образы, исполненные бурных чувств, блеска, яркой красочности и страсти...".
В испанских церквах он видел странные статуи святых, то истекающих кровью, то одетых в золотую парчу, видел над церковными порталами стенные часы в обрамлении шутовских и фантастических фигур. В Испании уродов видишь в повседневной жизни. На улицах встречаешь нищих, как будто сошедших с полотен Гойи, и карликов Веласкеса. Вокруг обоза кишели обитатели Двора Чудес. Цепкая память мальчика схватывала "пестрые картины, грозные силуэты дозорных на вершинах утесов и трупы бандитов, расстрелянных на краю дороги. Ужасные картины. Рассказы провожатых дополняли их. Генерал Гюго, говорили они, приказал выбросить из окна дезертиров-испанцев, и они разбились, упав на землю; его солдаты перестреляли всех монахов какого-то монастыря. А повстанцы, говорят, подвергали пыткам женщин и детей, выпускали им кишки, сжигали заживо. Устроив засаду в ущельях, партизаны подстерегали караваны. Мальчиков-французов преследовали видения войны и смерти.