Абель ходил в школу; Эжен, толстяк с румяными щечками и белокурыми кудряшками, был любимцем всех дам; Виктор оставался хилым и грустным ребенком. У него была огромная голова, слишком большая для его худенького тельца, и от этого он казался уродливым карликом. "Часто бывало, что он забивался в какой-нибудь уголок и молча проливал слезы, никто не знал почему..." Отец доверил его женщине, которая должна была водить его гулять; с первых же дней мальчик невзлюбил ее. Он сердился, что она не умеет говорить по-французски, он называл ее "cattiva" - злая. Можно представить себе, что творилось в сердце этого ребенка, оставленного матерью, этого чахлого малютки, совсем не похожего на двух старших братьев-крепышей. Так закладывалась основа мрачного характера, которая будет проглядывать сквозь необыкновенную жизненную силу Виктора Гюго.

В 1803 году батальон перевели на остров Эльбу, и только там, в Портоферрайо, госпожа Гюго соединилась наконец со своей семьей. Муж настойчиво звал ее: "Все удивляются, что ты не приезжаешь и что дети оставлены на меня. Уже начались всякие толки..." Софи хорошо знала, зачем она едет, - увезти в Париж троих своих сыновей, которых она обожала, и встретиться там с Лагори. Она рассчитывала добиться согласия майора, полагая, что при его пылкости, хорошо ей известной, он, должно быть, уже завел любовную интригу и захочет получить свободу. И действительно, как только госпожа Гюго приехала, добрые души оповестили ее, что майор сошелся на острове с девицей Катрин Тома, отец которой служил экономом в госпитале, но был уволен за растрату. Хоть Софи и сама была виновата перед мужем, она проявила негодование, отвергла любовные домогательства Гюго и уехала обратно в ноябре 1803 года. В Портоферрайо она прожила меньше четырех месяцев.

В дальнейшем она заявляла, что муж совсем не уговаривал ее остаться, что он желал получить свободу, чтобы сожительствовать с любовницей. Несомненно, майор Гюго был слаб перед плотскими соблазнами. И все же он предпочел бы любовницам свою жену, если б она сделала терпимой совместную жизнь. Но конфликт между женой и мужем исходил из разницы темперамента.

Майор Гюго - жене, 8 марта 1804 года:

"Прощай, Софи. Помни, что меня точит червь, желание обладать тобой; помни, что в моем возрасте страсти отличаются особой горячностью и что, хоть я и ропщу на тебя, я чувствую потребность прижать тебя к своему сердцу..."

Если б жена вернулась раньше, утверждал майор, он никогда бы ей не изменил: "Да, я хочу принадлежать тебе одной, но, чтобы принадлежать тебе одной, нужно, чтобы я никогда не испытывал холодности с твоей стороны и ты никогда бы не отталкивала меня. А иначе лучше уж жить раздельно..."

Это еще не был полный разрыв. Леопольд Гюго любил своих сыновей, он признавал свои ошибки, но ответственность за них возлагал на жену:

"Можно ведь и в моем возрасте и с моим, к несчастью, пылким темпераментом иной раз и забыться, но в этом всегда виновата была ты сама... Я еще слишком молод, чтобы жить в одиночестве, слишком крепок здоровьем, чтобы меня не влекло к женщинам: я люблю, скажу больше, я буду по-прежнему обожать свою жену, если моя жена пожелает признать, что мне необходима ее любовь и ее ласки. Но я могу быть благоразумным только близ своей жены; итак, дорогая Софи, я думаю, что гораздо лучше было бы для меня произвести с тобою на свет еще одного ребенка, чем бросить тебя ради другой женщины, и знать, что дети мои растут вдали от любящего взора отца. Я чувствую в себе достаточно душевных сил, чтобы составить счастье той, которая пожелает судить обо мне без предубеждения; в смысле телесном (скажу по секрету только тебе одной) я никогда еще не чувствовал себя так хорошо, как сейчас; в смысле образования я много приобрел за время твоего отсутствия..."

Обезоруживающая откровенность, которая могла бы тронуть, но Софи любила другого. На обратном пути в Париж, очень долгом и трудном, она радовалась, что покажет Лагори троих своих сыновей: крепыша Абеля, белокурого кудрявого Эжена и нежного, чувствительного малыша Виктора. Когда экипаж остановился на улице Нотр-Дам-де-Виктуар, у конторы почтовых карет, она была удивлена, что не видит Лагори, которого она известила о своем возвращении. Она побежала в резиденцию генерала. На двери были наклеены два объявления. В них сообщалось, что разбойники-роялисты покушались убить первого консула; народ Парижа призывали доносить на их сообщников и содействовать их аресту. Далее приводился список заподозренных лиц. Среди них Софи прочла: Виктор-Клод-Александр Фанно Лагори.

Она была потрясена, но не удивлена. Что Моро участвовал в заговоре против Бонапарта, что он называл Конкордат "поповщиной" и отказался от ордена Почетного Легиона, что он окружил себя иностранцами, эмигрантами и идеологами роялизма, что его теща и жена явно ему содействовали - все это Софи знала еще до своего отъезда. Что Лагори настраивал Моро против первого консула и, хоть считал себя республиканцем, готов был под влиянием Софи посоветовать Моро заключить временный союз с роялистами - это она тоже прекрасно знала. Моро, который был в прошлом якобинцем и все еще сохранял якобинский душок, долго держался в стороне. К тому же он стал теперь владельцем замка Гробуа, растолстел, был сластолюбцем и принадлежал к породе тех полководцев, кто способен привести свои войска к берегам Рубикона, но вместо того, чтобы перейти его, устроить там пиршество.

Лагори был единственным энергичным человеком в его окружении. Поэтому полиция первого консула тотчас решила арестовать его, придавая этому особую важность. Префектам были сообщены его приметы: "Рост - пять футов два дюйма; волосы - черные, зачесаны на лоб; брови черные; глаза черные, довольно большие, глубоко сидящие; желтоватые круги под глазами; лицо попорчено оспой; смех язвительный..." Была еще одна характерная примета несколько искривленные от верховой езды ноги. Полиция искала его повсюду в Майенне, затем в замке Сен-Жюст и, наконец, в Париже, у его друга, в доме N_19 на улице Клиши. Нигде его не нашли. А он укрывался на другой стороне улицы, в доме N_24, у госпожи Гюго, которая за несколько дней до того поселилась там со своими сыновьями. Впрочем, он оставался у нее только четыре дня и, не желая подвергать свою подругу опасности, вновь повел скитальческую жизнь изгнанника. Наполеон Бонапарт будто бы по природному милосердию и соображениям практическим выразил желание, чтобы молодой генерал эмигрировал в Соединенные Штаты и постарался бы, чтобы о нем позабыли, но Лагори остался во Франции и время от времени появлялся переодетым на улице Клиши, где его всегда принимали с нежностью.