Если в год издания книги Радищева и последовавшего за этим ареста не удалось доказать, что граф Воронцов был как-то причастен к её написанию и появлению, то теперь, когда Александр Романович являлся покровителем илимского ссыльного, не скрывая своего сочувствия к опальному писателю, открыто помогая ему, он словно бросал дерзкий вызов и двору и самой императрице. Самойлову было известно влияние на губернаторов Сибири, которое оказывал Воронцов, смягчая тем самым участь государственного преступника. Для него не представляло большого труда плести интриги вокруг имени президента коммерц-коллегии.

Александр Романович знал об этих интригах Самойлова и своих врагов, но не пытался ни что-либо опровергнуть из того, что говорили о нём, ни тем более оправдываться в своих поступках и действиях. И хотя его деятельной натуре было тяжело оставлять государственную службу, продолжавшуюся свыше тридцати лет, уходить от шума двора в деревенское затишье, Воронцов должен был это сделать. С каждым годом он всё больше и больше чувствовал свои натянутые отношения с Екатериной, он всё яснее и яснее видел неудобства для государства её политики, не мог разделять её, считая, что управлять страной нужно уже по-иному, чтобы избежать возможных конфликтов и столкновений с народом, зная, что́ отечество пережило в пугачёвскую войну и переживала Франция в 1793 году.

Граф Воронцов сначала под предлогом своего нездоровья и необходимой перемены воздуха испросил увольнения на год. Отпуск был дан. Но год ещё не кончился, как Александр Романович просил и получил полную отставку.

Екатерина не возражала против отставки графа. Своей просьбой Воронцов помогал ей осуществить давнишнее её желание — отстранить от себя и от двора человека, которого она побаивалась: слишком уж разветвлены и влиятельны были его связи в разных сферах государственной деятельности не только в России, но и за её рубежами.

Более удобного момента нельзя было и ожидать. Императрица конфиденциально, доверительно в одном из своих писем с откровенностью сообщала:

Всех этих обстоятельств не могла знать и не знала Глафира Ивановна Ржевская, когда сообщала Елизавете Васильевне об отставке графа Воронцова, но Рубановская правильно угадала сердцем, что отставка Александра Романовича внесёт в их жизнь новые, непредвиденные осложнения.

Рубановская не замедлила поделиться своими опасениями с Александром Николаевичем. Он, как казалось ей, принял эту весть спокойно и только сказал:

— Лизанька, сего и следовало ожидать. Слишком опасный я человек в глазах императрицы, чтобы она оставила меня в покое даже здесь и ничего не предприняла бы против тех, кто сочувствует моему делу или благожелательно расположен ко мне в несчастии моём, как граф Александр Романович…

Но спокойствие Радищева было только внешним. Внутренне он разделял опасения своей жены, но в теперешнем её положении Александр Николаевич не мог прямо сказать Елизавете Васильевне об этом. Теперь он знал, почему среди получаемых в последнее время писем от друзей и знакомых ничего не было от Воронцова, почему вдруг непонятно прекратилась пересылка графом гамбургских газет и вот уже долгое время он находится в неведении, какие события потрясают мир, что происходит сейчас во Франции.

И, чтобы развеять всякие опасения Рубановской и окончательно успокоить её, Александр Николаевич сказал ей голосом, внушающим полное доверие и надежду:

— Не будем, Лизанька, думать о плохом и ничего плохого не случится с нами после отставки Александра Романовича…

— Дай-то бог, — согласилась она и, рассматривая пробирки на столе, микроскоп и какие-то бегло сделанные заметки на листках, лежащих на столе, спросила:

— Не удалось ещё отыскать тебе твою оспенную жидкость?

Александр Николаевич вместо ответа отрицательно покачал головой.

— Я уж думала, нашёл…

— Найду.

Елизавета Васильевна оживлённо стала рассказывать ему о посылке Глафиры Ивановны и перечислила всё, что та прислала для Анютки, а так же приданое для будущего ребёнка.

Александр Николаевич глубже заглянул в её наполненные материнским счастьем глаза, погладил её волосы, поправил спадающую на лоб прядь и сказал:

— И у тебя появились серебристые струйки, милая…

— Не хочу отставать от тебя, — ответила, смеясь, Елизавета Васильевна.

— В сём можно было бы и не спешить… — проговорил тепло Радищев, приблизил её руки к губам и покрыл их благодарными поцелуями.

— Неоценимый друг мой, Лизанька!

— Я не заслужила такой похвалы, — смущённая его словами, сказала Рубановская.

— Со стороны, как говорят, виднее. Не спорь со мною.

Рубановская и не спорила. Успокоенная Радищевым, она медленно вышла из кабинета. Александр Николаевич, проводив её ласковым взглядом, повторил про себя: «Мой неоценимый, единственный и незаменимый друг». Он присел к микроскопу, но работа не шла на ум. Радищев вернулся к мысли об отставке графа Воронцова. Он знал, что положение его непременно ухудшится. Он скрыл от Рубановской ещё одну неприятность: из Иркутска генерал-губернатор Пиль сообщал, что подал в отставку и ждет её получения. Александр Николаевич не сказал Елизавете Васильевне и о письме отца — Николая Афанасьевича, который сообщал, что ослеп, а старшие его внуки — сыновья Радищева — предоставлены в Санкт-Петербурге сами себе.

Разве могла быть спокойна его душа после таких сообщений? Разве мог он не думать о своих старших сыновьях, не волноваться за них? Сыновья писали, что желают приехать к нему в Сибирь, но Николай Афанасьевич не разделял желания своих внуков, писал, что боится за них, за него самого, и предупреждал, как бы их приезд дурно не отозвался на его уединённой жизни изгнанника.

Александр Николаевич размышлял над тем, как ему лучше поступить: дать ли своё согласие на приезд сыновей и написать об этом отцу или отсоветовать детям приезжать в Сибирь? Он понимал, что может быть это была последняя дань, которою детская привязанность хотела заплатить отеческой нежности, и у него не хватало сил отказать сыновьям в их желании. Радищев боялся обидеть в них святое чувство сыновней привязанности.

И в то же время Александр Николаевич признавал, что прав был его отец, когда утверждал, что приезд сыновей в Илимск мог повредить не столько ему, сколько им самим. Это был трезвый и здравый совет, но Радищев не хотел ему сразу верить и принять его. «Могло ли навлечь чувство взаимной нежности отца и детей какое-либо нарекание со стороны и иметь нехорошие последствия для сыновей?»

Взвесив всё, Радищев решил, что лучше всего позаботиться об устройстве сыновей на службу там, в Санкт-Петербурге, чем уступить их желанию и разрешить им приехать к нему в Илимск. Ему было очень тяжело принять такое решение, но он принял его, как единственное и возможное, и написал об этом графу Воронцову.

О своём решении он сказал Елизавете Васильевне после того, как было уже отослано письмо, ещё не уверенный правильно ли поступил, но Рубановская поддержала его и нашла принятое им решение вполне разумным. В своём ответном письме Глафире Ивановне она, также озабоченная устройством старших племянников, просила Ржевскую вместе с графом Воронцовым проявить о них должное попечение и заботу.

Радищев проснулся от движения кровати, которую будто трясла невидимая рука. Он не сразу догадался, что это землетрясение — явление редкое в этих местах, удалённых от Байкальского моря. Оно началось в полночь. В доме все спали, когда почувствовались сильные подземные толчки. Разбуженный внезапно ими, Александр Николаевич подумал, что это шалит Павлик, спавший в нише у его изголовья. Он окрикнул сына, но никто не отозвался. Толчки прекратились, но затем через несколько минут вновь возобновились, но гораздо слабее. Казалось, что движение идёт с запада в направлении Илимских гор, и Радищев подумал, не исходило ли оно от горной цепи, которая тянулась вдоль Ангары.