Вскоре Ростопчин почувствовал, как вокруг него сгущается обыкновенное и мелочное. Вернувшиеся и обнаружившие гибель своего имущества дворяне и купцы (не все, конечно) обвиняют в своем разорении Ростопчина, говорят, что ему не следовало бы жечь Москву, распространяются слухи, что он чем-то поживился при этой разрухе, упрекают его в "ужасной и несправедливой" расправе над "бедным юношей" Верещагиным (в этом его упрекает и Александр I). Ростопчин не оправдывался, зная, что его оправдания не будут услышаны и приняты. Кроме того, он понимал, что его время и необходимость в нем миновали, при дворе уже появились новые люди.
Но при этом Ростопчин не склонен был преуменьшать свою роль в событиях 1812 года. В ответ на выговоры Александра I по поводу верещагинского дела он заявил императору: "Я спас империю. Я не ставлю себе в заслугу энергии, ревности и деятельности, с которыми я отправлял службу Вам, потому что я исполнял только долг верного подданного моему государю и моему Отечеству. Но не скрою от Вас, государь, что несчастие, как будто соединенное с Вашею судьбою, пробудило в моем сердце чувство дружбы, которою оно всегда было преисполнено к Вам. Вот что придало мне сверхъестественные силы преодолевать бесчисленные препятствия, которые тогдашние события порождали ежедневно".
Решающая роль Ростопчина осознавалась и наиболее проницательными современниками. Известный государственный деятель александровского времени Д.П.Рунич, отнюдь Ростопчину не симпатизировавший, в своих воспоминаниях пишет о нем: "Он спас Россию от ига Наполеона". По сути дела, так же оценивал роль Ростопчина Н.М. Карамзин.
Отдает должное личности и деятельности Ростопчина и один из самых достойных его противников-французов - Стендаль. В 1817 году в книге "История живописи в Италии", подводя итог своим размышлениям о России и увиденном им там во время наполеоновского похода, он пишет о Ростопчине:
"Исход жителей из Смоленска, Гжатска и Москвы, которую в течение двух суток покинуло все население, представляет собою самое удивительное моральное явление в нашем столетии; что касается меня, я с уважением обошел загородный дом графа Ростопчина, смотрел на его книги, валявшиеся в беспорядке, на рукописи его дочерей. И видел деяние, достойное Брута и римлян, достойное своим величием гения того человека, против которого оно было направлено. Есть ли что-нибудь общее между графом Ростопчиным и бургомистром Вены, явившимся в Шенбрунн приветствовать императора, к тому еще столь почтительно? Исчезновение жителей Москвы до такой степени не соответствует флегматическому темпераменту, что подобное событие мне кажется невозможным даже во Франции".
В апреле 1814 года русские армии вступили в Париж, Наполеон отрекся от престола, союзники праздновали победу.
В Москве победные праздники начались 23 апреля, в день святого Георгия Победоносца. Служили благодарственные молебны в кремлевских соборах и во всех московских храмах. Балы и маскарады шли один за другим.
Ростопчин в своем доме на Большой Лубянке давал бал в честь генералов и офицеров - участников сражений. Дом, двор и улица были иллюминированы гирляндами разноцветных фонарей, повсюду развешаны аллегорические картины, изображающие победу России над Наполеоном. Во дворе и на улице стояли столы с угощением для народа, хоры песельников пели военные и народные песни. Среди прочих был исполнен специально написанный по мысли и заказу Ростопчина гимн на стихи Н.В.Сушкова, в котором проводилась идея: французы сожгли Москву, а русские на их варварство ответили великодушием и пощадили Париж. Впервые эта тема прозвучала в русской поэзии именно в этом гимне, исполненном на балу Ростопчина на Большой Лубянке, а уже затем ее развивали многие поэты.
Стихи Сушкова последний раз перепечатывались полтора века назад, но в свое время они пользовались большой известностью и достойны того, чтобы их вспомнить.
Ой, вы, детки каменной Москвы! скорей
Собирайтесь ближе, в тесный круг, дружней!
Добру весточку поведаю я вам:
Добрый Царь ее прислал, родимый, к нам,
Чтобы славили удалых мы солдат,
Как взошли они в Париж - далекий град.
Грянем, в голос, в лад ударя по рукам:
Слава Богу, Александру и полкам!
Слава, слава Богу Русскому!
Слава, слава Царю-воину!
Слава, слава верноподданным!
О, ура! ура! ребятушки!
Исполать вам! вы со всех-то мест
Близких, дальних ополчилися,
О! хвала и вам, отважные
Воеводы и начальники!
Други! слушайте, как Царь в Париж входил:
Он святые храмы Божьи не сквернил,
Он с Угодников оклады не срывал,
Он палаты каменны не выжигал,
И в покое он оставил весь народ.
И никто-то наших Русских не клянет.
Грянем! в голос, в лад ударя по рукам:
Слава батюшке-Царю! хвала полкам!
Слава, слава милосердому!
Слава, слава Царю-ангелу!
Слава, слава верноподданным
Православным храбрым воинам!
О, хвала и вам, бесстрашные
Полководцы и наездники!
Мир и память вам, погибшие
За отчизну, за любезную!
И в Париже, как в Москве теперь у нас,
Веселятся да пируют в добрый час!
Жены, девы, стары, малы, весь народ
Мимо Русских, не боясь, себе идет,
Принимает, как друзей, в домах своих,
Угощает, а не прячется от них.
Грянем, грянем дружно, в громки голоса:
Слава! слава! укротились небеса!
Слава, слава Богу Господу!
Слава, слава Царю-ангелу!
Слава, слава верноподданным,
Православным, храбрым ратникам!
О, хвала и вам, разумные
Воеводы и начальники!
О, ура, ура! Святая Русь!
О, ура! Москва родимая!
В августе 1814 года Александр I уволил Ростопчина с должности московского главнокомандующего, мотивируя свое решение множеством жалоб на него. Император пожаловал его званиями члена Государственного совета и "состоящего при особе государя", но это означало причисление его к сонму московского "неслужащего боярства" и списание в "почетные старцы".
Нервное напряжение многих лет получило выход после отставки; Ростопчин заболел серьезным нервным расстройством, его мучили бессонница, обмороки, приступы ипохондрии. Он уехал на лечение за границу. В Англии, Германии, Франции его чествовали как героя борьбы против Наполеона и поджигателя Москвы. В 1823 году Ростопчин вернулся в Москву, поселился в своем доме на Большой Лубянке и в нем скончался в 1826 году.