И, наконец, о порядочности Аракчеева свидетельствуют чистые подписанные бланки указов Александра I, которые царь оставлял Аракчееву, уезжая из столицы. Временщик мог использовать эти чистые бланки в своих целях для расправы с неугодными, ибо врагов у него было достаточно. Но ни один из доверенных царем бланков не был использован Аракчеевым в личных целях.
Современные исследователи часто характеризуют его как одного из наиболее эффективных в отечественной истории администраторов и считают, что он был идеальным исполнителем, способным воплотить в жизнь грандиозные предначертания.
«Аракчеев, верующий и благочестивый с молодых лет православный христианин, одаренный блестящими организаторскими способностями и административным талантом и, что, наверное, самое главное, трудившийся не ради корысти и славы, а так же, как и Император, следуя своему нравственному долгу… такой сотрудник был бесконечно нужен Александру»
Влияние Аракчеева на дела и его могущество продолжалось во все царствование императора Александра Павловича. Будучи влиятельнейшим вельможей, приближенным государя, Аракчеев, имея орден Александра Невского, отказался от пожалованных ему других орденов: в 1807 г. — от ордена Св. Владимира, а в 1808 г. — от ордена Св. апостола Андрея Первозванного, и только оставил себе на память рескрипт о пожаловании. Также не принял он и чин генерал-фельдмаршала (1814 г.), хотя заслуги его в антинаполеоновских войнах были велики. Алексей Андреевич награжден был также прусскими орденами Черного и Красного Орла I ст., австрийским орденом Св. Стефана I ст., а также упомянутым выше портретом, бриллианты из которого вернул.
Говорят, будто бы император Александр Павлович пожаловал мать Аракчеева статс-дамою. Алексей Андреевич отказался и от этой милости. Государь с неудовольствием сказал: «Ты ничего не хочешь от меня принять!» «Я доволен благоволением Вашего Императорского Величества, — отвечал Аракчеев, — но умоляю не жаловать родительницу мою статс-дамою; она всю жизнь свою провела в деревне; если явится сюда, то обратит на себя насмешки придворных дам, а для уединенной жизни не имеет надобности в этом украшении». Пересказывая об этом событии приближенным, Алексей Андреевич прибавил: «Только однажды в жизни, и именно в сем случае, провинился я против родительницы, скрыв от нее, что государь жаловал ее. Она прогневалась бы на меня, узнав, что я лишил ее сего отличия».
Именем Аракчеева назван был подшефный ему Аракчеевский, позднее — Ростовский гренадерский принца Фридриха Нидерландского полк.
Александр I скончался 19 ноября 1825 г. Аракчеев не принял участия в подавлении восстания декабристов, за что и был отправлен в отставку Николаем I. По другим сведениям, Аракчеев сам отказался от настоятельных просьб нового императора о продолжении службы.
Как бы там ни было, 20 декабря 1825 г. он был освобожден не благоволившим к нему Николаем I от дел Комитета министров и исключен из состава Государственного совета, а в 1826 г. отстранен от начальства над военными поселениями. Уволен он был в бессрочный отпуск для лечения и на службе числился до 1832 г. Аракчеев уехал за границу и самовольно выпустил там издание конфиденциальных писем к нему Александра I, вызвавшее скандал в российском обществе и правительственных кругах.
Преданный друг монархов Павла и Александра, достигший в их царствование невиданных высот, Аракчеев последние годы жизни посвятил своему имению Грузино. Вернувшись в 1827 г. в имение, Александр Андреевич занялся его обустройством, открыл госпиталь, занимался созданным им ранее крестьянским заемным банком, пытался в соответствии со своими представлениями регламентировать быт крепостных. Его стремление создать во всех отношениях образцовое хозяйство привело к самым благоприятным результатам. Начало строительства Грузина ознаменовал самый яркий и блестящий период расцвета русской усадьбы. Эта усадьба была лучшей для своего времени. Теперь от парадиза на берегу р. Волхов не осталось даже руин — все постройки уничтожены в ходе боевых действий 1941–1944 гг.
Сохранив звание члена Государственного совета, Аракчеев отправился путешествовать за границу; его здоровье уже было надломлено. В 1833 г. Аракчеев внес в государственный заемный банк 50 000 руб. ассигнациями, с тем чтобы эта сумма оставалась в банке девяносто три года неприкосновенною со всеми процентами. Три четверти из этого капитала должны быть наградой тому, кто напишет к 1925 г. (на русском языке) лучшую историю царствования Александра I. Остальная четверть предназначена на издержки по изданию этого труда, а также на вторую премию, и двум переводчикам по равной части, которые переведут с русского на немецкий и на французский языки удостоенную первой премии историю Александра I. Аракчеев соорудил перед соборным храмом своего села великолепный бронзовый памятник Александру, на котором сделана следующая надпись: «Государю-Благодетелю, по кончине Его».
Последним делом Аракчеева на пользу общую было пожертвование им 300 тыс. рублей для воспитания из процентов этого капитала в Новгородском кадетском корпусе бедных дворян Новгородской и Тверской губерний, а также 50 тыс. руб. Павловскому институту для воспитания дочерей дворян Новгородской губернии. После смерти Аракчеева Новгородский кадетский корпус получил наименование Аракчеевского в связи с передачей ему имения Аракчеева и капитала в размере 1,5 млн руб. Еще в 1816 г. Александр I утвердил духовное завещание Аракчеева, поручив хранение завещания Правительствующему сенату. Завещателю предоставлено было избрать наследника, но Аракчеев не исполнил этого. Николай I признал за лучшее средство отдать навсегда Грузинскую волость и всю принадлежащую к ней движимость в полное и нераздельное владение Новгородскому кадетскому корпусу, с тем чтобы он обращал доходы, получаемые с имения, на воспитание благородного юношества и принял имя и герб завещателя.
Здоровье Аракчеева между тем слабело, силы изменяли. Николай I, узнав о его болезненном состоянии, прислал к нему в Грузино лейб-медика Вилье, но последний не мог уже помочь, и накануне Воскресения Христова, 21 апреля (3 мая) 1834 г., Аракчеев скончался, «не спуская глаз с портрета Александра, в его комнате, на том самом диване, который служил кроватью Самодержцу Всероссийскому». Он все кричал, чтобы ему продлили жизнь хотя бы на месяц, наконец, вздохнув, проговорил: «Проклятая смерть», — и умер.
Перед похоронами на него надели холщовую рубашку, в которой умер император Александр, и облекли в парадный генеральский мундир.
Прах выдающегося военного и государственного деятеля, графа и кавалера Алексея Андреевича Аракчеева был похоронен в селе Грузино. О своей кончине и погребении граф Алексей Андреевич позаботился задолго до смерти. Гробница с эпитафией была подготовлена внутри столичного на вид Андреевского собора рядом с памятником императору Павлу. На похороны вызван был Аракчеевский полк и артиллерийская батарея.
Останки Аракчеева были найдены в результате раскопок в 2009 г. Обсуждались предложения перезахоронить их в Александро-Невской лавре в Санкт-Петербурге, где покоятся многие соратники Аракчеева, а также в древнем Свято-Юрьевом монастыре XII в. близ Великого Новгорода. В конце 2008 г. администрация и общественность Чудовского района, на территории которого находится Грузино, обратились к руководству области с просьбой передать останки для повторного захоронения в бывшем графском имении.
С детства угрюмый и необщительный Аракчеев оставался таким и в продолжении всей жизни. При недюжинном уме и бескорыстии он умел помнить и добро, когда-либо кем ему сделанное. Кроме угождения воле монаршей и исполнения требований службы, он ничем не стеснялся. Суровость его нередко вырождалась в жестокость, и время его почти безграничного владычества (последние годы первой четверти XIX в.) характеризовалось своего рода террором, так как все трепетали перед ним. Вообще память по себе он оставил недобрую.