"Есть Кони, уж от природы
Такой породы,
Скорей его убьешь,
Чем запряжешь!".
Между тем, царь пытался если не "запрячь", то всячески приручить популярного военного деятеля. В 1831 г. во время личной аудиенции с генералом в Москве он намекнул ему о своем желании вновь видеть его на службе. Ермолову предложили "спокойную должность" в генерал-аудиторате (военном судебном ведомстве), на что тот категорично ответил: "Я не приму должности, которая возлагает на меня обязанности палача". Николай I не придумал ничего лучшего, как назначить Алексея Петровича членом Государственного Совета. Но и сей чисто декоративный пост был не по нему - в прошлом боевой генерал, он обычно подавал мнение "с большинством голосов", откровенно зевал, а подчас и вовсе манкировал своими обязанностями. В 1839 г. Ермолов подал прошение об увольнении (якобы "до излечения болезни") от дел Государственного Совета. Это вызвало неудовольствие Николая I, но тем не менее он был "уволен в отпуск".
Алексей Петрович дожил до глубокой старости. Зиму он проводил в Москве, в собственном деревянном доме по Гагаринскому переулку, недалеко от Пречистенского бульвара, а лето - в подмосковном имении Осоргино. "Какая тишина после шумной жизни! Какое уединение после всегдашнего множества людей!" - записал Ермолов в своем дневнике. Посещавшие Осоргино друзья говорили, что его хозяин, подобно римскому императору Диоклектиану, получал неописуемое удовольствие от выращивания кочанов капусты. Но большую часть времени генерал проводил среди книг своей замечательной библиотеки, которую начал собирать еще с юности. В 1855 г. он уступит это книжное собрание Московскому университету (оно и поныне хранится там). Вот что сообщал тогда он попечителю учебного округа В.И. Назимову: "Библиотека генерала Ермолова составлена из 7 тыс. томов (или несколько более) на французском языке и небольшой части русских и латинских; также собрания хороших топографических карт, не менее 180 экз. Книги хороших изданий и многие иллюстрированные, в числе их известнейшие живописные обозрения или путешествия значительной ценности, все довольно красиво переплетенные. Карты, подкленные в футлярах, и весьма много в листах". Библиотека особенно славилась изданиями по новой и, прежде всего, военной истории, а также политике, словесности, изящным искусствам и путешествиям.
При этом в Ермолове открылся талант самый неожиданный! П.Х. Граббе увидел в его кабинете "книги и карты, разбросанные в беспорядке, горшочки с клеем, картонная бумага и лопаточки: его любимое занятие - переплетать книги и наклеивать карты". "Знаете чем он весь день занимается? - вопрошает зачастивший к генералу великий князь Михаил Павлович. - Переплетением своих книг! Он, говорят, сделался в этом смысле таким искусником, что никакой цеховой переплетчик его не перещеголяет". А историк А.Г. Кавтарадзе указывал, что искусство переплетения книг Ермоловым сравнивали с такими знаменитостями, как Винье и Келлер, и что он написал даже специальное руководство для переплетчика. Руководство это до нас не дошло, зато известно признание самого Алексея Петровича, где он, похоже, как будто удивляется своему новому, сугубо мирному ремеслу. "Ничего не умевши сделать из себя лучшего, - пишет он другу, Н.П. Годейну, - я искусился в этом роде работы, так что если обратили бы меня ранее к полезным занятиям, я мог бы сделаться примечательным кожевником. Надобно убедиться, что нелегко познать способности людей!".
Способность вышучивать и острить, однако, не покидала опального генерала и на склоне лет. Рассказывают, что в 1841 г. Ермолов занемог и послал за своим доктором Выготским, но тот, купаясь в деньгах и славе, пренебрег своими обязанностями и приехал только на следующий день. Между тем Алексей Петрович, оскорбленный небрежностью сего эскулапа, взял себе другого врача. Когда же приехал Выготский, генерал велел ему передать, что он болен и принять его не может.
Во время Крымской войны московское дворянство единогласно избрало престарелого Ермолова начальником Московского ополчения. Через несколько дней генерал получил уведомление об избрании его главой и Петербургского ополчения, а вслед за этим √ начальником ополчений Новгородской, Калужской, Орловской и Рязанской губерний, что свидетельствовало об огромной популярности Ермолова. Он согласился возглавить только Московское ополчение; однако, вскоре отказался и от этой должности, сославшись на свой преклонный возраст.
Последняя известная шутка Ермолова относится уже ко времени окончания Крымской кампании, весьма неудачной для России. Князь А.С. Меншиков (он был главнокомандующим в Крыму), проезжая через Москву, посетил генерала и, поздоровавшись с ним, сказал: - "Давно мы с Вами не видались! С тех пор много воды утекло!" - "Да, князь! Правда, что много воды утекло! Целый Дунай уплыл от нас!" - отвечал Ермолов...
Скончался Алексей Петрович в апреле 1861 г. в Москве, но похоронить себя завещал в Орле, рядом с могилой отца, и "как можно проще". Но панихиду по нему жители Орла устроили грандиозную: церковь, где шло отпевание, площадь и прилегающие улицы заполонили толпы людей. А из Петербурга писали, что после кончины Ермолова "на Невском проспекте во всех магазинах выставлены его портреты, и он как будто воскрес в памяти России в минуту смерти".
Рассказ о дерзком остроумце Алексее Петровиче Ермолове лучше всего завершить его же словами: "О дерзость, божество, перед жертвенником которого человек не раз в жизни своей должен преклонить колена! Ты иногда спутница благоразумия, нередко оставляя его в удел робкому, провождаешь смелого к великим предприятиям!"