Отец выполнил просьбу сына, а также пожелал взять на время внука к себе. Семен Романович поблагодарил отца за это и написал, что отправить к нему Мишу нет никакой возможности. Этому препятствует горячая любовь к сыну Екатерины Алексеевны. Она не выдержит длительную разлуку, так как не расстается с Мишей ни на час. А когда бывает у родных, «то его с кормилицей и нянькой с собой таскает»15. Роман Илларионович попросил, чтобы Семен Романович приехал к нему с Мишей хотя бы в гости.

Семен Романович решил навестить отца по прошествии жестоких морозов. Он начал закалять сына, приучая к вольному воздуху, «дабы тот не боялся простуды». Но у Миши появился насморк, он стал кашлять. Екатерина Алексеевна так беспокоилась о своем первенце, что не могла спать. Семен Романович опасался, что и она заболеет, а поэтому отъезд был отложен.

В следующем, 1783 году, Екатерина Алексеевна родила дочь, которую назвали Катериной. В связи с этим поездка к деду оказалась невозможной. И тогда Роман Илларионович решил сам приехать в Петербург. В столицу он прибыл в начале лета 1783 года. Наконец-то он увидел долгожданных внука и внучку, сыновей, дочерей и других своих родственников.

Во время пребывания Романа Илларионовича в столице Екатерина II несколько раз приглашала его к себе во дворец. А 22 сентября императрица отметила успешную деятельность Романа Илларионовича в хлопотливой и ответственной должности наместника пожалованием ему ордена Св. Владимира 1-й степени. Осенью того же года Роман Илларионович стал членом Российской академии, инициатором создания и президентом которой была его дочь княгиня Е. Р. Дашкова.

На обратном пути во Владимир Роман Илларионович простудился. К началу ноября он стал поправляться, но затем болезнь обострилась, и 30 ноября 1783 года его не стало. Владимирцы похоронили своего первого наместника в древнем Дмитриевском соборе.

Через двадцать лет старанием Александра и Семена Романовичей на могиле их отца было установлено мраморное надгробие. На нем написано: «Почивающему графу Роману Ларионовичу, генерал-аншефу, сенатору, действительному камергеру, Владимирскому и Костромскому государеву наместнику, орденов Св. апостола Андрея, Александра Невского, Св. Владимира, польского Белого Орла и Св. Анны кавалеру. Родившемуся в 1717 году июля 17 дня, скончавшемуся во Владимире ноября 30 дня 1783 года. Надгробную сию поставили сыновья его графы Александр и Семен Воронцовы в лето 1804 года. Возобновил внук граф Михаил Воронцов в 1841 году».

Могила Р. И. Воронцова — это единственное захоронение в Дмитриевском соборе.

Существует легенда, что будто бы в день своего ангела-хранителя 27 ноября 1783 года Роман Илларионович получил в подарок от Екатерины II большой кошель, чтобы было куда складывать взятки. С легендой связано появившееся позже прозвище Романа Илларионовича «Роман — большой карман». Согласно легенде, Роман Илларионович, получив кошель, очень разволновался. Кошель якобы был знаком того, что императрице известно о его взяточничестве. От волнения он будто бы занемог и через три дня скончался.

До наших дней из одних справочных изданий в другие кочует утверждение, что Роман Илларионович Воронцов «был одним из самых жадных и бесстыдных взяточников своего времени» и что своим лихоимством он довел вверенные ему губернии до крайнего разорения. Если бы это было так, то владимирцы не приняли бы решение похоронить своего первого генерал-губернатора в Дмитриевском соборе. Они не считали Романа Илларионовича ни взяточником, ни разорителем своей губернии. И он не был таковым.

В связи с кончиной Р. И. Воронцова в Петербурге в журнале «Собеседник любителей российского слова, содержащий разные сочинения в стихах и в прозе некоторых Российских писателей» были напечатаны стихи, присланные из Владимира.

Действительно, Роман Илларионович был и правдив, и ревностен, и усерден, и отечеству верен. А прозвище «Роман — большой карман» имеет право на существование лишь с одним смыслом — из своего большого кармана Роман Илларионович черпал средства, чтобы помогать «сирым и убогим».

Если Р. И. Воронцов и заслуживал упрека в том, как он справлялся со своими обязанностями наместника, то, видимо, только в излишней доверчивости к своим подчиненным. Впрочем, при широком распространении взяточничества и казнокрадства в то время уследить за всеми лихоимцами было невозможно.

Трое из пятерых детей Р. И. Воронцова — Александр Романович, Екатерина Романовна и Семен Романович — вошли в историю России как выдающиеся личности, немало сделавшие для блага и славы Отечества. И нет сомнения, что немалая заслуга в этом принадлежит их отцу — графу Роману Илларионовичу Воронцову.

К месту своей службы Семен Романович отправился с семьей 20 сентября 1783 года. Приехав в Венецию и приступив к посольским делам, он увидел, что в крошечной республике делать ему почти нечего. Бездельничать было не в его натуре, и он обратился в Петербург с просьбой перевести его на службу в другое место. Ему было предложено возглавить посольство в Париже или в Лондоне. Семен Романович выбрал Лондон.

Этот выбор был обусловлен тем, во-первых, что в 1760-е годы послом в Лондоне был брат Семена Романовича Александр Романович и там сохранились старые связи с английскими политическими деятелями. Во-вторых, во Франции назревали революционные события, а Семен Романович был противником кровавых общественных катаклизмов. В-третьих, он считал, что в сложившейся в Европе обстановке именно Англия, а не Франция, станет выгодным и надежным союзником России. И он верил, что сумеет содействовать сближению Англии и России. Наконец, он был убежден, что в Англии можно будет дать сыну и дочери наилучшее воспитание и образование.