В память о венчании императрица приказала поставить над крестами церквей в Перове и в Барашах позолоченные императорские короны, которые сохранились до наших дней. Оба храма были обновлены и богато одарены императрицей. В Перове появилась драгоценная церковная утварь, новые ризы, воздухи, вышитые самой императрицей золотом и жемчугом. Церковь Вознесения в Барашах совершенно преобразилась, в ней был построен новый иконостас с живописными образами, а пол устлан чугунными плитами, привезенными из Синодального двора. На месте знаменательного чаепития в доме священника, по приказанию Елизаветы, Растрелли выстроил великолепный дом, подаренный Разумовскому.
Позднее в 1744 г. императрица подарила ему и Перово. Елизавета любила посещать это село и оставаться в нем надолго. Здесь Алексей Григорьевич подготавливал для своей августейшей супруги соколиные и псовые охоты, на которых присутствовал весь двор и иностранные министры. В Перово Разумовский выстроил красивый дом, разбил сад в «аглинском вкусе» с дорогими растениями, беседками, фонтанами и статуями, выписанными из Италии. Длинная аллея вела от дома до Измайловского зверинца. Страстная любительница народных песен Елизавета специально ездила в Перово смотреть на хороводы крестьянских девушек. Бесхитростная деревенская музыка многое говорила ее сердцу.
В том же 1744 году Алексей Григорьевич получил графское достоинство. Его реальный политический вес был огромен. 8 апреля 1747 г. саксонец Пецольд доносил в Дрезден: «Все уже давно предполагали, а я теперь знаю за достоверное, что императрица несколько лет тому назад вступила в брак с обер-егермейстером… Влияние старшего Разумовского на государыню до того усилилось после брака их, — продолжал резидент, — что, хотя он прямо и не вмешивается в государственные дела… однако каждый может быть уверен в достижении того, что хочет, лишь бы Разумовский замолвил слово». Еще в 1743 г. граф отправил своего младшего брата Кирилла Григорьевича на два года для обучения за границу, а когда тот вернулся, продвинул его на посты президента академии наук и гетмана Украины. Младший Разумовский. «Он был хорош собою, — писала в мемуарах Екатерина II, — очень приятен в обращении и умом несравненно превосходил брата своего… Я не знаю другой семьи, которая будучи в такой отменной милости при дворе, была бы так всеми любима, как эти два брата».
Брак Елизаветы был, что называется, для двора тайной полишинеля. Императрица слишком по-семейному вела себя с Разумовским, часто посещала Алексея Григорьевича в его покоях, обедала там, на людях застегивала ему шубу и поправляла шапку при выходе из театра в морозные дни. Польский король Станислав-Август Понятовский, описывал в своих мемуарах, как он, еще будучи молодым дипломатом, и находясь в России под покровительством Бестужева-Рюмина, часто гостил в доме канцлера и слышал кулуарные беседы русских политиков. «Сам Бестужев неоднократно настаивал на том, — сообщает Понятовский, — чтобы Елизавета объявила публично о своем тайном браке с Разумовским — империи нужен был наследник по прямой линии». Однако этого русской партии добиться не удалось. Елизавета, несмотря на свою лень и капризы, по свидетельству Екатерины II, обладала глубоким умом. Она ясно понимала, что дети от морганатического брака получат слишком сильных соперников за границей в лице законных наследников Петра I по линии его старшей дочери Анны Петровны, вышедшей замуж за герцога К.-Ф. Голштинского. Это заставило Елизавету избрать цесаревичем своего немецкого племянника Карла Питера Ульриха, получившего при переходе в православие имя Петра Федоровича.
Этот долговязый нескладный юноша доставил Разумовскому своими непристойными выходками много горьких минут. Однажды он провертел дырку в стене своей комнаты, смежной с покоями обер-егермейстера, подставил к ней стулья и несколько вечеров подряд заставлял всех приходивших подсматривать за посещавшей Разумовского Елизаветой. Придворные не могли отказаться, только великая княгиня Екатерина Алексеевна была достаточно высокопоставленной дамой, чтоб открыто воспротивиться дикой выходке супруга. Остальные вынуждены были молча покрываться краской до ушей.
А между тем сцена, которую «зрители» увидели сквозь дыру в стене, с точки зрения современного человека была более чем невинна. Императрица Елизавета в домашнем наряде (т. е. без регалий, орденов и лент) за одним столом ужинала с болевшим тогда Алексеем Григорьевичем, он принимал ее в великолепном шлафроке (род халата, подбитого мехом), накинутом на рубашку. Об этой квинтэссенции «запретного действа» для человека XVIII в. стоит вспоминать всегда, когда речь заходит о разнузданных нравах того времени. Между «неприличным» в современном смысле слова и «непристойным» по понятиям людей эпохи русского абсолютизма пролегает глубокая пропасть. Дело не столько в раскрепощении нравов, сколько в значительном смещении понятий. Императрица была для подданных существом почти божественного порядка и видеть ее запросто, в домашней обстановке мог далеко не каждый.
Выходка великого князя привела Елизавету в гнев и до глубины души оскорбила Разумовского, но даже он не мог высказать цесаревичу своего негодования. С этого времени Алексей Григорьевич, мягко говоря, недолюбливал Петра Федоровича. В последние годы царствования Елизаветы Разумовского оттеснили новые фавориты, сначала Н. А. Бекетов, а потом И. И. Шувалов.
Императрица старела, но не хотела сдавать позиций самой красивой дамы в Европе. Французский дипломат Ж.-Л. Фавье писал, что «никогда женщина не примирялась труднее с потерей молодости и красоты». Одним из средств борьбы с надвигавшимся увяданием Елизавета избрала молодых любовников. Но ее отношения с Разумовским до конца дней оставались дружескими и по-настоящему теплыми. Алексей Григорьевич не ушел в тень, и даже падение канцлера Бестужева-Рюмина, обвиненного в государственной измене, не отразилось на покровителе последнего. Столь почетное и прочное положение было возможно именно благодаря тому, что его с императрицей связывали тайные нерасторжимые узы.
Смерть Елизаветы была для Алексея Григорьевича страшным ударом. По словам саксонского министра графа Г. Брюля, «из всех русских вельмож достойнее всех себя показал фельдмаршал Разумовский, брат гетмана. После кончины императрицы он поверг к стопам нового монарха все свои знаки отличия, испрашивая как единственную милость, оставить за собой из всего огромного имущества одно только имение в Малороссии, где бы мог он провести остаток дней своих». Однако император отклонил его просьбу. В сущности Петр Федорович не был ни злым, ни мстительным человеком, он возвращал в столицу тех, кто подвергся опале в прежние царствования, и пока ни на кого не обрушил своей немилости. Новый государь оставил за Разумовским все его несметное богатство и высокий титул. Казалось бы, Алексей Григорьевич должен был испытывать благодарность к монарху. Но в том-то и была беда Петра Федоровича, что личным поведением он перечеркивал все хорошее, что делал.
Не дав Разумовскому отставки, император завел привычку каждый вечер посещать графа в его огромном Аничковом доме, чтоб выкурить трубку и по-приятельски выпить пива с вдовцом своей тетки. Ему даже не приходило в голову, что Алексей Григорьевич не в восторге от таких визитов. И дело не в том, что граф не курил табака, а пиву предпочитал «сладкие украинские водки». Пренебрежение к элементарным правилам приличия во время похорон покойной государыни и траура по ней в глазах современников выглядело как глумление над памятью Елизаветы. А этого Разумовский снести был не в силах. Возражать он не мог, но и видеть не желал. Поэтому Алексей Григорьевич снова и снова повторяет просьбу об отставке. Наконец, во время одного из приездов императора, граф подарил ему трость, украшенную драгоценными камнями, попросил принять миллион рублей и вновь завел речь о желании удалиться от двора. Манифест о вольности дворянства был уже подписан, и Петр вместе с дарами принял отставку Разумовского.