В первые годы брака молодая жена радовала Александра Васильевича лишь девочками, и только четырнадцать лет спустя, 13 сентября 1739 г., в их семье родился долгожданный мальчик, наследник доблестей отца и всего рода Потемкиных. Это знаменательное событие произошло по обычаям давних времен в бане, которая впоследствии была превращена потомками в каменную беседку. Ему было суждено прославить свою фамилию, повлиять не только на судьбу России, но и войти в мировую историю под славным именем Григория Александровича Потемкина, князя Таврического.

В 1728 г. в связи с тяжелейшими ранениями, которые засвидетельствовали в Медицинской коллегии, А.В. Потемкин был отставлен от военной службы с чином майора и назначен воеводою в Алатырскую провинцию. Всего один год потом, с 1738 по 1739 г., прослужил он в Конторе конфискаций. Желая навсегда покинуть военную службу из-за мучивших его ран, Потемкин явился в Военную коллегию на освидетельствование. Снимая мундир, он среди членов комиссии узнал унтер-офицера, когда-то служившего у него в роте, в бытность его в капитанском чине. Обладавший своенравным характером Александр Васильевич вспылил: «Как? И он будет меня свидетельствовать! Я сего не перенесу и останусь еще в службе, сколь ни тяжки мои раны». И после того пробыл на службе еще два года.

В 1742 г. в документах Герольдмейстерской канцелярии, ведавшей учетом дворян и порядком прохождения ими службы, появилась запись о рассмотрении в Сенате прошения А.В. Потемкина об отставке, которое и было удовлетворено. Он оставил службу с повышением чина, получив звание подполковника, согласно указу царствовавшей в те времена Елизаветы Петровны, дочери Петра Великого. Отдав царю и Отечеству свои силы, молодость и здоровье, Александр Васильевич был отпущен из Москвы в свое имение с пашпортом, в нем говорилось, что «в нынешнем 1742 году октября 13 дня по Ея императорского величества указу, по смотру и по приговору правительствующего Сената маэор Александр Васильев сын Потемкин за старостию, дряхлостию и за раны от всех дел отставлен вовсе, а за службы ево дан ему ранг подполковничей…». Теперь уже никто — ни губернаторы, ни вице-губернаторы, ни воеводы — не имел права «определять к делам» отставного подполковника. Семья Потемкиных поселилась в родовом имении на Смоленщине — селе Чижеве Духовщинского уезда. Оно насчитывало около 20 дворов, где проживало примерно 200 крестьян. Располагалось село по обе стороны речки Чижевки, в нем была деревянная церковь во имя Покрова Пресвятые Богородицы при речке Славицы, построенная в 1703 г. А.В. Потемкиным вместе с неким «Смоленской шляхты ротмистром» Иваном Осиповичем Шельвичем. Храм был небольшой, с деревянной оградой, без колокольни, ее заменял отдельно стоящий навес на столбах, где помещались колокола. Именно в этой церкви был крещен младенец Григорий Потемкин, как, впрочем, и его сестры.

Чижево было скромной усадьбой без особых затей, но зато приспособленной для удобного и спокойного житья. Господский дом изрядной архитектуры возводил, возможно, малоизвестный или даже крепостной архитектор по указаниям самого барина. План дома был согласован с потребностями широкого домашнего быта, и забота об уюте пересиливала стремление к великолепию. И все строилось прочно, удобно и надолго. С высокого балкона помещичьего дома распахивалась великолепная панорама на заречные луга, поля, перелески. Дом был сооружен из очень толстых дубовых брусьев, с первым каменным этажом, где располагались кладовые. Были предусмотрены все необходимые в дворянских деревенских домах комнаты: лакейская, зала, гостиная, спальня, уборная (там одевались хозяева), столовая, детская, девичья и кабинет, сверх того было место для буфета, просторной кладовой и сеней. В деревенской глуши всегда были рады гостям, для них предназначалось несколько всегда чисто прибранных комнат. Стены и потолки в парадных комнатах были затянуты холстом и расписаны красками домашними художниками, на окнах висели шторы из парусины или ситца, мебель обита черной кожей с золотыми гвоздиками.

Помещичьи крестьяне Потемкиных состояли на изделье, т.е. платили за аренду земли долей урожая, занимались хлебопашеством, пчеловодством, рыбной ловлей, а женщины сверх полевой работы упражнялись в рукоделье, пряли лен, шерсть, посконь и ткали холсты и сукна не только для своего употребления, но и на продажу. Не все благополучно было в небольшом владении Потемкиных, о чем свидетельствует запись в делах Московской конторы Сената о розыске беглых крестьян по челобитью четы Потемкиных.

Обычный день в дворянском доме летом распределялся так: обитатели усадьбы вставали рано, часов в семь, в восемь раскладывались в гостиной ломберные столики, облитые чернилами и изрезанные перочинными ножами, на них выкладывались тетради, книги — и начиналось время занятий арифметикой, грамматикой, французским, историей под предводительством матери или сельского дьячка. По традиции, все жившие в усадьбе вместе собирались только к завтраку и обеду. Обедали, как правило, часа в два, затем подавали десерт и фрукты, а потом наступало затишье: одни ложились вздремнуть на кушетку, другие шли читать или отправлялись всей семьей в сад. После чая дети с прислугой снаряжались в дальний путь, отправлялись в лес за грибами и ягодами. Мать семейства шла на кухню, где надо было присмотреть не только за приготовлением ужина, но и за заготовкой запасов на зиму: варили варенье, солили и мариновали огурцы, квасили капусту, коптили мясо.

Помещик же в это время принимал старосту с отчетом о полевых работах, делал распоряжения на следующий день. Для разнообразия в течение дня предпринимались объезды полей, катанья на лошадях, а то сзывали в столовую или к крыльцу дворовых запевал, плясунов и веселились их нехитрым представлением. Когда солнце садилось за ветхими крышами, на горе подымалась пыль столбом, и раздавалось мычание коров, возвращавшихся на ночлег. Вечер для детей проходил быстро среди игр и рассказов нянюшки, то страшных, то веселых. В воскресенье и в церковные праздники вся семья с детьми отправлялась в церковь, а потом наносили визиты соседям. Зимой, когда выпадал снег, к детским забавам добавлялись катание с гор, строительство снежных крепостей, игра в снежки, святочные затеи и другие прелести русской долгой зимы.

По семейным преданиям, Александр Васильевич Потемкин отличался тяжелым характером, а следствием неравенства лет стала необузданная ревность. Сумасбродные подозрения довели его даже до желания опровергнуть брачный союз, от которого было пять дочерей и сын Григорий. Защитником Дарьи Васильевны стал двоюродный брат Потемкина — Григорий Матвеевич Козловский, президент Камер-коллегии. Однако смоленские помещики-соседи Глинки совсем по-другому рассказывали об удивительной семье светлейшего князя. Они вспоминали, что отца Григория Александровича любили и ценили во всем околотке за доброе сердце, за радушную ласку и за патриархальное гостеприимство; и для богатого, и для бедного соседа, у него для всех равно отворялись и двери его дома, и сердце. Мать же князя Таврического для родных и знакомых была законодательницей и в хозяйстве, и в нарядах домашнего изделия. (Тогда еще моды парижские были в необозримой дали от сельских приютов Смоленска.) Как бы то ни было, но соседи Дарьи Васильевны ценили ее здравый ум и доброе сердце, советовались с нею во всех своих семейных обстоятельствах. Без нее не улаживалось ни одно сватовство, ни одна свадьба. От нее перешло и к сыну искусство завораживать сердца приветливым взглядом и живым словом.

О детстве Григория Потемкина нам известно из устных преданий. Осенью, после уборки полей, наступала пора любимого тогдашнего дворянского удовольствия — охоты. Хозяева и гости имения травили зайцев, загоняли волков, захватывали живьем лисиц и, связанных, привозили в село. Часто охотники увлекались, и возвращаться домой бывало уже поздно. Тогда раскидывался лагерь и готовился ужин из пойманной дичи. Соседи, вспоминая затейливую шутку маленького Григория, еще долго рассказывали ее в длинные зимние вечера своим детям и внукам в назидание: «Однажды отец его отправился на охоту с родным дядею его. Охотники заполевались и в сумерки возвращались домой. Луна засеребрилась над лесом. Издали неслись звуки рогов, хлопанья арапниками и песни заливные, верные вестники веселого полевого разгула. Наш молодец, затеяв потешить юную удаль свою, принарядился в медвежью кожу в полном ее виде и притаился под лесом в кустах. На беду дяде довелось ехать прямо мимо этой медвежьей засады. Озорник выскочил, протяжно заревел, испуганный конь шарахнулся, и дядя во весь свой рост ринулся на землю. Крепко журили проказника, а он отвечал: волка бояться, так и в лес не ходить».