Тамбовский Кариан и волоколамский Ярополец были главными имениями, оставшимися после смерти в 1821 году Николая Александровича Загряжского. По полюбовному разделу с сестрами Наталья Ивановна Гончарова получила Ярополец, а родовой Кариан оказался в совместном владении Софьи Ивановны и Екатерины Ивановны. Хотя окончательный раздел был закреплен в 1823 году, с лета 1821-го Наталья Ивановна с детьми могла бывать в Яропольце, так что с ним уже на десятом году жизни познакомилась Наталья Николаевна.
Ярополец впервые упоминается в 1136 году как укрепленный пункт князя Ярополка Владимировича, сына Владимира Мономаха. Владея в ту пору Ростовом и Суздалем, Яро-полк использовал Волок Ламский в борьбе с Новгородом. От его имени и произошло название Яропольца. Долгое время село принадлежало Иосифо-Волоколамскому монастырю, пока его не выкупил Иван Грозный и Ярополец не стал на время государевым селом, местом царской охоты. В 1684 году Ярополец с ближайшими деревнями с тысячей дворов и землями, к ним приписанными, был пожалован царевной Софьей, правительницей при малолетних царях Иване и Петре, украинскому гетману Петру Дорофеевичу Дорошенко после того, как он отрекся от гетманства и принял сторону Москвы. Здесь бывший гетман прожил последние 14 лет своей жизни, здесь умер и был похоронен.
Двадцать четвертого августа 1833 года Пушкин, заехав в Ярополец, посетил могилу П. Д. Дорошенко и на другой день написал из Москвы Наталье Николаевне о теще: «Она живет очень уединенно и тихо в своем разоренном дворце и разводит огороды над прахом твоего прадедушки Дорошенки, к которому я ходил на поклонение».
Дорошенко был женат на Агафье Борисовне Еропкиной, которая родила ему троих сыновей. После его смерти село было поделено между двумя наследниками — старшим Александром и младшим Петром. Средний сын Алексей, учившийся в то время за границей, участия в разделе не принял. Александру досталась юго-западная часть вотчины, отошедшая впоследствии Загряжским, а от них Гончаровым. Петр же получил северо-восточную часть отцовских владений, которую он продал в 1717 году графу Григорию Петровичу Чернышеву. Так сложилось существующее и поныне разделение Яропольца на две части — гончаровскую и Чернышевскую.
Бывший в молодости денщиком Петра Великого, Григорий Чернышев всей своей жизнью и карьерой служил наглядной иллюстрацией принципов, провозглашенных царем-преобразователем, среди которых — продвижение по службе людей не по знатности рода, а в соответствии с личными заслугами. Настоящая фамилия Чернышева — Чернецкий, и был он из мелкой шляхты, родом с Украины. Его сын Захар Григорьевич приумножил славу отца, отличившись в царствование императрицы Елизаветы Петровны взятием Берлина в 1760 году во время Семилетней войны (1756–1763) и дослужившись до генерал-фельдмаршала. Назначенный вскоре генерал-губернатором Москвы, он привлек к строительству своего имения замечательного зодчего М. Ф. Казакова, бывшего тогда главным архитектором Москвы, возглавлявшим комиссию по ее застройке. В создании архитектурного комплекса ярополецкой усадьбы участвовал и архитектор В. И. Баженов с учениками.
При Пушкине этой частью Яропольца владел внук фельдмаршала Григорий Иванович. С родственниками и соседями Гончаровых по Яропольцу Пушкины также состояли в родстве. Григорий Иванович Чернышев доводился троюродным братом матери Пушкина Надежде Осиповне.
По семейным преданиям, для проектирования господского дома Александра Петровича Дорошенко якобы был приглашен Карло Бартоломео Растрелли, строивший тогда придел в соборе расположенного поблизости Новоиерусалимского монастыря, а тот прислал для осмотра местности своего сына, будто бы снявшего план и отвезшего его отцу. Однако это, скорее всего, одна из легенд, рождавшихся тогда, когда имя действительного архитектора оставалось неизвестным. Стиль постройки в Яропольце далек от тех барочных сооружений, которые связываются с именем строителя Воскресенского Смольного монастыря и Зимнего дворца в Петербурге. Скорее, по всем внешним признакам, его проектировал кто-то из зодчих школы Баженова и Казакова, строивших и Чернышевскую усадьбу.
Старший сын гетмана Александр Петрович Дорошенко женился на Прасковье Федоровне Пушкиной, дочери Федора Матвеевича Пушкина, а их дочь Екатерина вышла за Александра Артемьевича Загряжского, деда Натальи Ивановны Гончаровой. Именно по этой длинной цепочке Ярополец, пожалованный некогда гетману Дорошенко, достался в конце концов Наталье Ивановне, а после ее смерти перешел в род Гончаровых. Вследствие брака между А. П. Дорошенко и П. Ф. Пушкиной в жилах Натальи Николаевны текла и кровь Пушкиных, а значит, она состояла в родстве с Александром Сергеевичем не только по линии Гончаровых, но и по линии Загряжских. Насколько оно было далеким?
Пушкины и Загряжские, представители древних фамилий, могли, как говорится, счесться родством. Имя Федора Матвеевича Пушкина вошло в историю России петровского времени и не однажды в стихах и прозе было помянуто Пушкиным. Он писал в статье «Опровержение на критики» о представителях своего рода конца XVII века: «При Петре они были в оппозиции, и один из них, стольник Федор Алексеевич, был замешан в заговоре Циклера и казнен вместе с ним и Соковниным». Давно уже замечено, что здесь Пушкин описался, назвав Федором Алексеевичем Федора Матвеевича. Позднее, в «Начале автобиографии», он называет правильно его и его отца: «…окольничий Матвей Степанович (подписался. — В. С.)под соборным деянием об уничтожении местничества (что мало делает чести его характеру). При Петре I сын его, стольник Федор Матвеевич, уличен был в заговоре противу государя и казнен вместе с Циклером и Соковниным». В стихотворении «Моя родословная» поэт имел в виду именно его:
Академик С. Б. Веселовский комментирует эти строки с точки зрения историка: «Выражения „оппозиция“ Пушкиных деятельности Петра I и „неукротимость“ родни Ф. М. Пушкина представляются неудачной и неверной характеристикой сообщников Алексея Соковнина и Ивана Цыклера. Немного дерзко звучит и выражение, что Ф. М. Пушкин был повешен (не повешен, а обезглавлен) за то, что „не поладил“ с Петром I». Веселовский полагал, что поэт не был осведомлен о том, какое участие приняли Пушкины, то есть «неукротимая родня», в заговоре против Петра I. Он доказывает, что они явились всего лишь второстепенными его участниками, хотя и пострадали при его раскрытии. Ф. М. Пушкин, женившись на дочери Алексея Соковнина Пелагее (у Пушкина ошибочно «дочь Цыклера»), попал в среду сторонников старомосковского уклада жизни. Отец «не поладившего» с царем, боярин Матвей Степанович Пушкин, тогда самый крупный представитель своей фамилии на государственной службе, был после казни сына сослан в Енисейск, лишен боярства и имущества. Малолетнего внука Федора он взял с собой в Сибирь, где оба вскоре скончались. Дядя казненного, боярин Яков Степанович, хотя его вина не была доказана, также был удален из Москвы — сначала на Белоозеро, а затем в свою касимовскую деревню, в которой вскоре и умер. За неимением мужского потомства эта ветвь Пушкиных вовсе угасла. Таким образом, эта оппозиция, как писал Веселовский, «вывела навсегда весь род Пушкиных из среды московской знати и из правящих верхов государства».
Пушкин не случайно в набросках статьи «Опровержение на критики» включил в план автобиографии сюжет «казненный Пушкин» с именами, ключевыми для понимания истории своего рода, какой она ему представлялась: «Рача, Гаврила Пушкин. Пушкины при царях, при Романовых. Казненный Пушкин. При Екатерине II. Гонимы. Гоним и я». Заключительные пункты этого плана объясняют определенную избирательность сюжетов из истории пушкинского рода, на которых поэт останавливает свое внимание и в некотором смысле тенденциозно акцентирует их разработку для читателей. Он выделяет прежде всего тех родственников, которые вошли в общую или частную семейную историю как гонимые, подвергшиеся опалам и казням. В своей собственной судьбе он видит развитие этой роковой семейной темы.