Княжна Екатерина Александровна Мещерская, двоюродная сестра Е. Б. Гончаровой, часто бывавшая в ярополецком доме, вспоминала: «Центральную часть дома занимала парадная зала. Направо была приемная, налево комнаты Александра Сергеевича и Натальи Николаевны, кабинет поэта». Очевидно, что только из уважения к памяти поэта мемуаристка могла назвать эти комнаты пушкинскими, что, впрочем, закрепилось в сознании нескольких последующих поколений. Так называемая «пушкинская» комната, судя по ее фотографиям и сохранившемуся облику, представляла собою парадную спальню дома. Об этом свидетельствует наличие в ней спаренных колонн, которые отделяли альков от остальной части помещения. Наталья Николаевна занимала эту памятную ей комнату, когда уже вдовою жила в ярополецком доме.

Главное имение Гончаровых представляло собой редкий образец слияния усадебного комплекса с промышленным. Заводы являлись основой благосостояния семьи, и потому их создатель Афанасий Абрамович, для того чтобы обезопасить фамильное дело на будущее, в конце жизни хлопотал о создании майората — неделимого имения, переходящего из поколения в поколение. Ему удалось добиться своего: в 1778 году был издан специальный указ, по которому никто из наследников не мог ни продавать, ни делить заводы и приписанные к ним деревни. Владельцем становился старший в роде, а остальные могли только пользоваться доходами с заводов. Этот указ осложнил в будущем решение материальных проблем семьи Пушкина и Натальи Николаевны.

Тогда владельцем заводов и распорядителем доходов с майората являлся внук его основателя Афанасий Николаевич Гончаров. Выйдя в отставку, он полностью посвятил себя Полотняному Заводу. Но если дед умел наживать, то внук умел с большим вкусом тратить нажитое. Полотняный Завод был превращен им в великолепную барскую усадьбу со всевозможными затеями, на которые так изобретателен был Екатерининский век. Афанасий Николаевич любил жить широко, ни в чем не отказывая себе и не отставая от виднейших вельмож. Трехэтажный барский дом «покоем», построенный им рядом с фабриками, поражает при первом взгляде своими масштабами, а при внимательном знакомстве — великолепием отделки интерьеров, над которыми трудились и русские, и иностранные мастера. Огромных расходов требовало не только создание всего великолепия усадьбы, но и ее содержание. Да и свой московский дом Афанасий Николаевич поставил на барскую ногу.

Неотъемлемой частью имения являлись собственно заводы, давшие ему основание. История самого рода Гончаровых не просто связана с Полотняным Заводом, но всем обязана ему, начиная со своего зарождения. Когда речь идет о старых русских фамилиях, таких как Пушкины, то история родового поместья следует за историей тех заслуг перед отечеством, которые были вознаграждены их пожалованием. Другое дело, когда речь идет о новом, выслужном дворянстве, а тем более поднявшемся из купеческого сословия, как это и было в случае с Гончаровыми. Заводы дали им состояние, а со временем и права на дворянство, и только после этого могла создаваться собственно дворянская усадьба. Подобное могло произойти лишь в результате Петровских реформ, когда в гору пошли и соединились с «гордым русским дворянством» такие фамилии, как Строгановы, Демидовы и другие, не столь известные и громкие. К ним относились и Гончаровы. Так что по своему рождению Наталья Николаевна принадлежала к так называемому новому дворянству.

Ей едва исполнился месяц, когда тогдашний владелец Полотняного Завода, дедушка Афанасий Николаевич, в сентябре 1812 года неожиданно вернулся из-за границы. В его дневнике читаем запись: «Приехал на Завод в 4-м часу пополудни. Не нашел ни хозяев, ни приказчиков и дом совершенно пустым».

Когда Москва была оставлена французами, Полотняный Завод снова оказался в зоне военных действий. Кутузов повел русскую армию по старой Калужской дороге в убеждении, что Наполеон в надежде на запасы пойдет на Калугу, как и произошло. Сражением под Малоярославцем русские войска сумели оттеснить французскую армию на старую Смоленскую дорогу. Афанасий Николаевич становится свидетелем происходящих событий, что отражается в дневнике, который он неизменно ведет.

«12/24 октября. Суббота. Сей день большое сражение в Малом Ярославце. Город начал гореть, и с сей ночи французская армия начала ретироваться.

13/25 октября. Воскресенье. На Заводе. Сей день сражение в Медыни, где наши три казачьи полка разбили неприятельской корпус, состоящий из 5000 человек, взяли 5 пушек и двух генералов».

Еще через день, во вторник 15 октября, со стороны сражения от села Детчина в Полотняный Завод въехал штаб главнокомандующего фельдмаршала М. И. Голенищева-Кутузова. В те дни А. Н. Гончаров записал в дневнике:

«15/27 окт., вторник. На Заводе. Утром вся дворня и фабричные разбежались с Заводу в разные места. А к вечеру Главная наша армия пришла ко мне на Завод, где учреждена Главная квартира. Я ж, отдав весь свой дом под оную, сам выехал ночевать в Товарково к Петру Антипову.

16/28 окт., середа — в Товарково. По утру рано ездил на Завод в Главную квартиру, был у Светлейшего, коим весьма хорошо был принят, благодарен за порядок нашедшей у меня на Заводе и им даны мне караулы расставить при всех магазеинах и фабриках, также и по садам для сбережения всего имущества. Пробыл я на Заводе до вечера, откуда на ночь опять уехал в Товарково.

17/29 окт., четверг — в Товаркове же. Рано по утру отправился опять на Завод. После обеда вышла армия и Главная квартира в село Адамовское. Провожал Светлейшего, которой для моего збережения оставил мне эскадрон кирасиров на мое содержание и 4 пленных мне отдали с рук на руки. Графа Moroet, St. Air и двух женщин. Был до самого вечера на Заводе, а ночевал опять в Товарково».

Для Полотняного Завода война была окончена. Теперь дневниковые записи А. Н. Гончарова посвящены сражениям в ближайших местах.

Л. Н. Толстой в «Войне и мире» упоминает, как в столичных кругах «обвиняли Кутузова и говорили, что он с самого начала кампании мешал им победить Наполеона, что он думает только об удовлетворении своих страстей и не хотел выходить из Полотняных Заводов, потому что ему там было покойно…». Александр I, вовсе не понимая намерений полководца, но прислушиваясь к подобным суждениям, писал Кутузову: «…ненужное и пагубное отступление Ваше после сражения под Малым Ярославцем до Гончарова уничтожили все преимущества положения Вашего…»

Жители Калуги и ее окрестностей заволновались было из-за приближения неприятеля, так что Кутузов вынужден был отправить из Полотняного Завода послание городскому голове Калуги:

«Государь мой Иван Викулич!

Именем моим поручаю вам успокоить купеческое и мещанское сословия, которые, как я слышал, пустыми слухами приведены в волнение и опасность. Уверьте их, что я ищу дать врагу сражение, но никак не ретируюсь, и что цель моя не в том состоит, чтобы выгнать неприятелей из пределов наших, но чтобы, призвав в помощь всемогущего Бога, изрыть им могилы в недрах России. Уповайте на Бога, молите его о поддержании сил и храбрости нашего воинства, исполняйте ваши обязанности и будьте покойны. Вы есте и будете защищены: в том удостоверяет вас всегда доброжелательный и усердный

Князь Г<оленищев->. Кутузов

16 октября 1812 г.

с. Полотняный Завод».

Судя по дате отправки письма, о пустых слухах рассказал Кутузову не кто иной, как посетивший его в этот день Афанасий Николаевич Гончаров, беспокоившийся о своем имуществе.

17 октября французская армия вынуждена была, как на то и рассчитывал Кутузов, уйти на старую Смоленскую дорогу. Фельдмаршал в тот же день выступил из Полотняного Завода в село Кременское. Русские войска еще недели три проходили через Завод.

На территорию главной усадьбы Гончаровых въезжали через Спасские ворота, к которым с одной стороны и ныне примыкает полотняный завод. С другой стороны стояла церковь Спаса Нерукотворного Образа, построенная в 1736 году, которая была разрушена в советские годы. При ней исторически сложилась и фамильная усыпальница Гончаровых, также разгромленная. Напротив заводских построек располагается конный двор с воротами середины XVIII века, от которых тянется каменная ограда в сторону соседней усадьбы Щепочкиных, буквально сливающейся с гончаровской. В сравнении с домом Гончаровых дом Щепочкиных время и люди пощадили: в нем сохранились фаянсовые печи, лепнина и даже росписи плафонов, выполненные, скорее всего, теми же мастерами, которые некогда отделывали гончаровский дом.