После смерти Александра Артемьевича Загряжского имение досталось его сыновьям Ивану и Николаю — отцу и дяде Натальи Ивановны Гончаровой. Имение требовало больших затрат, так что Иван Александрович заложил его в 1806 году, незадолго до своей смерти, за 21 тысячу рублей в Московский опекунский совет.
Храм с приделами был и местом упокоения владельцев Кариана. В трапезной при церкви похоронены последние владельцы имения из рода Загряжских — генерал-лейтенант Иван Александрович с женой Александрой Степановной и сыном Александром Ивановичем, действительным камергером. К 1813 году в живых остался только дядя Николай Александрович.
Сюда, к родственникам, перед самым рождением младшей дочери Натальи прибыло семейство Гончаровых, гонимое наступающей французской армией. В конце августа Николай Афанасьевич писал неизвестному корреспонденту:
«Несчастливый переворот политических дел Европы и загоревшаяся неожиданная война в отечестве возвели, наконец, бедствия домашних неустройств наших до той степени, которой, кажется, уже никакие удары судьбы превзойти не в силах. Вам известны они будут в полной мере, когда, думая найти в прародительском доме семейство ваше, с ужасом застаете лишь стены собственности прежней, сделавшейся жертвой вероломных хищников и варваров, столь нагло нарушивших священный союз с Россией! Сии надвинувшиеся громовые тучи на любезный край наш и предчувствия вящих нещастий решили меня, между страхом и надеждою за своих колеблющегося, спасти жену, в то время на сносе беременною и невинных изнемогающих болезнию младенцев от когтей Тигров, соорудивших погибель вселенной.
Итак, для всякой осторожности назначил я дорогим сердцу моему мирным убежищем деревню шурина моего Загрязского, село Кареян, где они теперь все находятся с 19-го числа августа. Служба моя при гражданском губернаторе в Калуге, требуя меня налицо, заставила против воли бросить все заведения наши, ибо естьлиб не был при нем, то по понуждению дворянства идти на ратное поле конечно б и я не миновал участи протчих. Должностным невозможно было в таких смутных положениях получить отпуски, ибо строго запрещалось оставлять город, но выезжать лишь тогда, когда приказано будет губернатору и всей его канцелярии в случае неизбежной опасности и лишь тогда выбираться вместе с присутственными местами. Меня ж, к щастию, по особенному препоручению, освободили выездом прежде, и теперь соединился я уже с моим семейством там же в Кареяне, где ожидаем гибель или спасение. Бога ради, дайте себя видеть и удостовериться нам, что имеем еще близкого сердцу нашему и истинного друга в числе живых. Все те, которые решились принять меры осторожности, отправились в Тамбовскую губернию или в самый город Тамбов; в числе последних выслал туда же сам губернатор Каверин своих детей, так как в край отдаленный от центра России, где и до сих пор все жители спокойны.
Маршрут: из Калуги на Тулу, на г. Богородицк, на г. Козлов, на г. Амбур и в Тамбов, откудова всякой рассказать может дорогу в Село Знаменское, Кареян тож.
Искренной друг по гроб Н. Гончаров».
Его третья дочь появилась на свет 27 августа, на следующий день после Дня святой Натальи, как его празднуют в православии. 28 августа 1812 года Калужская губерния была по приказу М. И. Голенищева-Кутузова объявлена на военном положении.
Губернатор Павел Никитич Каверин, при котором и состоял Н. А. Гончаров, вступил в управление Калужской губернией 19 января 1811 года. Еще в начале августа 1812-го он предписал вооружить жителей и организовать в уездах кордоны для защиты от неприятельских фуражиров и мародеров, а также от беглых русских солдат. С августа по октябрь этими кордонами было убито и взято в плен свыше трех с половиной тысяч человек. Он же руководил и эвакуацией присутственных мест и государственного имущества, а также доставкой продовольствия в действующую армию, организацией госпиталей для раненых и транспортировкой военнопленных. Гончарову было поручено сопровождать казенное добро в Тамбовскую губернию. Туда же были эвакуированы и дети губернатора. Старший его сын, будущий приятель Пушкина Петр Павлович Каверин, узнав о войне с французами, спешно вернулся в Россию из-за границы, прервав обучение в Геттингенском университете, и отправился на театр военных действий.
Наталью крестили в Знаменской церкви, давшей второе название селу. Крестины состоялись на 13-й день по рождению, 8 сентября 1812 года, в праздник Рождества Пресвятой Богородицы, то есть в Натальин день по григорианскому календарю, как он отмечается ныне. Такой выбор дня крещения Натальи Гончаровой, скорее всего, принадлежал ее весьма набожной матери и тезке, чей день рождения приходился непосредственно на 26 августа — Натальин день. Ей явно было хорошо известно, что в католичестве и лютеранстве Натальин день празднуется одновременно с Рождеством Богородицы и именно от него производен, так как Nataliusи означает на латыни рожденнаяили природная.В православии Натальин день ныне отмечается 8 сентября по новому стилю, а Рождество Богородицы — 21 сентября.
По канону отец и мать не должны находиться в храме в момент крещения и могут слышать всё происходящее только из притвора церкви. Впрочем, процедура крещения не изменялась на протяжении столетий. Так, трижды погружая новорожденную в купель, крестит ее священник и, глядя на восток, провозглашает: «Крещается раба Божия Наталья во имя Отца, аминь. И Сына, аминь. И Святаго Духа, аминь. Ныне, и присно, и во веки веков, аминь».
Первый год жизни Натальи прошел в Кариане, хозяевами которого были в ту пору Александр Иванович Загряжский, ее дядя и крестный отец, и брат деда Николай Александрович, живший в Москве. Его жена Наталья Кирилловна Загряжская в начале войны 1812 года приехала в Кариан, а сам он так и остался в Первопрестольной при французах.
Об этом сохранился живописный рассказ в «Записках» графа Ф. В. Ростопчина. Вспоминая о дне, предшествовавшем вступлению французов в Москву, он пишет: «Под утро явился ко мне некий Загряжский, состоявший в должности шталмейстера при имп. Павле. Это был человек очень пошлый, враль и барышник. Он заявил мне, что, так как жена его не прислала ему лошадей из деревни и так как все имущество свое он зарыл в своем саду, то хочет остаться в Москве, чтобы оберегать оное. Я дал ему почувствовать, что он рискует подвергнуться многим неприятностям, но что мне не приходится давать ему ни приказаний, ни дозволений. У человека этого уже был готов свой план. Он остался и представился герцогу Виченцкому, который знал его, потому что покупал у него лошадей во время своего посланничества в России. Он озаботился устройством конюшни Наполеона и фабрики для починки седел французской кавалерии».
Александр Иванович Загряжский не мог отказать в гостеприимстве Наталье Кирилловне, жене своего дяди, тем более в отсутствие ее супруга. То, что она жила с мужем в разъезде, ничего не меняло, так как формально она числилась его женой, а он был одним из владельцев Кариана. Загряжский, в оправдание своего желания остаться в Москве, как раз и говорит Ростопчину о том, что его жена находится в деревне, имея в виду их тамбовское поместье Кариан.
В знаменитых «Рассказах бабушки» Е. П. Яньковой приводится живописная история о некоей Загряжской, в 1812 году также оставшейся в Москве во время занятия ее французами. Выйдя навстречу Наполеону, она вручила ему большие ключи, якобы от Кремля, за что тот пожаловал ей подмосковные голицынские Кузьминки, куда она и въехала. Пушкин писал:
Пришлось Наполеону, за неимением кремлевских, принять те ключи, которые поднесла ему Загряжская. Когда же по оставлении французами Москвы вернулся законный хозяин имения князь Сергей Михайлович Голицын, то она не захотела выезжать. Посланец князя, вернувшись из Кузьминок, докладывает барину: «Там живет новая помещица Загряжская». Голицын в ответ: «Что ты, батюшка, вздор городишь: какая это такая Загряжская, я ее знать не знаю, велите ей выезжать из моего дома, а то я ее по шеям выгнать велю». В несколько иных словах ей было сказано: «Извольте, мол, сударыня, выезжать, князь просит вас честью выехать, а то будет вам неприятность». Она ж в ответ: «Я знать не хочу Голицына: Кузьминки мои, мне их император Наполеон пожаловал». Пришлось послать за становым приставом и так почти силой была выпровожена из Кузьминок их новоявленная владелица. Остается неизвестным, какая это Загряжская и кем она приходилась владельцам Кариана.