Когда Дашковой было всего два года, она потеряла умершую от тифа мать и потом всегда вспоминала о ней с любовью и благоговением, хотя и несколько сентиментально. Марфа Воронцова, урожденная Сурмина, была единственной наследницей значительного состояния. Она вышла замуж за Юрия Долгорукова, капитана гвардии, но могущественная семья Долгоруковых попала в немилость. Они были обвинены в подрыве здоровья молодого царя Петра II, который умер от оспы в 1730 году, императрица Анна сочла их виновными и сослала в Сибирь по совету своего любовника графа Бирона, который установил в России режим террора. Марфа обратилась к императрице Анне, и ее брак с Юрием Долгоруким был объявлен недействительным^[29]. В 1735 году, когда ей было семнадцать, а ему восемнадцать, она вышла замуж за Романа Воронцова и за десять лет родила ему семерых детей: Марию, Елизавету, Александра, Екатерину и Семена (Владимир и Анна умерли в младенчестве). Когда мать скончалась, Дашкова жила в деревне, в семейном поместье, где о ней заботились няня-крестьянка и бабушка с материнской стороны Федосья Сурмина^[30]. Когда ей исполнилось четыре года, принимаемые ею как должное тепло и безопасность закончились и она была послана жить в холодном блеске Петербурга для получения приличествующего ей образования. Дядя вице-канцлер согласился принять девочку. Отныне ее ждала новая, совсем другая жизнь^[31].

Придворная знать строила себе в столице огромные дворцы, и одним из самых больших был дворец Михаила Воронцова. Сначала Дашкова жила в старом доме дяди, который он вскоре заменил на великолепный дворец, возведенный архитектором Бартоломео Растрелли в стиле русского барокко^[32]. Воронцовский дворец обращен фасадом на Садовую улицу, напротив Гостиного Двора, а сады его в то время тянулись до самой Фонтанки. Начатый в 1746 году дворец имел гармонично расставленные колонны и изящную решетку парадного двора — один из самых ранних образцов русской художественной ковки, также творение Растрелли. Юной Дашковой дворец представлялся безрадостной официальной резиденцией, полной золота, слоновой кости, лака и глянца, обставленной во французском стиле: секретеры, украшенные золоченой бронзой, столы с мраморным верхом и стулья резного дерева, обитые шелком и бархатом. Она чувствовала себя потерянной и одинокой в огромных и неприветливых комнатах. Повсюду она видела дорогие произведения искусства — скульптуры, паркетные полы, хрустальные подсвечники, ковры. Стены были увешаны искусно изготовленными клинками дамасской стали, а огромные зеркала без конца отражали блеск и экстравагантность ее нового дома. Позже Екатерина II напишет, что Михаил Воронцов украсил свои комнаты мебелью мадам Помпадур, утонченной фаворитки Людовика XV. Эта мебель якобы была подарена ему в благодарность за профранцузскую политику. На самом деле, посланный груз, состоявший из хорошо подобранного набора шпалер и стульев, которые, возможно, в самом деле когда-то принадлежали Помпадур, канул в морской пучине при перевозке в Россию. Щедрый французский король заменил потерянные предметы новыми шпалерами со сценами из «Дон Кихота», а также серией гравюр, книгами и кабинетом с прекрасной коллекцией медалей^[33]. Дашкова росла в этом роскошном дворце и в Новознаменке, расположенной в 17 верстах от Петербурга на Петергофской дороге — это был загородный дом, который ее дядя купил в 1750 году и перестроил с помощью архитектора Антонио Ринальди.

Несмотря на роскошь, детство Дашковой было одиноким и несчастливым. Она была лишена заботы, нежности и внимания любящих родителей, а воспитание являло собой сочетание потворства и пренебрежения. Дядя был втянут в государственные дела и борьбу за влияние, а вся жизнь тети — светской львицы — проходила в мелких политических и придворных интригах. Они были постоянно заняты своим собственным положением в обществе. Ее отец Роман Воронцов не играл существенной роли в поддержке и воспитании дочери и мало интересовался ее благополучием. Хотя «не было ничего необычного в том, что, по крайней мере в первые годы жизни, дети росли без непосредственного надзора родителей»^[34], отец Дашковой не понимал, насколько она нуждалась в руководстве и как его отсутствие могло сказаться на ее развитии. Она никогда не жила вместе с отцом и никогда не была с ним в доверительных отношениях, а он был слишком увлечен светской и политической жизнью столицы. Озабоченный собственными делами и удовольствиями, он не обращал внимания на ее чувствительность и ум. Дашкова пыталась разумно объяснить такое его отношение: «Мой отец… в молодости любил жизненные удовольствия, а стало быть, мало занимался своими детьми».(14/38). Брат Александр в автобиографии поддержал утверждение Дашковой, что после смерти их матери отец был еще молодым человеком, ведшим веселую жизнь при дворе и в высшем свете. Другие были более прямолинейны и говорили, что Роман Воронцов имел знакомства со многими женщинами, которых предпочитал своим дочерям, и что любовницы растрачивали его деньги. Екатерина II прямо заявила, что он «не любил княгиню Дашкову»^[35].

Роман Воронцов был генералом, сенатором, а затем стал наместником Владимирской, Тамбовской, Пензенской и Костромской губерний. Биографы часто называют годом его рождения 1707-й, но Дашкова права, когда пишет, что он был младшим братом Михаила и родился в 1717 году^[36]. Будучи крупным землевладельцем, он значительно расширил свои имения в результате женитьбы на Марфе Сурминой. Масон и волевой политик, он считал себя просвещенным и образованным человеком. В течение восьми лет Роман Воронцов участвовал в написании новых законов и проведении многих необходимых реформ. В 1760 году он убедил Сенат учредить комитет по разработке нового кодекса законов под председательством трех избранных дворян и трех избранных купцов, но проект застопорился в связи со смертью Елизаветы. Затем, 29 октября 1760 года, он был назначен председателем законодательного комитета, работа которого в 1762 году, в правление Петра III, привела к отмене обязательной государственной службы для дворян. Таким образом, он принял участие в написании «Манифеста о вольности дворянской», который стал важным шагом к модернизации России.

Он был также членом Вольного экономического общества, состоявшего из дворян, поддерживавших изучение агрономии и ремесел. В задачи общества входили изучение и распространение научных знаний, с этой целью оно издавало «Труды». Во втором и пятом их выпусках Роман Воронцов опубликовал статьи «О заведении запасного хлеба» и «О способах к исправлению сельского домостроительства». В последней отмечается необходимость ограничения власти управляющих поместьями — тема, которая была позже развита его дочерью, также ставшей в 1783 году членом общества. Хотя отец не отвечал на эмоциональные и психологические нужды дочери, хотя они часто были в противоположных политических лагерях, но когда речь шла о поместном землевладении, Дашкова разделяла взгляды отца. Во многих смыслах она продолжила его работу в своих публикациях на экономические темы. В 1775 году Екатерина II предала гласности первую часть «Учреждений для управления губерний Всероссийской империи». В результате изменений в административном делении империи обязанности Романа Воронцова как наместника расширились и включили в себя управление дополнительными губерниями. Интересно, что его сын Александр был глубоко вовлечен в формулирование и написание этих реформ, а Дашкова изготавливала карты, отражавшие нововведения. Наконец, Роман Воронцов стал членом Российской академии, основателем и президентом которой была его дочь Дашкова.