У дьяка остался сын Семен, избравший военное поприще и к 1681 году достигший высокого положения полковника стрелецкого войска. Успех вскружил ему голову. Всего лишь дворянин, он пожелал сравняться честью и состоянием с боярами и ближними людьми. Стрельцов он почел неотъемлемой частью своего семейства, вроде крепостных людей, и на их деньги накупил леса, на их подводах привез его в Москву и их руками выстроил себе дом со всеми службами и угодьями. Конечно, строиться в Китай-городе он не осмелился, да там и пустошей уже не осталось, но свое жилище поставил в посаде, в хорошем ровном месте на берегу реки Неглинной. Несколькими годами позже эта местность стала популярной, когда тут поселился фаворит царевны Софьи князь Василий Голицын.
Во времена полковника Грибоедова здесь было относительно спокойно и безопасно. В Китае же мимо боярских дворов было страшно проходить: две-три сотни, а то и тысяча вечно голодных вооруженных челядинцев, обитавших при знатном лице, выскакивали из-за кирпичной ограды — и горе было случайному прохожему! В дальних же посадах, в оврагах Яузы, в болотах Москвы-реки проезжих поджидали настоящие разбойники и убийцы. В стенах города процветали казенные кабаки и злейшие враги казны, тайные торговцы запретным зельем — табаком. Неочищенная, дурного качества сивушная водка и неочищенный, скверный табак быстро одуряли и толкали на самые гнусные поступки. Неудивительно, что почтенные женщины не показывались на улице без двадцати-тридцати сопровождающих, а бояре в бунташный семнадцатый век скоро научились жить в каменных палатах, которые прежде считались вредными для здоровья. Эти жилища со сводами в сажень-две толщиной, с крошечными окошками, холодные и сырые, казались потомкам годными только под тюрьму или амбар. Потомки думали, что в семнадцатом веке просто не умели строить удобное жилье. Но предки знали, что делали, а их мрачные особняки служили им добрую службу, защищая от разъяренной черни, грабителей и соседей.
Дом Грибоедова был попроще, деревянный, но обнесен каменной оградой, как полагалось по царскому указу 1681 года. Зато хозяина сопровождали в церковь десятка два вооруженных стрельцов, и он щеголял в желтых сапогах и цветном платье, сшитом теми же стрельцами, и питался с огородов, устроенных на стрелецких землях и на стрелецкие средства. Впрочем, так жил не один Грибоедов. Все стрелецкие полковники, достигшие этого звания одновременно, в 1681 году, когда оно было впервые введено, обустраивались с возможной роскошью и о безопасности и порядке в столице не беспокоились. А кроме них беспокоиться было некому. Глава Стрелецкого приказа князь Юрий Алексеевич Долгорукий, прежде видный воевода Алексея Михайловича, был уже развалиной от старости и паралича, его сын и товарищ по приказу князь Михаил не пользовался уважением, царь Федор Алексеевич умирал, стрельцы волновались, бояре ссорились, деля будущую власть. Так столица оказалась предоставлена ворам, убийцам и торговцам опойным зельем.
Но едва царь Федор скончался, все оживилось. Стрельцы вдруг потребовали наказания своим полковникам-притеснителям, пригрозив разграбить их дома, если им не вернут отнятые деньги. Боярская дума, еще не выбравшая нового царя, испугалась остаться без военной поддержки и пообещала выдать полковников на расправу, однако патриарх восстал против подобной меры и его послушались — полковников судили. Было за что! Семену Грибоедову читали такое обвинение: «Били на тебя челом великому государю пятидесятники, десятники и рядовые стрельцы твоего приказа: ты чинил им налоги, обиды и всякие тесноты; для взяток и работ бил их жестоким боем, бил батогами, ругательством…; на огороды и деревни свои на всякие работы посылал стрельцов и детей их…; из государева жалованья вычитал у них деньги и хлеб, отпускал с караулов и за то брал деньги…; деньги на стенной караул и запасы из дворцов брал себе… Будучи в походах, делал им также всякие тягости и на их подводах возил свои запасы. Ты… стрельцов обижал и бил их напрасно».
В следующем веке на битье да крохоборство никто бы и внимания не обратил, но в конце семнадцатого правительство было слабо, а стрельцы чувствовали свою силу. В начале мая полковников Ивана Нелидова, Андрея Дохтурова, Павла Глебова и других били батогами, а полковников Александра Карандеева и Семена Грибоедова — даже кнутом. После порки Грибоедова от службы отставили, поместья отняли и сослали в Тотьму. Стрельцы совсем осмелели, новых полковников не признавали, прогоняли, а самых настойчивых взвели на каланчу и сбросили вниз!
В конце концов первый стрелецкий бунт был подавлен. На престол посадили сразу двух царей — Иоанна и Петра (случай даже для России невиданный). Грибоедову земли вернули, но прежнего значения он не достиг и только под конец жизни, в 1719 году, занял маловажное положение воеводы в Костроме. Наказание кнутом его не образумило — своею резиденцией он, по примеру прежнего костромского воеводы Стрешнева, сделал ратушу, чем вызвал гнев построивших ее купцов. Но при императоре Петре их жалобы остались без рассмотрения.
Семен Федорович жил в своей деревне Хмелитах в Вяземском уезде, в ста пятидесяти верстах к востоку от Смоленска. В 1683 году он выстроил там деревянную церковь. Дом же был самым простым, как бы состоящим из трех изб, соединенных сенями. У полковника не было детей, и в 1706 году, еще при жизни, он передал свои владения племяннику Герасиму, сыну его брата Григория. Эта передача глубоко оскорбила его двоюродных братьев Ивана и Алексея, сыновей Андрея Михайловича. Они очень рассчитывали на наследство дьяка Федора, тем более что имели множество детей, а Герасим был холост. Иван Андреевич начал тяжбу из-за земель, и она тянулась без перерыва более века, пока не сошла на нет за смертью всех потомков. Однако из-за нее Герасим не решался всерьез обосноваться в Хмелитах, а занимался хозяйством у себя в имениях и приумножил наследство.
Он побоялся перестраивать усадебный дом, но украсил изнутри по новому вкусу. Все парадные комнаты были обшиты деревянными панелями и затянуты расписным холстом (и потолки тоже). Росписи изображали сцены охоты, ландшафты или ниспадающие занавеси. Все писалось своими же людьми, но по тогдашним понятиям о живописи считалось недурным. Ведь важнее всего было в то время похвалиться: «Оно, правда, не очень хорошо, да писали свои крепостные мастера».
Герасим умер в 1751 году, почти одновременно со своими кузенами Тимофеем, Михаилом и Иваном, сыновьями Ивана Андреевича, и с племянником Алексеем, сыном Тимофея. Сыновья Алексея Андреевича умерли еще раньше, не оставив потомства. Семейное состояние перешло к старшему в роде — Федору, сыну Алексея Тимофеевича. Его дядья — Иван Михайлович и Михаил Иванович — начали новую тяжбу за наследство, продолжая в то же время старую.
Пока одна ветвь Грибоедовых испытывала взлеты и падения, другая прозябала во Владимирской земле. Лукьян Грибоедов, основатель этого рода, владел небольшой деревней, жил неприметно и остался в памяти только своего семейства. Он имел двух сыновей — Семена и Михаила, в пользу которых приобрел в 1647 году половину деревни Назарово с шестьюдесятью четвертями земли. Там они и провели долгие годы, Семен женился на небогатой соседке Аграфене Мякишевой, родил трех сыновей — Никифора, Леонтия и Михаила — и в 1677 году выкупил другую половину Назарова у соседа Александра Коробова. Леонтий Семенович (мы упоминаем только непосредственных предков нашего героя, чтобы не углубляться в гущу ветвей родословного древа) в 1683 году женился на соседке Антониде Михайловне Бокиной, за которой получил сельцо Горки в шестьдесят пять четвертей. В 1707 году, по смерти Семена Лукьяновича, братья разделили свое Назарово, и Леонтию досталось двадцать четвертей.
У Леонтия Семеновича было три сына — Алексей, Владимир и Никифор. Более всех преуспел Владимир Леонтьевич, занявший в конце Северной войны высокий и выгодный пост комиссара во Владимире. Комиссары в то время ведали всей подготовкой к войне: рекрутами, продовольствием, средствами уезда, и в таком богатом городе, как Владимир, должность приносила немалую прибыль. Правда, была опасность пострадать от гнева Петра I за крупные злоупотребления, но Владимир Леонтьевич в них не был замечен. Напротив, Никифор Леонтьевич служил плохо и был отставлен капралом — чин для дворянина просто неприличный. В 1713 году он женился на дочери соседа Козьмы Ивановича Внукова, погибшего в 1701 году в битве при Нарве. В приданое он получил село Федорково, но с условием содержать у себя тещу и двух незамужних сестер жены, а при замужестве выделить им по пятьдесят рублей деньгами.