Не имея своего постоянного угла, семья Григорьевых несколько лет кочевала по Москве. Началась совместная жизнь родителей Аполлона с центра города. «Девица» Татьяна Андреевна проживала в доме вдовы А.С. Щеколдиной, который не сохранился; он стоял на углу Большого Палашевского переулка, на месте нынешнего дома № 2, и переулка Большого Козихинского. Именно в этом доме родился Аполлон. Крестили его в церкви Иоанна Богослова, расположенной между Тверским бульваром и Большой Бронной, как бы в продолжении Богословского переулка; в советские годы церковь была в ужасном состоянии, полуразрушена; ныне она восстановлена, приятно сияет новизной. По случайному стечению событий в этой церкви за 10 лет до Аполлона крестили А.И. Герцена. Крестной матерью Аполлона стала хозяйка дома А.С. Щеколдина, а крестным отцом – «квартальный надзиратель Гавриил Михайлов Ильинский».
В конце 1823-го или в начале 1824 года, возможно, из-за смерти сына Николая, родители перебрались в дом купца-раскольника И. И. Казина (Ап. Григорьев писал «Козин»), в большой двухэтажный дом, сдававшийся жильцам: кроме Григорьевых в нем жили еще чуть ли не 30 человек. Он и ныне существует (Малый Палашевский пер., 6) — почти радом с Тверской. Отсюда родители водили трехлетнего Аполлона смотреть процессию с гробом Александра I, следующую из Таганрога в Петербург, — Григорьев писал, что помнит это событие как бы «сквозь сон».
После смерти дочери Марии в 1827 году родители переехали почему-то на окраину, в Замоскворечье. Возможно, чтобы быть подальше от мест, пробуждающих тяжелые воспоминания. А может быть, их тянуло на свежий воздух, в мир садов и пустырей. Они сняли часть дома у штабс-капитанши О.Д. Ешевской, вдовы с двумя дочерьми. Дом вместе с подобным соседним одиноко стоял в Малом Спасоболвановском переулке; оба они не сохранились, находились на месте современного административного корпуса кондитерской фабрики «Рот-Фронт» (дом № 13/15; переулок теперь называется 2-м Новокузнецким). Напротив дома, на противоположной стороне переулка (дом № 10) находится церковь Спаса Преображения на Болвановке, давшая названия окрестным переулкам. В советские годы она, как и церковь Иоанна Богослова, была в разрушенном состоянии, ныне замечательно восстановлена во всей былой красе.
На купеческой и разночинной окраине Москвы два дворянских дома выглядели инородцами. Вот как описывает новое жилье родителей Ап. Григорьев: «Как теперь видится мне мрачный и ветхий дом с мезонином, полиняло-желтого цвета, с неизбежными алебастровыми украшениями на фасаде и чуть ли даже не с какими-то зверями на плачевно-старых воротах, дом с явными претензиями, дом с дворянской амбицией». А хозяин второго дома, «племянник вдовы, жил где-то в деревне, и дом долго стоял опустелый, только на мезонине его в таинственном заключении жила какая-то его воспитанница. И об этом мезонине, и об этой заключеннице, и о самом хозяине пустого дома, развратнике по сказаниям и фармазоне, ходили самые странные слухи».
Так Григорьев уже в раннем детстве столкнулся с темными и заманчивыми слухами и легендами, да он и сам по своей натуре страстно тянулся к таким слухам и легендам. С другой стороны, окраина, за которой располагались заводы и фабрики, впервые показала мальчику тогдашний рабочий люд.
За домом Ешевской находился большой сад, простиравшийся до Зацепы и отделявшийся от нее гнилым забором. Аполлон наблюдал сквозь щели забора, «как собирались и разыгрывались кулачные бои, как ватага мальчишек затевала дело, которое чем дальше шло, тем все больше и больше захватывало больших. О! как билось тогда мое сердце, — вспоминал Григорьев, — как мне хотелось тогда быть в толпе этих зачинающих дело мальчишек, мне, барчонку, которого держали в хлопках» (то есть в вате, в хлопке). «А в большие праздники водились тут хороводы фабричными».
В 1831-м или в начале 1832 года родители купили дом в том же Замоскворечье, но немного западнее, на улице Малая Полянка, и ныне благополучно существующей в относительно патриархальном виде, хотя и в нее вторглось современное многоэтажное строительство именно в квартале Григорьевых. И как раз дом Григорьевых, который так много видел на своем веку, был снесен в 1962 году, участок долго стоял пустым, как будто вырвали зуб, — все дома вокруг спокойно существовали, а тут — пустырь. Потом здесь построили унылый многоэтажный дом. Это дом № 12. Взорвали еще в тридцатых годах и церковь Спаса Преображения в Наливках, приходскую церковь Григорьевых, находившуюся в конце Малой Полянки, через несколько участков от дома родителей Аполлона. На фотографии 1915 года, где дом снят с севера, от центра города, за соседним домом хорошо видна колокольня церкви. А сейчас там тоже понастроены унылые коробки домов, и так как церковь взорвали до основания, то ее уже не восстановить. Сохранилось только легкое возвышение — это место сейчас занимает детская площадка во дворе между «строениями» 1 и 2 дома № 17/1 по 1-му Спасоналивкинскому переулку; у холмика можно видеть остатки церковного фундамента, а остатки церковной ограды сохранились на тротуарах у угла названного и Казанского переулков.
Дом Григорьевых был достаточно вместительным, как описывал Фет: каменный подвал с кухней и помещением для дворни; затем основной этаж, деревянный, состоящий из передней, коридоров и шести комнат (зала, гостиная, столовая, спальня, девичья, одна комната без названия — бывшая детская); наконец, вместительный мезонин под крышей, где были два отдельных помещения, в каждом по большой комнате, да еще с отгороженными спаленками.
К дому примыкали сад и довольно большой двор, где были и конюшня (отец стал держать пару лошадей), и коровник — корова приносила хозяевам свежие молоко, сливки, масло. Отец, видимо, поправил свое положение в чиновничьем мире — покупка дома с усадьбой тому верное доказательство.
В феврале 1822 года Александр Иванович поступил в Московскую казенную палату, а в ноябре, значит, вскоре после рождения Аполлона, стал штатным секретарем 2-го Департамента Московского городового магистрата. В 1842 году, в год окончания Аполлоном университета, отец все еще служил в этой должности, имея чин 9-го класса — титулярного советника (который давал право лишь на личное дворянство, а не на потомственное). Видимо, вскоре он вышел на пенсию, так как в московском адрес-календаре на 1846 год его уже нет в числе служащих.
Материальная жизнь семьи в тридцатых годах уже наладилась. А.А. Фет, пять лет (1839—1844) проживший на хлебах у Григорьевых, застал Александра Ивановича уже в достаточном довольствии: «Жалованье его, конечно, по тогдашнему времени было ничтожное, а размеров его дохода я даже приблизительно определить не берусь. Дело в том, что жили Григорьевы, если не изящно, зато в изобилии, благодаря занимаемой им должности. Лучшая провизия к рыбному и мясному столу появлялась из Охотного ряда даром. Полагаю, что корм пары лошадей и прекрасной молочной коровы, которых держали Григорьевы, им тоже ничего не стоил».
Крепостной дворни у Григорьевых было вначале четыре человека: кучер Василий, его жена Прасковья (старшая нянька и кухарка; она была вольной, но, овдовев, вышла по страстной любви за непутевого Василия и тем самым сама себя закрепостила), слуга Иван, младшая нянька и горничная Лукерья, да еще в дом были взяты из деревни дети, специально для Полошеньки — почти ровесник ему Ванюшка и чуть постарше Марина. Когда отец стал более зажиточным, он еще купил повара Игнатия. Лукерья тогда стала женой повара.
Жизнь родителей шла почти в обломовском духе, если не считать службы Александра Ивановича и потому необходимости приноравливаться к часам. Вставал хозяин рано, в начале восьмого, вскоре вставала и Татьяна Андреевна. Иван ставил самовар, Лукерья шла одевать и обувать Полошеньку (вот уж где была чистая обломовщина: мальчика одевали до тринадцатилетнего возраста). А когда Аполлон подрос, как вспоминал Фет, он уже сам будил родителей: садился в зале за рояль и сонатами заменял будильник. Семья собиралась в столовой, пила чай, Аполлону отец наливал большую кружку и клал немыслимо много сахару.