В Николо-Бабаевский монастырь Преосвященный приехал 13 октября 1861 года. С ним прибыли: управлявший при нем Кавказским архиерейским домом игумен Иустин, присный духовный сын епископа; ризничий, иеромонах Каллист, из послушников Сергиевой пустыни; иеромонах Феофан, состоявший духовником при Андреевской церкви Ставропольского архиерейского дома, из иноков Никифоровской пустыни Олонецкой епархии, и несколько послушников. Последние состояли на Кавказе под духовным руководством иеромонаха Феофана, который, равно как и игумен Иустин и иеромонах Каллист, пользовался сам советами и духовными наставлениями владыки Игнатия. Таким образом, все лица, прибывшие с Кавказа в Бабаевскую обитель, составляли одну духовную семью, и их дружный образ действий скоро повлиял на весь внутренний и внешний быт обители.

Николо-Бабаевский монастырь расположен на правом берегу реки Волги при впадении в нее небольшой речки Солонины, которая отделяет Костромской монастырский берег от границы Ярославской губернии. За обеими реками в этой смежной губернии монастырь владеет небольшими сенокосными лугами. Жители Ярославля издавна расположены к Николо-Бабаевскому монастырю и с особенным благоговением и верой чтут имеющуюся в нем святыню — чудотворную икону Святителя Николая. По-видимому выгодное положение обители, стоящей на полпути между двумя губернскими городами Ярославлем и Костромой и при одном из первых водных сообщений, должно намекать на материальное благосостояние ее, но на самом деле было не то: пришельцы с Кавказа застали этот общежительный монастырь всего с 60 рублями наличных денег, при двух тысячах рублей долгу, притом пред самым вступлением в зиму, без всякого запаса хлеба и заготовки дров; хлебопашеством в монастыре вовсе не занимались. Благоустроению обители много помогло то обстоятельство, что, еще до приезда Преосвященного Игнатия, бывший настоятель ее игумен Парфений, по собственному желанию и просьбе, был перемещен епархиальным начальством в Надеевскую пустынь той же Костромской епархии, и должность его была сряду занята игуменом Иустином; благочинным монастыря был назначен иеромонах Каллист, а иеромонах Феофан сделан вторым духовником. Чин богослужения, порядки келейного жительства, братская трапеза и жилища, — все было поведено к улучшению. Заведено правильное хлебопашество на земле, принадлежащей монастырю, около 80 десятин, частью болотной, частью наносно-песчаной, для чего была произведена разбивка полей, прорыты канавы для осушки болот и через них болотная вода спущена в Волгу. Начата перестройка келлий, назначенных для самого епископа, капитальное исправление корпуса братских келлий и настоятельских. Корпус этот, с одной стороны обращенный к Волге, — двухэтажный, с другой, внутрь монастыря, — одноэтажный; его нашли нужным сшить поперечными железными полосами, так как он от сырости места и от неравномерной осадки значительно истрескался в этом направлении. Гостиница для приезжающих, расположенная у самой ограды монастыря, была вся переделана внутри и прилично меблирована.

В первый год по прибытии Владыки Игнатия на Бабайки посетил его старинный друг М. Чихачов, и это свидание их было последним в жизни. Обоими признано было, что последнему не надо покидать своего места жительства Сергиевой пустыни, в которую он положил все свое состояние и пользовался в ней всеобщим уважением братства и теми удобствами, какие необходимы были для него в болезненной старости. В конце июня 1862 года приехал в Бабаевскую обитель на жительство родной брат Владыки П. А. Брянчанинов, испросив увольнение от службы с должности ставропольского гражданского губернатора, и поселился в монастыре на правах богомольца.

В мае 1862 года епископ Игнатий посетил Преосвященных: Платона в Костроме, Нила в Ярославле и Иринея в Толгском монастыре близ Ярославля; после этой поездки уже никуда не выезжал из монастыря, кроме прогулки в экипаже по окрестностям монастыря в хорошую погоду. В семь часов утра он пил чай, который признавал необходимостью, как средство, согревающее кровь, и говаривал: «Вот что значит старость, не напившись чаю и Богу неспособно помолиться». С 9 часов принимался за дела, или выходил к Литургии, или осматривал производящиеся работы; принимал посетителей, по большей части крестьян больных, пользовавшихся от Владыки медикаментами (гомеопатией). Таких больных стекалось очень много; один из келейников записывал имена их в книгу, лета и род болезни, а Владыка отмечал, какое кому дать лекарство, число приемов и диету, если таковая оказывалась нужной. Лечение шло успешно, но через три года было прекращено по причине многолюдного стечения больных, нарушавших уединение Святителя. В исходе 12-го часа дня Владыка обедал. Стол его был простой, и кушал он очень умеренно. В 3-м часу кушал чай, к которому всегда призывал кого-либо из братии, и завершал угощение душеспасительной беседой. После вечерни, до 8 часов, принимал всех имевших к нему духовную нужду иноков и послушников, а также и посторонних посетителей. С 8 часов вечера Владыка запирался в своих келлиях; он спал обыкновенно не раздеваясь, на ночь надевал валяные сапоги, по причине болезни ног, издавна простуженных. Такова была обстановка келейной жизни Преосвященного Игнатия на Бабайках.

С приездом Преосвященного Игнатия в монастырь стечение народа к богослужениям значительно увеличилось; церковь Святителя Николая, вмещающая не более 600 человек, стала тесна, вся монастырская братия и окрестные жители стали выражать желание построить новый храм вместо пришедшего в опасное состояние соборного храма Иверской Божией Матери, шестипридельного, в четырех приделах которого уже воспрещено было отправлять богослужение, так как образовались большие трещины по всем направлениям каменных сводов. Явился жертвователь — подрядчик каменных работ, ярославский мещанин Федотов, обещавший всю каменную работу исполнить своими рабочими безвозмездно и дать на начальное действие 1000 рублей. Преосвященный вызвал из С.-Петербурга знакомого ему архитектора, профессора Академии художеств И. И. Горностаева, и передал ему свою величественную идею нового храма, которую тот осуществил в своем проекте. Чтобы разобрать разрушавшийся соборный храм, надо было исходатайствовать через обер-прокурора Святейшего Синода Высочайшее разрешение; а также подлежало Высочайшему утверждению и разрешение постройки нового храма. Между тем, монастырю необходимо было спешить разборкою храма, так как рабочие Федотова, в случае неразрешения, готовились отправиться в Петербург на свои заработки, тогда и Федотов вынужден был бы отказаться от обещанного, что составило бы большую потерю для храмоздателей.

В субботу на первой неделе Великого Поста Государь, по приобщении Святых Тайн, благоволил вспомнить, что у обер-прокурора есть нужные к докладу дела и потребовал представить их. Обер-прокурор, директор его канцелярии, начальник отделения, — все, через руки которых шло дело о Бабаевском храме, были в этот день причастниками. Государь принял во внимание пожертвования Федотова и благоволил разрешить разборку старого храма. В тот же день разрешение было передано по телеграфу через Ярославль в Бабаевский монастырь; вся братия монастыря были причастники, но Владыке об этом было доложено на другой день — в воскресенье Недели Православия после Литургии, которую он совершал сам. Таким образом совершилось достойное замечания событие: первый шаг к сооружению нового храма был сделан лицами, которые все без изъятий только что сподобились причаститься Святых Христовых Тайн, видимый признак благословения Божия на начатое дело. С понедельника 2-й недели поста началась разборка старого храма; дело шло быстро, кирпич заготовлялся на заводах, устроенных при монастыре, добывался на месте дикий камень, который пошел в цоколь здания, распланирована была местность, так как новый храм воздвигался немного далее вглубь берега, размеры фундамента обозначены; твердый грунт не требовал свайных укреплений; предположено было с наступлением весны приступить к сооружению здания; ждали утверждения проекта, которое замедлилось. Министр путей сообщения находил, что архитектурные линии в нем слишком смелы, чтобы могли быть благонадежно исполнены; только по личным объяснениям архитектора Горностаева министерство согласилось на утверждение. Таким образом, проект храма в честь чудотворной иконы Иверской Божией Матери был приготовлен к всеподданнейшему докладу, который, в свою очередь, разными случайностями оттянулся до конца мая, и лишь в 21-е число того месяца, день празднования Божией Матери иконы Владимирской, Государь изволил утвердить проект. «Над построением храма Богоматери, — писал Владыка своему брату, очевиден перст Богоматери. Даруется человекам труждающимся в деле помощь; вместе даруется им побороться с препятствиями и поскорбеть для их же душевной пользы, чтобы очистить дело от примеси тщеславия и других увлечений, чтобы оно было совершено в богомудром смиренномудрии. Таков обычный ход дел, покровительствуемых Богом».