Он родился в далекой Архангельской губернии в бедном селе Суре, расположенном на берегу живописной реки Пинеги, в 500 верстах от Белого моря. В этом диком, суровом и малонаселенном краю в древние времена процветало русское монашество. Здесь, на Севере России, прославились своими духовными подвигами св. Трифон Печенгский, Зосима и Савватий Соловецкие, Герман Валаамский и Кирилл Белозерский. С течением времени стремление к подвижничеству стало ослабевать, охладело и усердие русского человека к святым обителям. Многие малые монастыри на Севере прекратили свое существование и превратились в приходские храмы с нетленно почивающими при них мощами угодников Божиих.
У бедных супругов Феодоры и Илии Сергиевых 19 октября 1829 года родился мальчик, на вид такой болезненный, что родители поспешили в тот же день окрестить его, дав имя Иоанн в честь св. Иоанна Рыльского, подвизавшегося на Балканах. Слабенький ребенок быстро окреп и стал здоровым.
Когда мальчику было шесть лет, однажды в горнице он увидел ангела, блиставшего небесным светом, и сильно смутился. Но ангел успокоил его, сказав, что он его Ангел-хранитель, всегда стоящий окрест Иоанна в соблюдение, охранение и спасение от всякой опасности на протяжении всей жизни.
Мальчик Ваня постоянно ходил с отцом в церковь. Отец служил псаломщиком в бедном деревянном сельском храме, где даже богослужебные сосуды были оловянные. Ваня полюбил церковные службы и богослужебные книги и под влиянием родительского воспитания сделался послушным и благочестивым. Мать простая, но твердой веры женщина с детства и до самой смерти была для прославленного священника огромным авторитетом. Стоит привести единственный пример...
Однажды отец Иоанн сильно заболел, это было в начале Великого поста. Врачи объявили, что больному непременно надо принимать сытную скоромную пищу, иначе он умрет. Ему настоятельно рекомендовали есть мясо.
— Хорошо. Я согласен, но только спрошу позволения у своей матери, — ответил больной.
— Где же ваша мать?
— В Архангельской губернии.
— Напишите как можно скорее.
По просьбе больного написали письмо, в котором сын просил благословения матери принимать скоромную пищу в пост. Прошла неделя, другая, больному становилось все хуже. Наконец пришло письмо. «Посылаю благословение, но скоромной пищи Великим постом вкушать не разрешаю ни в каком случае». Отец Иоанн равнодушно принял отказ и был даже, видимо, доволен им, есть мясо отказался, даже рыбы не ел. Ему объявили, что в таком случае он умрет.
— Воля Божия, — ответил батюшка. — Неужели вы думаете, что я променяю жизнь на благословение матери, нарушу заповедь: «Чти отца своего и матерь твою»?
Вопреки предречению врачей, больной поправился.
Известно, что односельчане отца Иоанна еще в мальчике Ване увидели большого молитвенника и часто просили его помолиться в трудных обстоятельствах.
На десятом году жизни родители собрали последние деньги и определили Ваню в Архангельское приходское училище. Учение давалось ему туго: он плохо понимал и запоминал. «Содержание отец получал, конечно, самое ничтожное, жить было страшно трудно, — вспоминал отец Иоанн. — Я понимал уже тягостное положение родителей, и поэтому темнота моя в учении явилась для меня особенно тяжким бременем. О значении учения для моего будущего я мало думал и скорбел только о том, что отец напрасно платит свои последние крохи».
Невесело жилось в чужом городе при крайней бедности. Он рос и учился одиноко — без друзей, без родных, погруженный в себя. Кормили скудно, но ребенок давно привык к тому; плохо, что не было ни книг, ни бумаги. В это время более всего грезил мальчик о том, что, когда вырастет, выведет из нужды и отца, и мать и поможет всем-всем...
«Ночью я любил вставать на молитву, — вспоминал батюшка. — Все спят, тихо. Не страшно молиться, и молился я чаще о том, чтобы дал Бог мне свет разума на утешение родителям. И вот, как сейчас помню, однажды был уже вечер, все улеглись спать. Не спалось только мне, я по-прежнему ничего не мог уразуметь из пройденного, по-прежнему плохо читал, не понимал и не запоминал ничего из сказанного. Такая тоска на меня напала: я упал на колени и принялся горячо молиться. Не знаю, долго ли я пробыл в таком положении, но вдруг точно потрясло меня всего. У меня точно завеса спала с глаз, как будто раскрылся ум в голове, и мне ясно представился учитель того дня, его урок; я вспомнил даже, о чем и что он говорил. И легко, радостно так стало на душе. Никогда не спал я так спокойно, как в ту ночь. Чуть светало, я вскочил с постели, схватил книги и — о счастье! — читаю гораздо легче, понимаю все, а то, что прочитал, не только все понял, но хоть сейчас и рассказать могу. В классе мне сиделось уже не так, как раньше: все понимал, все оставалось в памяти. Дал учитель задачку по арифметике — решил, и учитель похвалил меня даже. Словом, в короткое время я подвинулся настолько, что перестал быть уже последним учеником. Чем дальше, тем лучше и лучше успевал я в науках и в конце курса одним из первых был переведен в семинарию».
Суровая жизнь не убила в ребенке любви к людям, к природе. Природа по-прежнему говорила с Иваном Сергеевым «как друг и как учитель о Боге, вечности и правде». На летние каникулы он возвращался домой. «Идешь сотни верст пешком, сапоги в руках тащишь: потому вещь дорогая. Приходилось идти горами, лесами; суровые сосны высоко поднимают стройные вершины. Жутко. Бог чувствуется в природе. Сосны кажутся длинной колоннадой огромного храма. Небо чуть синеет, как огромный купол. Теряется сознание действительности. Хочется молиться, и чужды все земные впечатления — и так светло в глубине души»...
В семинарии Иван Сергиев был старшим над архиерейскими певчими, самой некультурной, распущенной, пьяной частью бурсы. Выдержки требовалось много... А следовало запастись знаниями, хотя было еще неизвестно, к чему придется применить их. Кончил семинарию первым учеником. За блестящие успехи Иван Ильич Сергиев был принят на казенный счет в Санкт-Петербургскую духовную академию. Произошло это в 1851 году, и в том же году умер его еще не старый отец. Мать и сестры остались на попечении молодого студента.
Управление академии предложило Ивану Ильичу занять должность писаря в канцелярии за девять рублей в месяц. Весь свой скудный заработок он отсылал домой. Письмоводительское место дало, кроме жалованья, еще и уединение. У студента появилась «своя» комната — благо, которого были лишены остальные. Эта комната стала местом первых молитвенных и подвижнических трудов праведника.
Студент Иван Сергиев очень любил гулять в академическом саду и там размышлять и молиться. Привычка совершать молитвенное правило под открытым небом сохранилась у него на всю жизнь. Беседовал он и с товарищами на высокие темы, в частности, о привлекавшей его на старших курсах мечте стать миссионером в далеких странах, например в Китае.
Особых, настоящих друзей у Ивана Сергиева не было. Театров и вечеринок он не посещал, все свободное время посвящал чтению. С благодарностью вспоминал отец Иоанн годы, проведенные в академии: «При слабых физических силах я прошел три школы: низшую, среднюю и высшую, постепенно образуя и развивая три душевные силы — разум, сердце и волю. Высшая духовная школа имела на меня особенно благотворное влияние. Богословские, философские, исторические и разные другие науки, широко и глубоко преподаваемые, уясняли и расширяли мое миросозерцание, и я, Божией благодатью, стал входить в глубину богословского созерцания...»
На последнем курсе академии Иван Сергиев отказался от своей мечты стать православным миссионером среди язычников. Он понял, что в христианском просвещении сильно нуждается и его родной народ. Несколько раз студент Сергиев видел пророческий сон: отчетливо являлся незнакомый собор, в алтарь которого он, священник, входит северными и выходит южными вратами. Посетив в первый раз кронштадтский Андреевский собор, Иван Сергиев сразу узнал в нем храм, увиденный во сне. Он понял, что Промысел Божий зовет его к пастырской деятельности.