Сделавшись иеромонахом, о. Серафим возымел намерение совсем поселиться в пустыни, так как пустынническая жизнь была его призванием и назначением свыше. К тому же от непрестанного келейного бдения, от постоянного стояния в церкви на ногах, с небольшим отдыхом во время ночи, о. Серафим впал в недуг: у него распухли ноги и на них открылись раны, так что некоторое время он лишился способности священнодействовать. Болезнь эта была немалым побуждением к избранию пустыннической жизни, хотя для отдыха следовало ему просить у настоятеля о. Пахомия благословения удалиться в больничные кельи, а не в пустыню, то есть от меньших трудов к большим и тягчайшим. Великий старец Пахомий благословил его. Это было последнее благословение, полученное о. Серафимом от мудрого, добродетельного и почтенного старца, ввиду болезни его и приближения смерти. Отец Серафим, хорошо помня, как во время его болезни ходил за ним о. Пахомий, теперь сам служил ему с самоотвержением. Раз о. Серафим заметил, что к болезни о. Пахомия присоединилась еще какая-то душевная забота и печаль.

— О чем, отче святый, так печалишься ты? — спросил его о. Серафим.

— Я скорблю о сестрах Дивеевской общины, — ответил старец Пахомий, — кто их будет назирать после меня?

Отец Серафим, желая успокоить старца в предсмертные минуты, обещался сам назирать их и поддерживать все так же после смерти его, как было при нем. Это обещание успокоило и обрадовало отходящего ко Господу о. Пахомия. Он поцеловал о. Серафима и затем вскоре опочил мирным сном праведника. Отец Серафим горько оплакал потерю старца Пахомия и с благословения нового настоятеля о. Исайи, также горячо любимого, удалился в пустынную келью (20 ноября 1794 да), в день прихода в Саровскую пустынь.

Келья, или так называемая пустынка о. Серафима, в которой он спасался, находилась в дремучем сосновом лесу, на берегу реки Саровки, на холме, в пяти или шести верстах от монастыря, на восход зимнего солнца. Она состояла из одной хаты с печкой и имела крылечко с сенями. Вокруг пустынки о. Серафим устроил себе небольшой огород и обнес все занимаемое им пространство забором. Одно время он имел даже пчельник, дававший ему весьма вкусный мед. На половине пути от пустынки к монастырю жили другие отшельники в уединенных избушках: игумен Назарий, иеромонах Дорофей, схимонах Марк. Вся эта обстановка немного напоминала собою Афонскую гору, состоящую из разных возвышений, усеянную лесом, монастырями и кельями пустынножителей, поэтому о. Серафим прозвал свой пустынный холм Афоном, а другие уединенные места в лесу он прозвал в духовном смысле именами разных святых мест, как Назарет, Иерусалим, Вифлеем, Фавор, Кедрский поток, река Иордан и т. д.

Несмотря на удаление о. Серафима в пустынку, народ стал беспокоить его там. Приходили и женщины. Великий подвижник, начиная строгую пустынническую жизнь, считал для себя неудобным посещение женского пола, так как это могло соблазнить и монашествующих, и мирян, склонных к осуждению. Но, с другой стороны, лишить женщин назидания, ради которого они приходили к пустыннику, могло быть делом, неугодным Богу. Он стал просить Господа и Пресвятую Богородицу об исполнении его желания и чтобы Всевышний, если это не противно Его воле, дал ему знамение на то преклонением ветвей вблизи стоявших дерев. В преданиях, записанных в свое время, есть сказание, что Господь Бог действительно дал ему знамение Своего изволения. Наступил праздник Рождества Христова, о. Серафим пришел в монастырь к поздней обедне, в храм Живоносного Источника, и причастился Св. Христовых Тайн. После обеда в своей монастырской келье он вернулся на ночь в пустынь. На следующий день, 26 декабря, празднуемый по положению (Собор Пресвятой Богородицы), о. Серафим вернулся ночью в обитель. Проходя свой холм, где он спускается вниз долу, отчего гора и названа была о. Серафимом Афонской, он увидел, что с обеих сторон тропинки огромные сучья вековых сосен склонились и завалили дорожку; вечером ничего этого не было. Отец Серафим упал на колени и поблагодарил Бога за данное по молитве его знамение. Теперь он знал, что Господу Богу угодно, дабы жены не входили на его гору. Кое-как пройдя сквозь сучья, завалившие тропу, он пришел в обитель, поспел к самой литургии и пошел в церковь Живоносного Источника. В тот день строитель о. Исайя служил литургию соборне. Отец Серафим стал в алтаре. По перенесении Св. Даров на престол, когда была пропета вторая половина Херувимской песни, о. Серафим, приблизившись благоговейно к престолу, сказал отцу Исайи: «Батюшка, отец строитель! Благослови, чтобы на мою гору, на которой живу теперь, женам не было входа».

Строитель, намереваясь читать молитву предложения, по перенесении Св. Даров на престол, ответил на это с некоторым раздражением: «В какое время и с каким вопросом подошел ты, отец Серафим!»

« Теперь-тои благослови, батюшка», — просил о. Серафим.

«Как же я могу, — сказал строитель, — за пять верст смотреть, чтобы женам не было входа?»

«Вы только благословите, батюшка, — сказал о. Серафим, — и уже никто из них не взойдет на мою гору».

Нечего делать; подали образ Пресвятой Богородицы «Блаженное чрево»,и старец Исайя, благословляя о. Серафима св. иконой, сказал:

— Благословляю, чтобы не было женам входа на твою гору, а ты сам охраняй!

Приложившись к св. иконе, о. Серафим отошел на свое место и затем в обычное время причастился Св. Тайн. После обеда, возблагодарив старца Исайю за данное благословение, на ночь опять возвратился в свою пустынную келью.

Существуют разные варианты этого рассказа, не изменяющие сущности дела, и потому разноречия не имеют исторического значения. Так, некоторые, лично знавшие о. Серафима, передают, что разговор со старцем Исайей происходил не во второй день Рождества Христова, а на пятой неделе Великого поста в субботу, в день Похвалы Пресвятой Богородицы, и что после благословения о. Исайи, через неделю, о. Серафим увидел преклонившиеся ветви дерев. Несомненно, что о. Серафим молил Бога и Пресвятую Богородицу о запрещении женщинам восходить на его гору, ему было дано знамение свыше, благословение настоятеля, и после этого он сам завалил колодами тропинку к себе, и не только женщинам, но и вообще сторонним людям вход к нему был совершенно закрыт.

Сведения о жизни великого Серафима в дальней пустынке получены значительно позже, частью из рассказов самого подвижника и его наставлений, частью из повествований других пустынножителей, посещавших его, а также из свидетельств самой местности его уединения и обстановки убогой хижины.

В продолжение всего подвижничества о. Серафим носил постоянно одну и ту же убогую одежду: белый полотняный балахон, кожаные рукавицы, кожаные бахилы — вроде чулок, поверх которых надевал лапти, и поношенную камилавку. На балахоне висел крест, тот самый, которым благословила его родная мать, отпуская из дома, а за плечами висела сумка, в которой он носил при себе св. Евангелие. Ношение креста и Евангелия имело, конечно, глубокий смысл. В жизнеописании Дивеевского издания сказано (с. 16), что по подражанию древним святым о. Серафим носил вериги на обоих плечах и к ним были привешены кресты, одни спереди в 20 ф., другие сзади в 8 ф. каждый, и еще железный пояс. И эту тяжесть старец носил во все время своего пустынножительства. В морозы он накладывал на грудь чулок или тряпку, а в баню никогда не ходил. Видимые его подвиги состояли из молитвословий, чтения книг, телесных трудов, соблюдения правил великого Пахомия и т. д. В холодную пору он топил келью, колол и рубил дрова, но иногда добровольно переносил холод и мороз. Летом он возделывал гряды на своем огороде и удабривал землю, собирал мох с болот. Во время подобной работы он ходил иногда без одежды, перепоясав чресла свои, и насекомые жестоко уязвляли тело его, отчего оно опухало, синело по местам и запекалось кровью. Старец добровольно терпел эти язвы, Господа ради, руководствуясь примерами подвижников древнего времени. На грядах, удобренных мхом, о. Серафим сажал семенами лук и другие овощи, которыми он питался летом. Телесный труд порождал в нем благодушное состояние, и о. Серафим работал с пением молитв, тропарей и канонов. Владея счастливой памятью, он знал наизусть множество церковных песен, которыми и услаждал свой дух. Так, он певал, например, Всемирную славув честь Пресвятой Богородицы, считая Ее покровительницей своей пустыни; чудный антифон: «Пустынным непрестанное Божественное желание бывает»,представляющий пустынную жизнь; песнь, возносящую душу к великому делу любви Божией, творению мира и человека: «Иже от несущих вся приведый, Словом созидаемая, совершаемая духом»и т. п. Отец Серафим завел в одно время и пчельник. Замечались иногда явления такого рода: во время занятий в огороде, или в пчельнике, или в лесу, он вдруг на некоторый срок прерывал работу, руки опускались, топор, нож или лопата вываливались, глаза закрывались, и старец всей душой погружался в самого себя, уходил умом и сердцем на небо и витал в богосозерцании. Если кто-нибудь был при нем в это время, то, не нарушая сладкой его тишины, каждый с благоговением взирал на старца и старался отойти. Отец Серафим читал много книг. Постоянным правилом его в пустыни было ежедневно прочитывать с изъяснением для себя по нескольку зачал из Евангелия и Апостола, что он считал делом весьма важным в духовном совершенствовании христианина, в его восхождении к небу и соединении с Богом. Это он называл снабдением душии свои мысли о том изложил письменно (« Чем должно снабдевать душу ?»).