25 октября 1892 года архимандрит Ювеналий был рукоположен в епископа Балахнинского, викария Нижегородской епархии, а 3 января 1893 года Синод перевел его на овдовевшую кафедру Курской епархии, которая ему была знакома по настоятельству в двух курских монастырях.

Объезжая епархию, владыка Ювеналий посетил Глинский Спасо-Илиодоровский скит и побеседовал с настоятелем. Потом посетил схимонаха Архиппа в его келлии. На вопрос архипастыря: «Как поживаешь, старец?» – о. Архипп ответил: «Боюсь мук вечных, боюсь геенны огненной, скрежета зубовного, червя неусыпаемого!..» – и залился слезами. Потом говорит: «Спокойно живу, враг меня не берет». – «Ты же победил врага», – изволил заметить владыка и любезно простился с подвижником. На другой год архипастырь снова зашел в келлию о. Архиппа и долго беседовал с ним наедине. После того при свидании с настоятелем Глинской пустыни владыка Ювеналий всегда справлялся об о. Архиппе. В 1897 году, обходя братские келлии Спасо-Илиодоровского скита и проходя мимо бывшей келлии почившего подвижника, владыка с молитвой об упокоении его перекрестился, а отъезжая, сказал несколько слов братии о памяти смертной.

7 мая 1898 года владыка Ювеналий назначен был архиепископом Литовским и Виленским и одновременно настоятелем Виленского Свято-Духовского монастыря. О его деятельности в Литве так отозвался архиепископ Антоний (Храповицкий): «Как защитник Православия и православных владыка стяжал себе высокое уважение и преданность паствы; даже с высоты Царского престола засвидетельствована его благопопечительность об охранении целости Православия во вверенной ему епархии, где ведется постоянная борьба Православия и латинства… Строго верный обетам монашества, он по прибытии в Литовскую епархию прежде всего обратил внимание на состояние монастырей и улучшил их. Он сам постригал в монашество, причем пострижение сопровождал наставлениями, благотворно действующими на постригаемых. Будучи одушевленным и самоотверженным подвижником Православной Церкви, он встал в ряды приснославных возродителей русского монашества, которые имели своего вождя в лице великого старца Паисия Величковского».

Годы, однако, брали своё, и отдых не помогал. Вот ему уже 80 лет… 13 апреля 1904 года в Летописи Иоанно-Предтеченского Скита Оптиной Пустыни появилась печальная запись: «Получено известие о кончине архиепископа Литовского Ювеналия, последовавшей 12 апреля». В Оптиной были отслужены панихиды по бывшему ее насельнику, воспитаннику этой обители. Многие помянули его добрым словом. А в церковной периодике появились отзывы о нем. Писали: «Подвиг постоянного пребывания в деятельном молитвенном устроении, духовной самособранности, смиренной преданности Божественной воле – вот те сокровища его души, которые были явны всем окружающим».

Воскресенье, 4. – Пополудни в 4 часа скончался в Скиту преподобнейший старец иеросхимонах Иоанн, на 86 году от рождения своего, а в Скиту сем пожил 15 лет и 14 дней. За 7-мь часов пред кончиною удостоился приобщиться Святейших Тела и Крови Христа, Искупителя нашего, в напутствие Вечной Жизни, в совершенной памяти до последней минуты, беседуя с бывшими при нем братиями, на минуту умолк и, простершись на одре своем, тихо почил о Господе с упованием на милосердие Божие.

6-го числа в Скитской церкви Божественную Литургию служил о. игумен Моисей соборне и погребение. Тело погребено в Скиту на общем братском кладбище. Последние дни жизни сего кроткого старца достойны особенного внимания. С 1848 года он слабее становился в телесных силах. В первых числах августа сего года братия заметили, что о. Иоанн часто стал ходить к скитскому кладбищу, – останавливается там и сидит у братских могил. Скитоначальник иеромонах Макарий однажды, подошедши к о. Иоанну, спросил: «Что вы, батюшка, так часто стали ходить к кладбищу?» Старец тихо отвечал: «Да вот, этакая право-да, прошу отцов, чтобы они приняли меня в свое сообщество».

На праздник Преображения он был в Скитской церкви на Литургии и приобщился Св. Христовых Тайн, – с того числа заболел безысходно уже из келлии своей. На праздник Успения Пречистой Богородицы особоровался елеосвящением и в продолжение всей болезни приобщался Св. Тайн в каждую неделю, иногда и два раза. За 4 дня не мог принимать пищи никакой, но вставал и по келлии пройти мог без помощи, келейное правило до смерти не оставлял, которое вычитывал ему бывший у него для послушания Павел Никаноров… В день кончины по причащении в 9 часов утра Св. Тайн почувствовал облегчение в болезни своей (страдал стеснением дыхания в груди и боках). С особенным чувством благодушия беседовал с посещавшими его братиями. Также пополудни упомянутый послушник Павел читал статью о Восточных Патриархах, о. Иоанн слушал и с своей стороны сказывал тут же бывшему при нем иеромонаху Никону о кончине некоторых архиереев, знаемых ему, ревностных в Православии, и о прочих достойных памяти мужах, так же и о состоянии в вечности добродетельных душ, при душеполезной сей беседе пожелалось ему съесть яблоко. О. Никон изъявил готовность спечь яблоко, но в ту же минуту о. Иоанн умолк и, восклонившись на одре своем, тихо испустил дух, – в 4 часа. Колокол в Обители возвестил всем братиям о кончине уважаемого старца. Он был росту среднего, телосложения мужественного, брада до пояса широкая, на голове волосы густые и длинные, приятною белизною седины украшенные. По чувствам уважения к старцу иеросхимонаху Иоанну братия желали сделать хотя краткую записку из добродетельной жизни его, для воспоминания и подражания непритворной его простоты, смиренномудрия, кротости с блаженным незлобием и нестяжательной жизни его. Но Премилосердый Господь, смотря на произволение жаждущих душевной пользы, благопоспешил и устроил так, что за молитвами его составлен был до исполнения еще 40 дней по кончине его некролог и напечатан в «Московских Ведомостях» 8-го ноября 1849 года (№ 134, «Смесь»). И это сделалось вот как.

В 14-й день по кончине старца о. Иоанна Высокопреосвященнейший Филарет, митрополит Московский, всегда благосклонный с особенною милостью к Оптиной Пустыни, изволил спросить у благочестивой г-жи Натальи Петровны Киреевской (благодетельница и христиански расположенная к Оптинской Обители с давних лет она находилась в Москве и имела известие о кончине о. Иоанна, а у митрополита была 18 сентября пополудни): «Какие известя из Оптиной Пустыни?» Она рассказала о кончине и погребении старца иеросхимонаха Иоанна. Владыка с участием сказал: «Ах! Неужели его не стало?» Перекрестился, сказав с чувством: «Упокой, Господи, душу его». Потом милостиво продолжил беседу о полезных трудах покойного о. Иоанна в составлении им книг к изобличению раскольников; вспоминал и о прочих старцах Оптиной Пустыни. Между прочим Наталья Петровна спросила: не написать ли некролог о старце Иоанне? Владыка, выслушав Наталию Петровну, одобрил предложение и благословил написать некролог.

От рясофорного монаха Петра Григорова был получен писанный им вчерне некролог 21 числа сентября, – по прочтении о. игуменом Моисеем с о. Макарием найден неполным. Поэтому отец Макарий того же 21 числа вечером поручил иеродиакону Е. за послушание заняться немедленно составлением некролога о старце Иоанне, соображаясь с присланным от о. Петра черновым, с тем, чтобы некоторое из оного оставить, а что нужно поместить.

В тот же вечер иеродиакон Е., помолясь Богу прочитал оный о. Петром присланный черновой некролог и описание жизни о. Иоанна под заглавием «Исповедь» (напечатанную в книге его «Дух мудрования»). Потом положил три поклона о упокоении души его, лёг спать и нескоро уснул. Заснувши, видит во сне: будто в хорошо убранной комнате, как бы наверху, о. Иоанна готовят к пострижению в схиму, и он, как должно, распростерся крестообразно, а о. Макарий поправил у него на груди крест. Тут был и о. игумен Моисей, который, стоя в стороне у икон, приготовлялся его постригать, а Е. готовился петь стихиру по книге, держа оную разгнувши, но не «Объятия Отча…», а «Познаем, братие, Таинства силу…», твердо убежден быв, что надобно петь сию стихиру, а не ту, – и только ожидал, пока отец Макарий даст тон к пению. В самую эту минуту ударили в колокол к заутрени; Е. проснулся с словами в уме «Познаем, братие, Таинства силу…», как бы выговаривая оные мысленно. Утром сказал о том сне старцу отцу Макарию, а он сделал замечание следующее: «Бог знает, что этот сон знаменует. Но, кажется, добрый знак извествует, ибо стихиру сию "Познаем, братие, Таинства силу, от греха бо ко отеческому дому востекшаго блуднаго сына…" поют после пострижения».