Не меньше внимания надо было отдавать и следствию. Оно было в грубых и часто нечистых руках, а между тем составляло не только фундамент, но, в сущности, единственный материал для суждения о деле. Из речи, сказанной Ровинским в 1860 году («Век», 1860 г., № 16), молодым людям, вновь назначенным на должность следователя, переходную уже к новому порядку, видно, что такое были в его время, в Москве, некоторые производители следствий и как они действовали. Безотчетный произвол, легкомысленное лишение свободы, напрасное производство обысков, отсутствие всякой системы и раздувание дел были характерными признаками производства следствий чинами наружной полиции. В подтверждение этого Ровинский приводил примеры: а) отобранные у сознавшегося вора тулуп и поддевка возвращены хозяевам без оценки — чрез год; частный пристав, заметив свое упущение, требует хозяев из Рязанской губернии в Москву по этапу и обязывает их подпискою представить тулуп и поддевку; б) трое крестьян жалуются на кражу у них четырех бочонков сельдей, и после года производства следствия об этом пристав начинает следствие о том, откуда они взяли сельдей и имели ли право торговать ими; в) мещанин Овечкин и извозчик, с которым он ездил, сидят месяц под стражею по обвинению в праздной езде по улицам; г) производя у нескольких лиц обыск по жалобе солдатки о краже у нее белья, пристав обыскивает кстати и ее; найдя «кусок металлического свойства», заводит особое дело и вызывает эксперта для определения, какой это металл, и т. д., и т. д. «Главная причина всего этого, — говорил Ровинский молодым следователям, — кроется сколько в неспособности полицейских следователей, столько и в том, что многие из них, при ничтожном содержании и ежедневно возрастающих потребностях, привыкли по необходимости смотреть на взятие под стражу, освобождение арестанта, вызов, высылку, вообще на все следствие, как на средство к своему существованию. Вот почему полицейские следователи тянут свои следствия целые годы, оправдываясь медленностью высших инстанций и рассчитывая на полную безнаказанность со стороны своего начальства. Вот почему трактир, полпивная и всякое заведение, при самомалейшей возможности притянуть их, непременно перебывают у следователя со своим хозяином, прислугою, чуть не со всею своею посудою». Но не одна неумелость, а иногда желание «покормиться» искажали производство следствия. Это искажение шло гораздо дальше там, где нужно было выслужиться или отличиться. Ровинский приводил следователям «всплывшие из глубины канцелярской тайны» случаи — доведения мещанина вывернутием руки до «чистосердечного сознания» в убийстве, совершенном совсем другим лицом, и сечения обвиняемой в краже девочки 16 лет плетью по животу для получения такого же сознания… В объяснениях к «Народным картинкам» он указывает на обычный даже в его время в глухих местностях прием полицейского следствия, состоявший в недавании пить заподозренному, накормленному соленым сельдем и посаженному в жарко истопленную баню — и ссылается на производившееся еще во второй половине шестидесятых годов в общем собрании московских департаментов Сената дело частного пристава Стерлигова, вешавшего обвиняемого со связанными назад и затем навсегда отнявшимися руками наперекосяк, «исправлявший должность дыбы»…

Губернский прокурор мог быть, если хотел, влиятельным лицом и в тюремном управлении. Ровинский предавался этой стороне своей служебной деятельности с горячим усердием и любовью. Пример трогательного человеколюбца, тюремного доктора Федора Петровича Гааза, отдавшегося всецело делу помощи заключенным, утешению их и заботе о них, вызывал в Ровинском глубоко сочувственное к себе отношение и в слове, и в деле. Впоследствии, в официальных записках по поводу тюремной реформы и судебного преобразования, он не раз с особым уважением указывал на деятельность Гааза, девизом которого были удивительные по своей простоте и глубине слова: «Спешите делать добро!». Еще будучи губернским стряпчим, Ровинский, постоянно посещая заседания тюремного комитета , был очевидцем замечательного и памятного ему столкновения Гааза с председателем комитета, знаменитым митрополитом Филаретом, из-за арестантов. Филарету наскучили постоянные и, быть может, не всегда строго проверенные, но вполне понятные при старом строе суда, ходатайства Гааза о предстательстве комитета за «невинно осужденных» арестантов. «Вы все говорите, Федор Петрович, — сказал Филарет, — о невинно осужденных… Таких нет. Если человек подвергнут каре — значит, есть за ним вина»… Вспыльчивый и сангвинический Гааз вскочил с своего места… «Да вы о Христе позабыли, владыка!» — вскричал он, указывая тем и на черствость подобного заявления в устах архипастыря и на евангельское событие — осуждение невинного… Все смутились и замерли на месте: таких вещей Филарету, стоявшему в исключительно влиятельном положении, никогда еще и никто не дерзал говорить в глаза! Но глубина ума Филарета была равносильна сердечной глубине Гааза. Он поник головой и замолчал, а затем, после нескольких минут томительной тишины, встал и, сказав: «Нет, Федор Петрович! Когда я произнес мои поспешные слова, не я о Христе позабыл — Христос меня позабыл!..» — благословил всех и вышел.

Каждую субботу и праздник объезжал Ровинский разнообразные московские тюремные помещения и тщательно обходил пересыльную тюрьму и губернский замок в сопровождении стряпчих и секретарей местных — уголовной палаты, магистрата и надворного суда, разрешая жалобы арестантов, пробуя их пищу и тут же, на месте, наводя справки по делам и ускоряя последние. Простота в обращении привязывала к нему всех, а по отношению к должностным лицам его настойчивые просьбы («батюшка! ну, сделайте это для меня, — двиньте вы это дело в личное для меня одолжение», — говаривал влиятельный прокурор секретарям судов) приобретали характер требований, которых нельзя было не исполнить. В эпоху взяточничества и всякого темного своекорыстия личность московского губернского прокурора, всегда скромно и почти бедно одетого, вечно занятого живым делом, а не отписками у себя в камере, все знающего и «видящего насквозь», производила глубокое нравственное впечатление на окружающих. Ему было трудно отказать в его просьбах, его было совестно не слушаться, да и «втереть ему очки» нечего было и думать… Верный заветам Гааза, Ровинский с успехом продолжал хлопоты о сокращении числа лиц, подвергаемых тягостному бритью половины головы в предупреждение побегов; из его записки о тюремных помещениях Московской губернии, проникнутой человечностью, сквозит, несмотря на крайнюю скромность автора, ряд облегчительных мер, предпринятых по его распоряжению с целью улучшить быт арестантов, выведя их из пагубной праздности и вооружив их для последующей жизни хоть каким-нибудь практическим знанием… Особенное внимание обращал он на «частные дома» с их так называемыми «съезжими». Там почти постоянно можно было найти арестованных без всякого законного основания; там было место применения личной расправы с людьми, отпускаемыми затем без всякого суда, — там, наконец, производилась знаменитая, глубоко вошедшая в тогдашние нравы «секуция». «В доброе старое время, — вспоминает Ровинский в „Русских народных картинках”,— „секуция” производилась в частных домах по утрам; части Городская и Тверская, в Москве, славились своими исполнителями; пороли всех без разбора: и крепостному лакею за то, что не накормил вовремя барынину собачку, всыплют сотню, и расфранченной барышниной камердинерше за то, что барин делает ей глазки — и той всыплют сотню: — барыня де особенно попросила частного; никому не было спуска, да и не спрашивали даже, в чем кто виноват, — прислан поучить, значит, и виноват — ну и дери кожу. Хорошее было время: стон и крики стояли в воздухе кругом часто целое утро; своего рода хижина дяди Тома, — да не одна, а целые десятки». Если Городская и Тверская части приобрели себе особенную славу по части телесных наказаний, то Басманный частный дом отличился в другом отношении. Там негодующий Ровинский нашел семь, немедленно им уничтоженных, подвальных темниц, куда никогда не проникал луч света. Они назывались «могилами», и в них расстраивали себе зрение и даже слепли (между прочими— почетный гражданин Сопов) люди, числившиеся «за приставом». В другой из московских частей непрошеная любознательность губернского прокурора открыла специальный «клоповник» для арестованных со всеми его необходимыми принадлежностями.