Поселился Ворошилов поначалу в угловой комнате второго этажа дома Т. П. Песошниковой на Никольской площади. В комнате жили трое: Ворошилов, Овсей Захарин и Иосиф Йзбицкий. Всего же в доме и флигеле проживало 14 ссыльных. К ним все время приходили другие «поднадзорные», и дом стал центром колонии. Такой «рассадник смуты» не мог остаться без внимания полиции.

С точки зрения полиции, Ворошилов очень беспокоен. Он организует протест холмогорской колонии против репрессий в тюрьмах и собирает деньги в пользу пострадавших, он помогает товарищам устраивать побеги, он устанавливает связь с подпольным Красным Крестом, получает деньги на содержание столовой и библиотеки для ссыльных, он ведет обширную переписку. При обыске 21 июня 1910 года полиция отбирает у Ворошилова более 40 писем, а 30 января 1911 года — 128 писем.

После обыска 21 июня против 13 ссыльных было возбуждено дело. В декабре 1910 года дознание закончено, и полиция боится, что Ворошилов скроется вторично. 28 января 1911 года холмогорский исправник получает две телеграммы: «Предупредите побег Ворошилова…», «Произведите обыск. Произведите аресты…»

15 февраля у Ворошилова вновь проводят обыск и вместе с группой других ссыльных сажают в арестантскую камеру при уездном полицейском управлении. Через два дня начальник архангельского губернского правления просит губернатора послать беспокойного ссыльного в более отдаленное место — в Кемь. На следующий день согласие на эту «меру предосторожности» получено. Ворошилова переводят в губернскую тюрьму, где он должен ждать отправки в Кемь.

Но отправка эта не состоялась, потому что Ворошилова привлекают к следствию по делу холмогорской группы политических ссыльных. Перед нами секретное дело канцелярии архангельского губернатора (по особо секретному столу) о поднадзорных: Клименте Ворошилове, Иосифе Избицком и Василии Липаеве:

«Высланный под гласный надзор полиции в Архангельскую губернию за революционную деятельность и подстрекательство рабочих к забастовке Ворошилов вошел в состав Холмогорской группы политических ссыльных, причем активная деятельность его в этом направлении выразилась в агитации среди ссыльных Архангельской губернии, направленной к возбуждению в них революционных стремлений…»

Срок надзора для Ворошилова кончался 28 июля 1911 года. Жандармов очень беспокоило, что он, «находясь по сему делу под стражей в Архангельской губернской тюрьме, старался восстановить заключенных против администрации, за что и подвергался неоднократным наказаниям».

Действительно, Ворошилов вел себя и в тюрьме независимо, а по временам с точки зрения тюремной администрации и дерзко. 19 мая в знак протеста против нарушения тюремщиками правил содержания заключенных он объявил голодовку и голодал до 24 мая. Одновременно Ворошилов призывал к выражению недовольства и товарищей по камере. «Ввиду такого неодобрительного поведения Ворошилова, — отвечал начальник тюрьмы на запрос губернского жандармского управления, — последнее время он был совершенно изолирован от других арестантов и помещен в отдельную камеру». С февраля по август 1911 года трижды попадал Ворошилов в изолятор и просидел там в общей сложности три недели.

Тем временем следствие продолжалось, и окончание его грозило Ворошилову суровым наказанием: ввиду «крайне вредной деятельности» архангельские жандармы предлагали выслать его еще на три года, но уже гораздо дальше — в Восточную Сибирь. К счастью, все обошлось «хорошо»: 20 июля 1911 года министр внутренних дел решил оставить Ворошилова под надзором в Архангельской губернии еще на год.

Вновь следует он по этапу в хорошо знакомую Мезень. Но теперь и уездный город не для него.

На берегу Мезенского залива, там, где в него впадает река Кулой, расположилось рыбацкое село Долгощелье. Ко многому привык Ворошилов за последние три года, но и его поражала природа своей дикостью. Темно-серые массы гранита, низины болот, серая, даже серовато-белая вода… Тяжело оказаться в таком месте. Мог ли знать Клим Ворошилов, что спустя 30 лет народная сказительница Марфа Семеновна Крюкова напоет об этом времени сказ:

Государевы слуги заслали к Белому морю не одного Ворошилова — тогда в Долгощелье проживало еще шесть «поднадзорных». Тотчас же дом, где поселился вновь прибывший, стал местом сбора ссыльных, они подолгу беседовали, спорили. Питались тоже вместе — = так было все же легче. Стали посещать Ворошилова и местные жители…

Близится зима, а у Ворошилова нет одежды, и он просит вспомоществования от казны. 10 сентября полицейский урядник с понятым обследовали имущественное состояние просителя. Из составленного ими акта мы узнаем, что в это время Ворошилов имел одну летнюю фуражку, один летний пиджак, одно суконное без ваты пальто, одни брюки, три тельные ситцевые рубашки, трое кальсон, одни сапоги и две пары портянок. Все перечисленные вещи, как отмечалось в акте, «ветхи и требуют замены новыми». Однако в помощи ссыльному администрация отказала.

Длительное пребывание в тюрьме отразилось на здоровье Ворошилова, и он ходатайствует о переводе в такое место, где бы он мог лечиться. «Мезенский врач, — пишет он в прошении, — меня освидетельствовал и нашел меня здоровым, хотя все освидетельствование заключалось в том, что меня заставили показать язык».

Неугомонного ссыльного переводят в Мезень, не ослабляя надзора. Ворошилов же и не думает успокаиваться. 22 января у него производят очередной обыск, и в руки полиции попадает опасный документ: черновик корреспонденции о жизни ссыльных в редакцию неизвестной жандармам газеты. Этого мало — в начале 1912 года среди ссыльных Архангельской, Вятской и Пермской губерний подпольно была проведена анкета об условиях жизни в ссылке. В феврале такой опрос состоялся в Мезенском уезде, и, разумеется, одним из главных инициаторов и осуществителей его был Ворошилов. Как только это стало известно губернатору, последовал приказ выслать смутьяна вон из уездного города.

Верстах в ста пятидесяти вверх по реке Мезени — деревушка Юрома. Деревушка-то маленькая, а ссыльных в ней — 70 человек. Они охотно принимают новичка в свой круг, и в этом доме начинаются собрания! То же и в селе Дорогорском, куда, поближе к городу Мезени, 3 июня 1912 года переводит его начальство.

Четвертую весну встречает Ворошилов в ссылке. По ночам долго не гаснет свет в его окошке — он читает, читает, читает, изучает классиков марксизма и французский язык. Днем же нередко с ружьем в лесу. Природа великолепна и здесь. Наслаждаться ее красотами, однако, в полной мере возможно только тогда, когда ты свободен, а человеку, уже почти четыре года подряд пребывающему во власти полиции, неизменно идет на ум — скорее бы кончился срок! Но «власти предержащие» точны: ни днем ранее, ни днем позднее.

Четвертушка бумаги, машинописный текст: «1912 года июля 28 дня. Я, нижеподписавшийся политический ссыльный Климентий Ворошилов, дал настоящую расписку г. Мезенскому Уездному Исправнику в том, что сего числа мне объявлено об освобождении меня от надзора полиции, в чем и подписуюсъ». Столь же точен и Клим Ворошилов — ниже следует рукописный текст: «Даю настоящую подпись в том, что мне объявлено об окончании надзора 28 июля в 4 1/2 час. пополудни. Климент Ворошилов».