С этой целью 3 декабря 1564 г. Иван, взяв о собой царицу Марью Темрюковну (с которой вступил в брак в 1561 г.), царевичей, многих бояр, дворян с семьями, вооружённую стражу, всю свою казну и дворцовую святыню, поехал по разным монастырям и, наконец, остановился в Александровской слободе (Владимирской губ.). Недоумение москвичей по поводу этого отъезда продолжалось до 3 января 1565 г., когда митрополит Афанасий получил грамоту от царя, в которой Иван, исчисляя вины бояр, начиная с его малолетства, обвиняя их в корыстолюбии, нерадении, измене, обвиняя духовенство в ходатайстве за изменников, объявлял, что, не желая терпеть измены, оставил своё государство и поехал поселиться, где Бог ему укажет. С тем вместе получена была грамота к православному христианству града Москвы, в которой государь писал, что на них он гнева не имеет. Странное сообщение поразило всех: духовенство, бояре и горожане в недоумении приступили к митрополиту о просьбами, чтобы он умолил царя, причём горожане указывали — просить царя, чтобы он государства не оставлял, а их на растерзание волкам не давал, «наипаче от рук сильных избавлял». И те и другие равно выразили мысль, что изменников государь волен казнить как ему угодно, С этим полномочием поехала из Москвы депутация из разных чинов людей, во главе которой стоял Пимен, архиепископ новгородский. Царь склонился на просьбу и объявил, что снова принимает власть, с тем что будет казнить изменников; при этом он сказал, что из государства и двора выделяет себе часть, которую назвал опричниной. Вслед за тем последовало определение тех волостей, городов и московских улиц, которые взяты в опричнину, Наконец, государь выбрал тысячу человек князей, дворян и детей боярских, которые все должны были иметь свои поместья в отведённых под опричнину волостях; всё остальное государство названо было земщиной и отдано под управление земских бояр. В 1574 г. во главе земщины, с титулом великого князя всея Руси (а после-тверского), поставлен был крещёный, под именем Симеона, касимовский царь Саип-Булат Бекбулатович. Земские бояре заведовали всеми текущими делами, но о разных вестях или великих земских делах докладывали государю. Многие подозреваемые в измене были казнены или сосланы в Казань. Значение опричнины верно и метко оценено С. М. Соловьёвым. По его представлению, Иван, заподозрив бояр, не мог прогнать их всех от себя и потому удалился от них сам, окружив себя новыми людьми, построив себе новый дворец, уйдя в Александровскую слободу.

Такое удаление государя от земли имело гибельные следствия, делающие понятною общую ненависть к опричникам. Новое обстоятельство ещё усилило подозрительность Ивана: литовский гонец привёз к московским боярам грамоты от короля и гетмана. Грамоты были перехвачены, от имени бояр посланы бранчливые ответы; за эту переписку поплатился жизнью конюший Челяднин с несколькими друзьями. В послании Грозного из слободы он осуждал обычай духовенства «печаловаться» за осуждённых; но самое серьёзное столкновение по этому вопросу возникло тогда, когда первосвятительскую кафедру занял соловецкий игумен Филипп, из рода Колычевых. Зная лично и уважая Филиппа, царь в 1567 г. предложил ему кафедру митрополита. Филипп, сначала отказывавшийся, согласился только под условием уничтожения опричнины. Царь оскорбился. Собору удалось примирить их, и Филипп дал обещание в опричину и царский домовый обиход не вступаться. Но подозрение запало в душу Ивану, а Филипп начал ходатайствовать за опальных и обличать царя. Произошло несколько столкновений. Враги Филиппа, в числе которых был, между прочим, духовник царский, наконец восторжествовали: Филипп удалился в монастырь Николаевский, теперь греческий, на Никольской, но всё ещё служил. В крестном ходе заметил он опричника в тафье и обличал его; царь рассердился, тем более что, когда он оглянулся, тафья была снята. Тогда над Филиппом наряжён был суд и в Соловки послана была комиссия для собирания о нём сведений. Во главе комиссии стоял Пафнутий, архиепископ суздальский. Лестью и обещаниями склонили игумена Паисия и старцев дать показания против Филиппа. 8 ноября 1568 г. Филиппа заставили служить. Во время службы он был схвачен опричниками в церкви, на другой день торжественно лишён сана и скоро свезён в тверской Отрочь монастырь, где во время похода Ивана на Новгород (дек. 1569) Филипп был задушен. Вскоре после низведения Филиппа погиб двоюродный брат царя, Владимир Андреевич, в котором Иван видел, и, быть может, не без основания, опасного претендента.

Не без связи с делом Владимира стоит новгородский погром. В январе 1570 г. Иван приехал в Новгород. По дороге он останавливался в Клину и в Твери, которые много пострадали и от казней, и от опустошения опричников. В Новгороде совершено было много казней, свергнут архиепископ, страшно грабили опричники. Ужас напал на новгородцев. Иван Васильевич, объявив милость оставшимся трепещущим горожанам, проехал во Псков, которого, однако, миновал его гнев. Возвратясь в Москву, он начал следственное дело; призваны были к суду и казнены многие бояре, в том числе любимцы царя, Басмановы отец и сын, а князь Афанасий Вяземский умер от пытки.

Недоверие царя не только к старым боярам, но и к людям, им самим избранным, постоянные разочарования, которых он по характеру своему не мог избежать, ибо требовал от людей, чтобы они во всём удовлетворяли его, должны были тяжело лечь на его душу. Мысль о непрочности его положения с особенной силой овладела им в последние годы. До нас дошло его завещание, относимое к 1572 г., где он жалуется на то, что ему воздали злом за благо и ненавистью за любовь. Он предполагает себя изгнанным от бояр, «самовольства их ради». Мысль о непрочности своего положения Иван высказывал в сношениях с Англией, где на случай изгнания искал себе убежища. Даже любимый сын, царевич Иван, не миновал подозрительности царской. В 1581 г., во время величайших неуспехов русского оружия, между отцом и сыном произошло столкновение. Говорят, будто царевич указывал на необходимость выручки Пскова. Гневный царь ударил его жезлом; через четыре дня царевич умер.

Возвратимся к делам внешним. Падение Ливонского ордена поставило лицом к лицу державы, между которыми разделилось его наследство. Швеция, заключив союз о Россией, обратилась на Данию, а России пришлось столкнуться с Польшей. Сигизмунд Август, приняв во владение Ливонию, послал в Москву предложение вывести и русское, и литовское войско из Лифляндии. Из Москвы отвечали отказом. Попробовали завести сношения от имени епископа виленского и панов с митрополитом и боярами, но сношения кончились неудачей. Бояре, между прочим, указывали на то, что Москва есть вотчина великого государя, и делали сравнение между русскими государями «прирождёнными» и литовскими «посаженными». Ответы писаны, очевидно, самим царём. В переговорах и мелких столкновениях прошёл весь 1562 г., а в январе 1563 г. войско, предводимое царём, двинулось к Полоцку, который 15 февраля сдался. Очевидно, царь намерен был оставить его за собой: воеводам предписано было управлять, расспрося их здешние всякие обиходы; для суда избрать голов добрых из дворян, судить по местным обычаям; царь приказал поставить в Полоцке архиепископа. После взятия Полоцка пошли бесплодные переговоры, а в 1564 г. русское войско разбито было при р. Уле. Опять начались набеги и стычки, а между тем заключены договоры о Данией и Швецией. Со стороны Крыма Россия казалась обеспеченной: заключено было перемирие на два года; но, подстрекаемый дарами Литвы, хан сделал набег на Рязань. В конце 1565 г. снова начались переговоры с Литвою. Когда послы литовские готовы были уступить все города, занятые русскими, Иван решился спросить совета у земли, не прекратить ли войну, Летом 1566 г. собрался в Москве земский собор и постановил «за те города государю стоять крепко». Снова потянулись и переговоры, и стычки; только в 1570 г. заключено было перемирие, на основании uti possidetis.

Во время переговоров послы выразили царю мысль, что желали бы избрать государя славянского и останавливаются на нём. Царь, произнесши обширную речь в доказательство того, что воину начал не он, заметил, что он не ищет выбора, а если ни хотят его, то «вам пригоже нас не раздражать, а делать так, как мы велели боярам своим, и всея говорить, чтобы христианство было в покое». За выбором Иван не гнался; ему важна была Ливония, за Ливонию он готов был отдать и Полоцк; но Ливонию не уступят охотно ни Польша, ни Швеция, овладеть ею трудно; и вот явилась мысль создать в Ливонии вассальное государство. Сначала обратили внимание на Фюрстенберга, бывшего магистра, жившего в России пленником. Старый магистр потому, говорят, не принял этого предложения, что не решался нарушать свою присягу империи. Тогда обратились в другую сторону. В числе пленных немцев, которыми Грозный любил себя окружать в эту пору и которым позволил построить церковь в Москве, особенной благосклонностью пользовались Таубе и Крузе. Эти любимцы указали на двух кандидатов- Кетлера и Магнуса; им поручено было вести сношения, и они отправились в Ливонию. Кетлер даже не отвечал на предложение, но Магнус вошёл в переговоры я в марте 1570 г. сам поехал в Москву. Иван заставил его присягнуть в верности, назвал его королём Ливонии и назначил ему в невесты племянницу свою, дочь Владимира Андреевича (свадьба Магнуса с Марьей Владимировной совершена в 1573 г.). Обласканный в Москве, снабжённый войском, к которому со всех сторон, даже из Курляндии, начали приставать немцы, Магнус в августе 1570 г, вступил в Эстляндию и осадил Ревель. Начать поход против Лифляндии было невозможно по случаю только что заключённого перемирия между Россией и Литвой, а в Эстляндии дело стояло иначе. Эрих XIV, с которым Иван был в хороших отношениях и вёл переговоры о выдаче Екатерины, невестки короля и сестры Сигизмунда Августа, был свергнут братом своим Иоанном (1566). Послы, присланные новым королём, вели переговоры, когда в Россию приехал Магнус. Под влиянием вновь затеянного дела с послами прервали переговоры и сослали их в Муром.