В таком положении находились дела, когда псковичи, притесненные немцами и не видя помощи с востока, где великий князь был занят ближайшими делами, послали в Луки к князьям Андрею и Борису, чтоб оборонили город Псков. Третьего сентября приехали князья в Псков и пробыли здесь десять дней. Долго упрашивали их псковичи, чтоб отомстили поганым немцам за кровь христианскую, но князья отвечали: «Как нам пойти с вами в землю иноверную, когда у нас самих жены, дети, имение покинуты в чужой земле? Если согласитесь, чтоб наши жены жили здесь у вас, то мы ради оборонять ваш город». Псковичи были в большой печали, не зная, что делать: боялись они великого князя, потому что, кто хранит царского врага, тот враг царю; так и эти хотя братья ему, но супостаты. Долго думавши таким образом, псковичи наконец отказались принять жен Андрея и Бориса. «Сами, господари великие князья, знаете, – сказали они им, – не может один раб двум господарям работать, по евангельскому слову; так и мы не хотим двоим работать, но хотим одного господаря держаться, великого князя Ивана Васильевича, старшего брата вашего, а вам челом бьем: „Сами о своем добре и о нашем думайте, как бы нашему городу до конца не погибнуть“». Князья рассердились, выехали из Пскова и, ставши на Мелетове, распустили людей своих воевать по всем псковским волостям, и те повоевали все, как неверные, дома божии пограбили, жен и девиц посквернили и попленили, в дворах не оставили ни цыпленка, только огнем не жгли да оружием не секли, потому что никто им не противился. Псковичи после долгих просьб дали им 200 рублей да с околиц 15, чтоб только вышли от них в Новгородскую землю.
Между тем в Москве обстоятельства переменились, нашествие хана Золотой Орды Ахмата навело большой страх на великого князя, и младшие братья, воспользовавшись случаем, прислали сказать ему: «Если исправишься к нам, притеснять нас больше не будешь, а станешь держать нас как братьев, то мы придем к тебе на помощь». Иоанн обещал исполнить все их требования, и братья явились к нему с войсками на Угру, где он стоял против татар. Андрей получил Можайск, т. е. значительную часть выморочного удела Юриева; Борису даны были села, бывшие прежде за Василием Ярославичем Серпуховским. Великой княгине – матери, митрополиту Геронтию, владыкам – Вассиану Ростовскому и Филофею Пермскому, троицкому игумену Паисию и князю Михаилу Андреевичу Верейскому приписывается примирение братьев.
В ноябре 1480 ушел Ахмат, в феврале 1481 Иоанн заключил договор с братом Андреем Большим на прежних условиях; о Можайске говорится, что великий князь пожаловал его Андрею с волостями и селами, в отчину и удел, кроме тех сел и деревень, которые уже розданы боярам и детям боярским; впрочем, Андрей удерживает право суда и дани на этих селах по земле. Любопытна также новая форма старого условия об отношениях татарских: «Орды ведать и знать нам, великим князьям, а тебе Орд не знать; а если я в Орды не дам, и мне у тебя не взять». Вместо единственного: Орда, теперь уже является множественное: Орды. Тогда же заключен договор и с Борисом Волоцким на тех же условиях; только в этом договоре не упоминается ни слова ни о каких новых пожалованиях великого князя, даже и о селах, о которых говорит летопись. Прежде, слыша о негодовании братьев, Иоанн дал волости Борису и Андрею Меньшому, не давши ничего Андрею Большому; теперь же дает Можайск последнему, не давая ничего Борису: братья были опасны в союзе друг с другом; когда же один, удовольствованный, отставал от союза, то другой один переставал быть опасным, и потому не нужно было тратить для него волостей. Но легко понять также, был ли Иоанн благодарен Андрею за то, что последний, воспользовавшись тяжелыми обстоятельствами, успел получить от него часть удела Юриева?
Через несколько месяцев умер бездетным четвертый брат – Андрей Меньшой, остававшийся на стороне старшего брата во время восстания средних; задолжав великому князю 30000 рублей за ордынские выходы, Андрей отказал ему весь свой удел, остальным же двум братьям дал только по селу. На этот раз Андрей Большой и Борис не могли выставить никаких требований; завещание собственника должно было иметь полную силу.
Гораздо больше влияния на отношения между старшим и младшими братьями имела смерть матери их, последовавшая в 1484 году, ибо этим событием разрывался самый крепкий узел между князьями: мы знаем, какую сильную защитницу имел Андрей Большой в матери, горячо его любившей. В 1486 году великий князь уже счел нужным заключить с братьями новые договоры, в которых они обязались не вступаться в принадлежавшие великому князю волости умерших братьев – Юрия и Андрея Меньшого, ни в удел Верейский, ни в области Новгородскую и Псковскую, ни в примысл великого князя – Тверь и Кашин; также не сноситься ни с Казимиром, ни с изгнанным великим князем тверским, ни с князьями или панами литовскими, ни с Новгородом, ни с Псковом. Обстоятельства заставляли предугадывать печальную развязку: Андрей боялся и видел в бегстве единственное средство спасения. В 1488 году боярин Андреев Образец объявил своему князю, бывшему тогда в Москве, что старший брат хочет схватить его. Андрей испугался, хотел уже тайно бежать из Москвы, но потом одумался и послал к могущественному тогда вельможе, князю Ивану Юрьевичу Патрикееву, с просьбой, чтоб тот доведался у великого князя, за что он хочет схватить его. Но Патрикеев отказался от этого опасного поручения; тогда Андрей сам пошел к старшему брату и рассказал ему все; Иоанн поклялся ему небом и землею и богом сильным, творцом всея твари, что у него и в мыслях не бывало ничего подобного. Начали искать, откуда пошел слух; оказалось, что великокняжеский сын боярский, Мунт Татищев, в шутку сказал об этом Образцу, а тот поверил и сказал князю Андрею, желая прислужиться, потому что прежде князь держал его в немилости. Татищеву Иоанн велел дать торговую казнь, хотел велеть даже отрезать ему язык, но митрополит упросил не делать этого. Для нас любопытно, впрочем, здесь то, что подобное известие уже могло быть тогда содержанием шутки и шутку могли принимать за правду. Года через два после этого (1491) Иоанн, узнав, что на союзника его, крымского хана Менгли-Гирея, идут татары с востока, выслал свои полки к нему на помощь; велел и братьям отправить также своих воевод, на что имел полное право по договорным грамотам. Борис послал свои полки вместе с великокняжескими, но Андрей не послал. Это было в мае, в сентябре Андрей приехал в Москву и был принят вечером очень почетно и ласково старшим братом. На другой день явился к нему посол с приглашением на обед к великому князю; Андрей поехал немедленно, чтоб ударить челом за честь; Иоанн принял его в комнате, называвшейся западней, посидел с ним, поговорил немного и вышел в другую комнату, повалушу, приказавши Андрею подождать, а боярам его идти в столовую гридню, но как скоро вошли туда, так были схвачены и разведены по разным местам. В то же время в западню к Андрею вошел князь Семен Ряполовский с многими другими князьями и боярами и, обливаясь слезами, едва мог промолвить Андрею: «Государь князь Андрей Васильевич! Пойман ты богом да государем великим князем Иваном Васильевичем всея Руси, братом твоим старшим». Андрей встал и отвечал: «Волен бог да государь, брат мой старший, князь великий Иван Васильевич; а суд мне с ним перед богом, что берет меня неповинно». С первого часа дня до вечерен сидел Андрей во дворце; потом свели его на казенный двор и приставили стражу из многих князей и бояр. В то же время послали в Углич схватить сыновей Андреевых, Ивана и Димитрия, которых посадили в железах в Переяславле, дочерей не тронули.
Есть известие, что Иоанн так отвечал митрополиту, когда тот просил его об освобождении Андрея: «Жаль мне очень брата, и я не хочу погубить его, а на себя положить упрек; но освободить его не могу, потому что не раз замышлял он на меня зло; потом каялся, а теперь опять начал зло замышлять и людей моих к себе притягивать. Да это бы еще ничего; но когда я умру, то он будет искать великого княжения под внуком моим, и если сам не добудет, то смутит детей моих, и станут они воевать друг с другом, а татары будут Русскую землю губить, жечь и пленить и дань опять наложат, и кровь христианская опять будет литься, как прежде, и все мои труды останутся напрасны, и вы будете рабами татар». Андрей умер в конце 1494 года; есть известие, что Иоанн, узнав о смерти брата, приносил слезное покаяние духовенству, которое не скоро простило его, но это известие заподозривается тем, что сыновья Андреевы оставались в заключении, следовательно, Иоанн не раскаивался в своей мере.