Высокий должностной пост, покровительство высшего руководства создали вокруг Василия обстановку вседозволенности и злоупотреблений. Он начал спиваться, не выходить неделями на службу. После неудачного авиационного парада в 1952 году отец сам подписал приказ о снятии сына с должности, в присутствии своих ближайших помощников обозвал его неучем, дураком.

Смерть отца потрясла Василия.

6 марта 1953 года первые полосы центральных газет появились в траурном обрамлении. Все они опубликовали сообщение: 5 марта в 21 ч. 50 мин, скончался И.В.Сталин. 9 марта на Красной площади состоялись официальные похороны Сталина, тело Сталина внесли в Мавзолей. А 26 марта генерал-лейтенант авиации В.И.Сталин в соответствии с Положением о прохождении военной службы офицерским составом был уволен из кадров Советской Армии в запас по статье 59 пункту "с" без права ношения военной формы одежды.

Апрель 1953 г. он провел в ресторанах, кутежах, понося всех и вся. В дни перед арестом он чувствовал себя неуютно. 23 апреля он приехал в штаб ВВС заплатить партийные взносы. Их у него не приняли. Оттуда он позвонил министру обороны Маршалу Советского Союза Н.А.Булганину, но тот отказался от разговора. 23 апреля Василий на улице встретил трех курсантов из Севастополя, прибывших в Москву для участия в майском параде. Он пригласил их к себе домой на Гоголевский бульвар. Накормил их. В кинозале показал им фильмы, играл с ними в бильярд и даже отдал им почти все наличные деньги, затем отвез их на Ходынское поле в подразделение. 28 апреля того же года его арестовали. Всплыли факты растрат, превышения власти. Военная коллегия Верховного суда СССР осудила его на 8 лет.

В марте 1955 года Василий из Владимирской тюрьмы был переведен в Москву, в Центральный госпиталь МВД СССР и помещен в терапевтическое отделение. Обострились болезни.

Вскоре его вновь вернули во Владимирскую тюрьму. Сюда к нему приезжали его сестра и жена, родственники, стремившиеся облегчить его участь. Светлана описывала эти дни так: "Этого мучительного свидания я не забуду никогда. Мы встретились у начальника тюрьмы в кабинете. На стене висел огромный портрет отца, под которым сидел в своем кресле начальник тюрьмы, а на диване перед ним Василий. Он требовал от нас ходить, звонить, говорить о нем, где только можно, вызволить его из тюрьмы. Он был в отчаянии и не скрывал этого. Он метался, ища, кого бы попросить, кому бы написать. Он писал всем членам правительства, вспоминал общие встречи, обещая, уверяя, что будет другим.

Прошло почти семь лет после ареста Василия. Он потом говорил, что Хрущев принял его, как родной отец. Они расцеловались и оба плакали. Все кончилось хорошо.

Василия оставили в Москве. В апреле 1960 года его вновь вернут в Лефортовскую тюрьму "досиживать" свои 8 лет. Отсюда он выйдет весной 1961 года. К этому моменту это будет полный инвалид: больная печень, прогрессирующая язва желудка".

Дочь Василия - Надежда Сталина рассказала:

"После смерти И.В.Сталина отец каждый день ожидал ареста. И на квартире, и на даче он был в полном одиночестве. Друзья и соратники покинули его. Аллилуева кривит душой, когда говорит, что отец провел последний месяц в пьянствах и кутежах. Он знал, что в ближайшие дни последует его арест. Видимо, поэтому он и просит меня быть с ним. Однажды, вернувшись из школы, я обнаружила пустую квартиру, отца уже увели, а дома шел обыск. Тогда многие документы пропали безвозвратно. Во 2-й Владимирской тюрьме отца содержали под фамилией Василия Павловича Васильева, я с мамой каждую неделю навещала его. Это были одночасовые встречи в обеденный перерыв. Отец любил наши приезды, очень их ждал. Во время встречи отец утверждал, что суда над ним не было. Часто, когда мы его ожидали, через открытую дверь в коридоре было видно, как его вели. В телогрейке, ушанке, в кирзовых сапогах, он шел слегка прихрамывая, руки за спиной. Сзади конвоир, одной рукой придерживающий ремень карабина, а другой державший палку отца, которую ему давали уже в комнате свиданий. Если отец спотыкался и размыкал руки, тут же следовал удар прикладом. Он действительно был в отчаянии. В письмах, которые передавал через нас и посылал официально, он доказывал, что его вины нет. Он требовал суда. Но все было бесполезно.

После перевода в Лефортово ограниченность в передвижении отрицательно сказалась на нем и во многом подточила его здоровье. Что касается его автомобильной катастрофы и заключения отца после этого в Лефортовскую тюрьму, то, на наш взгляд, она была устроена. Все это было на моих глазах, когда мы ехали с отцом. После выхода из Лефортово его сразу выслали из Москвы в Казань сроком на пять лет. Дальнейшую связь мы поддерживали с ним по телефону. 18 марта 1962 года он позвонил мне. Мы говорили долго. Он очень просил приехать. Встреча, к сожалению, не состоялась при его жизни. Смерть моего отца и до сегодняшнего дня для меня загадка. Заключения о его смерти не было".

Вероятнее всего, Василий действительно был заключен в тюрьму на основании решения Особого совещания КГБ СССР. Л.П.Берия, несомненно, завладевший после смерти И.В.Сталина многими его личными документами, среди которых, возможно, имелось досье и на Берию, да и на других руководителей, опасался, что Василий мог что-то знать об этом и где-то проговориться. Как человек безалаберный, Василий мог дать любой повод для ареста. Было бы только желание его осуществить.

После смерти В.И.Сталина 19 марта 1962 года остались семеро детей, четверо собственных и трое удочеренных.

Из всех детей И.В.Сталин больше всех любил Светлану.

Это видно из писем, которыми обменивались отец и дочь. Дочь писала ему в шутливой форме "приказы", а отец в ответах докладывал ей об их исполнении, ласково называл её хозяйкой. Если же она сердилась на отца, то грозила пожаловаться на него повару, на что отец отвечал ей: "Пожалей меня. Если ты скажешь повару, то я совсем пропал".

"Сетанке-хозяйке.

Ты, наверное, забыла папку. Потому-то и не пишешь ему. Как твое здоровье? Не хвораешь ли? Как проводишь время? Лельку не встречала? Как ты жива? Я думал, что скоро пришлешь приказ, а приказа нет как нет. Нехорошо. Ты обижаешь папку. Ну, целую. Жду твоего ответа.

Твой папка".

А вот другое:

"Здравствуй Сетанка!

Спасибо за подарки. Спасибо также за приказ. Видно, ты не забыла папку. Если Вася и учитель уедут в Москву, ты оставайся в Сочи и дожидайся меня. Ладно? Ну, целую.

Твой папка".

На сохранившихся фотографиях - счастливый отец, чаще в сапогах и кепке, рядом с дочерью или она у него на руках. Лица их радостны. Девочка одета нарядно. Во взглядах отца нельзя не заметить любовь к дочери.

После смерти матери жизнь Светланы проходила в основном в Кремле или на даче рядом с отцом. Отец следил за её учебой, и почти каждый день интересовался ею, регулярно подписывал дневник. Дочкой он был доволен. Училась она хорошо. Но часто засиживалась допоздна, утром опаздывала на занятия. Как и Василий, в школу она ходила под наблюдением охранника, питалась отдельно от остальных учащихся. Учителя отмечали её склонность к литературе. Перед окончанием школы учительница литературы даже написала И.В.Сталину письмо, в котором говорила о целесообразности её поступления на филологический факультет. Того же хотела и Светлана. "В литераторы хочешь, - недовольно проговорил отец, - так и тянет тебя в эту богему! Они же необразованные все, и ты хочешь быть такой... Нет, ты получи хорошее образование, ну, хотя бы на историческом. Надо знать историю общества, литературу - это тоже необходимо. Изучи историю, а потом занимайся чем хочешь".

Отец настоял на поступлении Светланы на исторический факультет МГУ, где она начала учебу в 1943 году. После его окончания её стремление к филологии было оценено отцом, получило его поддержку, и в итоге она поступила в аспирантуру Академии общественных наук при ЦК КПСС, после чего ей была присвоена ученая степень кандидата филологических наук.