В сентябре 1960 в центре внимания общественности страны стало "дело Лавона". Пинхас Лавон, занимавший пост министра обороны во время отставки БГ, требовал снятия с себя ответственности за провал израильской разведки в Египте в 1954. Комиссия, изучившая соответствующие документы, освободила его от этой ответственности. БГ отказался признать решение комиссии и в январе 1961 подал в отставку, предложив партии выбрать между ним и Лавоном. После серьезных разногласий в партии центральный комитет Мапай принял решение сместить Лавона с поста генерального секретаря Гистадрута. После очередных парламентских выборов в августе 1961 БГ вновь возглавил правительство. Однако трения между БГ и партией продолжались, и в июне 1963 БГ снова вышел из правительствава, рекомендовав Леви Эшкола в качестве своего преемника. В 1964 БГ потребовал судебного рассмотрения "дела Лавона", считая это своим долгом и вопросом первостепенной важности. В январе 1965 Мапай отклонила это требование, и на выборах в Гистадрут и Кнесет БГ выступил с самостоятельным "Списком рабочих Израиля" ("Решимат по'а-лей Исраэль", сокр. Рафи). Этот список получил 12 % голосов в Гистадруте и провел 10 депутатов в Кнесет. После Шестидневной войны партия Рафи вместе с Мапай и Ахдут ха-авода объединились в Израильскую партию труда. БГ не вступил в объединенную партию. На выборах в октябре 1969 он стоял во главе "Государственного списка" ("Решима мамлахтит"), получившего всего четыре мандата. В следующем году БГ оставил Кнесет. Окончательно отказавшись от участия в политической жизни, он noлностью посвятил себя литературной работе в уединении в киббуце Сде-Бокер.

БГ представляет собой монументальную фигуру, олицетворившую бурный период современной истории еврейского народа. Таким воспринимали его не только выдающиеся политические деятели Америки и Европы, с которыми он встречался (Трумэн, Кеннеди, Аденауэр, де Голль), но и многие представители европейской литературы, науки и искусства, навещавшие его в Сде-Бокер. О БГ опубликовано множество книг на разных языках. Смерть его вскоре после Войны Судного дня была воспринята в Израиле как символ конца целой эпохи. Непоколебимая вера в национальное возрождение еврейского народа, достигаемое его созидательным трудом на своей родине, явилась основой мировоззрения БГ. Судьба народа, по мнению БГ, решится только в Эрец-Исразль. Он категорически отрицал возможность цельной и полнокровной жизни в диаспоре. Решающими факторами процесса возрождения он считал алию, заселение земель и оборону. В слиянии социализма с сионизмом БГ видел путь к осуществлению идеалов древних пророков Израиля. Не удивительно, что БГ посвятил столь много сил и времени изучению Библии, не только как первоисточнику еврейской культуры, послужившему "светочем народам", но и как стимулу к возрождению Израиля в наш век. БГ верил, что и в наши дни Израиль сможет служить примером для всего цивилизованного мира в создании новых форм обществ, жизни и хозяйственной деятельности, в развитии науки и культуры и в воспитании человека нового типа, свободного от комплексов, порождаемых социальным и национальным неравенством, и гармонично сочетающего в себе интеллектуализм и тягу к физическому труду. Заботой о создании идеального общества и цельной человеческой личности объясняется также интерес БГ к произведениям Платона, Спинозы и к буддизму.

Оценка БГ как политического деятеля по сей день вызывает споры. Импульсивность и темперамент БГ нередко приводили его к бурным столкновениям с политическими противниками. Его политическая борьба нередко принимала сугубо личный характер. Оставаясь всегда верным своему мировоззрению, БГ, однако, в решении практических вопросов сочетал идеализм с прагматизмом. Блестящий оратор, публицист и полемист, БГ умел ориентироваться в запутанных ходах партийной борьбы при демократическом cтрое. С одной стороны, БГ предпринимал решающие шаги в самые критические моменты, несмотря на давление могущественных держав (как, например, при провозглашении Государства Израиль), а с другой — после пламенных речей следовали расчетливые мероприятия осторожного дипломата (борьба с британскими властями, дипломатические шаги в ходе Войны за Независимость и после нее, период Синайской кампании). Способность БГ смело принимать решения первостепенной важности приводила его к так называемой "личной дипломатии", к тому, что его соратники и коллеги в правительстве, партии и в Кнесете были не раз поставлены перед свершившимся фактом (Синайская кампания, поставка оружия из Западной Германии, постройка атомного реактора в Димоне), и в этом одна из причин, приведших в конечном счете к политической изоляции БГ после долгого периода отношения к нему как к народному вождю в самых широких слоях общества.

Воспоминания, письма и сборники статей БГ неоднократно издавались на иврите и других языках. На русском языке опубликован сб. "Избранные отрывки из речей и статей" (Тель-Авив, 1973).