Сам факт, что ему пришлось предстать перед судом, так сильно подействовал на Альберта, что он полностью отгородился от всех, кто был хоть как-то причастен к обвинению. Он покинул свой лагерь у Алис-Спрингса и почти год прожил на дальних и заброшенных землях своего племени, вдали от Хермансбургской миссии. Лишь изредка наезжал в Алис-Спрингс, чтобы передать свои работы Рексу Бэттерби, но всячески избегал встреч с кем-либо, кто был связан со свалившимся на его голову позором.

Следующий, 1955 год прошел без каких-либо событий. Большую часть времени Альберт проводил за мольбертом вместе с другими арандскими художниками, и его редко видели даже в Хермансбурге. Лишь на короткое время попал он на страницы газет. О нем вспомнили в связи с выставкой в Сиднее, на которой он был представлен в числе двенадцати арандских художников. Как обычно, выставка прошла с огромным успехом.

Еще за десять лет до этого, задумываясь о будущем Наматжиры, член Королевского антропологического института Южной Австралии С.-П. Маунтфорд задавал вопрос: «Неужели слава, эта коварная ветреница, вознесет его, а потом низвергнет?» Так и случилось, Альберту пришлось испытать и ее благосклонность и ее коварство. Он пережил крушение самых своих сокровенных надежд. Но самой большой обидой было непризнание его работ галереями штатов Виктория и Южная Австралия.

Впервые в газетной статье, касавшейся общественного положения Наматжиры, его положения как художника, появилось слово «трагедия». Под заголовком «Черный художник и трагическая дилемма» аделаидская газета «Адвертайзер» подробно изложила хорошо известные теперь факты о плачевном положении Наматжиры: «Альберт, как король, восседал под деревом у подножия горы Гиллен, отдельно от неопрятной, оборванной группы сородичей. Его собственный внешний вид мало чем отличался от обличья других аборигенов, но он все же выглядел весьма внушительно. Эти люди — остаток некогда гордого племени аранда, по гордость теперь безвозвратно ушла в прошлое».

Один представитель Хермансбургской миссии писал: «Трагедия Альберта в том, что он живет между двух миров. Он проделал путь от простого образа жизни своего племени к запутанной жизни в торгашеском мире цивилизации. Покинув свою счастливую среду, он с огорчением обнаружил, что его не принимает общество белых, в которое ввел его талант художника. Так, несчастный и отчаявшийся, живет он теперь между двумя обществами — своим и обществом цивилизации. Вместо исполнения своих надежд Альберт познал лишь горечь разочарований; вместо счастья нашел только унижения. Законы его племени требуют, чтобы он делился всем, что имеет, со своими многочисленными сородичами, а слава требует, чтобы он писал все больше и больше картин. Трагедия Альберта Наматжиры, этого истинного сына природы, к несчастью, явление обычное. Его печальная судьба скорее правило, чем исключение для человека черной расы, который попытался проникнуть в общество белых».

Во время редких наездов Альберта в Алис-Спрингс его душевная надломленность бросалась всем в глаза. Он казался озлобленным, разуверившимся, былая мягкость и доброжелательность сменилась обидой на всех и вся.

В начале 1956 года распространились слухи о размолвке между Наматжирой и его посредником Рексом Бэттерби. Альберта стало стеснять решение Арандского художественного совета распоряжаться картинами по своему усмотрению. Ему хотелось свободы как в установлении цен, так и в выборе покупателей. Некоторые белые сочувствовали его желанию, хотя и понимали, что совет был создан с целью защиты художников-арандцев от эксплуатации. Альберт и до этого довольно часто продавал свои работы перекупщикам и заезжим туристам. Однако определенное количество работ он передавал Рексу Бэттерби, хотя и был недоволен тем, что приходится ждать денег до тех пор, пока они не будут проданы.

Отказ Бэттерби вести дела Наматжиры не вызвал поэтому особого удивления. Его заявление напечатала аделаидская газета «Ньюз». В нем говорилось: «За последний год моей деятельности как единственного посредника по продаже работ арандских художников, включая акварели Наматжиры, я продал тысячу тридцать четыре произведения восемнадцати художников на сумму приблизительно семь тысяч шестьсот фунтов. За все мои хлопоты я получал десять процентов комиссионных и был счастлив тем, что могу помочь всем им. Но теперь самозваные дельцы требуют только работ Наматжиры, и художники — соплеменники Альберта очень обеспокоены поисками рынка. Альберта же эта проблема мало волнует. Спрос на его работы дает ему возможность в любой момент рассчитывать на самую высокую цену. Но он идет на продажу за цену, предложенную первым встречным, поскольку знает, что в случае надобности, стоит ему подналечь, и он получит желаемые несколько фунтов, даже если акварели будут явной халтурой».

Бэттерби не преминул заметить, что некоторые самозваные посредники в Алис-Спрингсе загребают до четырехсот процентов на продаже работ Наматжиры и других художников-аборигенов. Наматжира сам признавался, что одна его акварель, выставленная в витрине магазина в Алис-Спрингсе и оцененная в девяносто фунтов, была куплена у него всего за двадцать. Бэттерби в свою очередь рассказал, как один турист купил семь работ Наматжиры за сто фунтов, хотя настоящая цена им была около четырехсот.

Законодательный совет Северной Территории был настолько обеспокоен сообщениями о спекуляции акварелями художпиков-арандцев, что внес поправку в акт о нарушениях полицейских правил и установил наказание за непосредственную покупку произведений у аборигенов без разрешения местного отделения департамента по делам туземцев: штраф в сто фунтов или шесть месяцев тюремного заключения, а в ряде случаев и то и другое. Однако, несмотря на такие постановления, нелегальная торговля продолжалась. Поговаривали, что купленные из-под полы произведения пересылаются в Сидней, где на них был огромный спрос, особенно на Наматжиру.

Когда факты о подпольной торговле стали достоянием прессы, отделение департамента по делам туземцев в Алис-Спрингсе попало под огонь критики за неспособность пресечь махинации предприимчивых дельцов. Один репортер, приехав в Алис-Спрингс, обнаружил в открытой продаже в магазинах акварели Наматжиры стоимостью от восьмидесяти до ста гиней. Бэттерби заявил репортеру, что он устал от расточительности художников, которые зарабатывают и пускают на ветер целые состояния, что его деятельность как посредника отнимала у него очень много времени и отрицательно сказывалась на его творчестве, и поэтому он порвал связи с художниками-аборигенами.

Потом в газетах появилось сообщение, что Альберт остался без средств. Директор департамента по делам туземцев X. Гис объявил, что Наматжира в серьезных долгах. Был такой случай, когда у него едва не конфисковали по суду грузовик для погашения долга. Как рассказал представитель Хермансбургской миссии, Альберт сам признался, как-то будучи в миссии, что довольно много задолжал магазинам и гаражам в Алис-Спрингсе. Особенно его заботило то, что у него нет каких-то нескольких сот фунтов, чтобы расплатиться за починку своего грузовика, который и в тот момент стоял в гараже на очередном ремонте. Из-за отсутствия машины ему приходилось нанимать такси, а каждая такая поездка до Хермансбурга влетала ему в пятнадцать фунтов!

Пока Альберт жил в миссии, его основные расходы контролировались ее персоналом. До 1951 года у него никогда не было сколько-нибудь серьезных долгов; более того — сбережения, вложенные в военные облигации, достигали девятисот фунтов. Трехтонный грузовик по непомерной цене, полтонны снаряжения и подержанный автомобиль в плохом состоянии он купил, уже оставив миссию. Поскольку сам он водил редко, то на этих машинах по бездорожью катал любой из соплеменников, мало-мальски умевший сидеть за рулем. В результате машины то и дело ломались, их приходилось ремонтировать, а это стоило немалых денег.

В марте 1956 года умирает отец Альберта — Джонатан. Смерть отца сильно потрясла его, хотя последние годы они виделись довольно редко. Джонатан, одним из первых арандцев принявший лютеранство, большую часть своей жизни (а прожил он восемьдесят лет) провел в миссии. К своему единственному выжившему сыну он питал самые нежные чувства и с гордостью, говорил о нем: «Альберт очень богатый, большой человек стал… — но тут же добавлял: — Жаль, что Альберт покинул миссию».