И вновь Карлу Диму пришлось разрабатывать план по сбору средств. Опять проводились многочисленные рекламные и пропагандистские мероприятия, но кризис давал о себе знать. Диму удалось договориться лишь о софинансировании. Одну треть расходов, связанных с поездкой за океан, должны были взять на себя спортивные объединения. Речь шла приблизительно о 450 тысяч марок. Еще столько же были готовы выделить немецкие промышленники и представители германских финансовых кругов. И такая же сумма должна была быть выделена правительством Веймарской республики. Между тем в Германии усиливалась критика предстоящих расходов на Олимпиаду. Ее нельзя было не учитывать, а потому Карл Дим принял нелегкое решение: он существенно сократил германскую сборную, которая направлялась в Лейк-Плэсид (США, штат Нью-Йорк) на зимние игры 1932 года. Сборная была ограничена хоккейной командой, несколькими фигуристами и командой бобслеистов. В итоге не было ничего удивительного в том, что германская сборная в общекомандном зачете заняла только 9-е место, завоевав лишь две бронзовые медали. Сэкономленные деньги спонсоров и государства было решено направить на летнюю Олимпиаду. В Лос-Анджелес германская сборная направилась уже в полном составе. Несмотря на то что Карл Дим был вновь назначен «шефом миссию), успех 1928 года не удалось повторить. Германия опять заняла девятое место, завоевав всего лишь три золотые, двенадцать серебряных и пять бронзовых медалей. Первыми традиционно были американские атлеты. А второе и третье места заняли сборные Италии и Франции соответственно. Немцы уступили даже венграм и японцам, которые никогда до этого не считались особо сильными спортсменами. Как и стоило предположить, после столь неутешительного результата Немецкий Олимпийский комитет подвергся жесточайшей критике в германской прессе. Некоторые из газет требовали немедленной отставки Карла Дима и Теодора Левальда, по те никак не соглашались пойти на это, предпочитая обороняться от нападок. Карлу Диму вновь пришлось прибегнуть к «национальной» риторике, чтобы объяснить необходимость участия немецких спортсменов в международных соревнованиях. В привычно резких формулировках он заявил: «Как еще можно вдолбить в голову немецким патриотам, что германский флаг надо водружать за пределами нашей страны, а мы были только лишь передовым отрядом?»

Однако Карл Дим не был настолько самоуверенным, чтобы не видеть, что у германской сборной имелись серьезные проблемы, в итоге приведшие к провалу в Лос-Анджелесе. Главную причину неудач он видел в недостаточных тренировках и откровенном «шапкозакидательстве», присущем многим немецким атлетам. Прежде чем Олимпиада прошла бы в Германии, Дим задумал создать очень жесткую систему, которая должна была коренным образом изменить обстановку в немецком спорте. В первую очередь планировалось сделать ставку на тяжелые и регулярные тренировки. Карл Дим заявлял публике: «Будущие олимпийские победы предполагают беспощадную воспитательную работу. И от этого зависит уважение, которое будут испытывать к Германии во всем мире. Если к 1936 году мы сможем добиться этого уважения, то мы приложим руку к осуществлению нашей немецкой миссии. Эта вера будет удивительным образом расти день ото дня. Но она еще не является явленной нам действительностью в борьбе за место под солнцем».

Уже из сделанных заявлений было предельно понятно, что Левальд и Дим намеревались превратить «праздник спорта» в показательное мероприятие, в ходе которого предполагалось продемонстрировать всему миру величие и силу Германии. Однако, когда только началась реальная подготовка к Берлинской Олимпиаде, над ней вновь сгустились тучи. Это было связано с тем, что 30 января 1933 года к власти пришли национал-социалисты. Для многих было очевидным, что появление новой власти должно было отразиться на спорте в целом и подготовке и к Олимпийским играм в частности. Вопрос заключался в том, собиралось ли имперское правительство Гитлера вообще проводить Олимпиаду. В начале 1933 года многие видные национал-социалисты яростно критиковали «олимпийское примиренчество». В то же самое время Теодору Левальду удалось кое-что сделать буквально накануне прихода Гитлера к власти. 24 января 1933 года им был учрежден Организационный комитет по проведению Олимпийских игр 1936 года. Он смог сформировать состав этого комитета еще до того, как на это могло повлиять национал-социалистическое правительство. Генеральным секретарем организационного комитета Олимпиады был назначен Карл Дим. Именно он становился ответственным за организацию игр в Берлине. Однако его «олимпийская мечта» вновь оказалась под угрозой. Опять можно было вспомнить времена Первой мировой войны.

Когда в 20-х числах января 1933 года создавался организационный комитет по проведению Олимпийских игр в Берлине, то в него сознательно пригласили обер-бургомистра германской столицы Генриха Зама. Именно он смог поначалу убедить членов комитета в том, что не было никакой необходимости создавать новый стадион, а для проведения Олимпиады было вполне достаточно развить и модернизировать уже имевшиеся спортивные объекта в Грюневальде, о чем незамедлительно была уведомлена имперская канцелярия. Впрочем, в те дни члены организационного комитета и имперского комитета физической культуры беспокоились не столько о поддержке канцлера, сколько о покровительстве рейхспрезидента Пауля фон Гинденбурга. Гинденбург дал свое согласие только 9 февраля 1933 года, то есть когда уже полторы недели у власти находилось правительство Гитлера. Именно это обстоятельство заставило многих членов Немецкого Олимпийского комитета занять выжидательную позицию. Они прекрасно понимали, что при определенных условиях было просто необходимо заручиться также поддержкой нового рейхсканцлера. Ожидание закончилось 6 марта 1933 года, то есть сразу же после того, как на выборах в рейхстаг подавляющее большинство получили национал-социалисты и Немецкая народно-национальная партия. С психологической точки зрения это был очень выгодный момент, чтобы вновь обратиться в имперскую канцелярию. В тот день Теодор Левальд в своем письме сообщал: «Примите мои самые сердечные поздравления с той убедительной победой, которую вы, господин рейхсканцлер, смогли одержать. Я обращаюсь к вам с просьбой. Мне уже удалось добиться поддержки господина обер-бургомистра Зама, и теперь мне благосклонно хотелось бы рассчитывать на вашу помощь, господин рейхсканцлер. Я хотел бы дать краткий обзор предстоящих в 1936 году Олимпийских игр, которые будут проводиться в Берлине, а также хотелось, чтобы вы стали почетным президентом только что сформированного организационного комитета».

О дальнейшем развитии событий лучше всего было рассказано в воспоминаниях Карла Дима. Впервые об аудиенции у Гитлера он поведал на 75-летии Теодора Левальда (1935 год). Несмотря на то что сам Дим не присутствовал на встрече, в 1935 году он утверждал: «В своей яркой и захватывающей речи фюрер дал свое согласие». Однако уже в послевоенное время Карл Дим предпочитал давать более ироничное описание: «Он [Левальд] попросил о встрече. К нашему великому удивлению, нам сразу ответили согласием. На самом деле он никогда не рассказывал, насколько был любезно принят Гитлером и насколько Гитлер понял суть доклада. В любом случае нам была обещана поддержка… Когда уважаемый мною президент комитета вернулся, то он был настолько переполнен чувствами, что сразу же стал диктовать своему секретарю что-то цветастое о силе, который производил взгляд Гитлера». Однако если посмотреть на реалии, то можно утверждать, что однозначное решение не было принято Гитлером вплоть до октября 1933 года. Но в любом случае после встречи Левальда с Гитлером шеф имперской канцелярии стал делать заметки, которые должны были использоваться для подготовки сообщений в немецкой печати. В них значилось: «Фюрер продемонстрировал живой интерес к Олимпийским играм и охарактеризовал спорт как необходимое средство закалки немецкой молодежи. Он обещал, что всеми средствами будет способствовать спортивным интересам Германии».