28 апреля 1933 года Ганс фон Чаммер (полное имя Ганс фон Чаммер унд Остен), ранее никому не известный предводитель саксонских СА, получил от имперского министра внутренних дел задание «сплотить расколотое немецкое гимнастическое и спортивное движение», «избавив его от говорильни несогласных через систему политического воспитания». В документах рейхсканцелярии сохранилось множество сведений, которые касались развития этого процесса. 1 мая 1933 года Чаммер заявил о том, что у него была подготовлена специальная программа унификации. А уже три дня после этого последовало заявление, что «унификация спортивных союзов шла полным ходом». Решающее событие произошло 10 мая 1933 года. В тот день немецкая пресса опубликовала официальное уведомление: «После предварительных консультаций с Имперским комиссаром по делам спорта Гансом фон Чаммером унд Остеном сформированная 12 апреля на внеочередном общем собрании комиссия в составе профессора Нойепдорфа, советника криминальной полиции Ф. Линнемана и начальника окружного правления Паули решила распустить Немецкий имперский комитет физической культуры. Имперский комиссар по делам спорта поддержал это решение. Все служащие имперского комитета освобождены от занимаемых должностей. Согласно § 12 устава имперского комитета, все его имущество в случае ликвидации организации отходит государству. Лучше всего с пользой для спорта оно будет употреблено Имперским министерством внутренних дел». Собственно, в этом сообщении есть один момент, на который надо обратить отдельное внимание: никто не давал «триумвирату» права роспуска организаций, равно как управления делами имперского комитета, его всего лишь уполномочили вести переговоры с правительством.

В любом случае в своем последнем информационном бюллетене, который был выпущен Немецким имперским комитетом физической культуры в мае 1933 года, не было ни намека на возмущение. Более того, составлявший его автор пытался оправдать действия комиссии, ликвидировавшей организацию: «Общее собрание Немецкого имперского комитета физической культуры поручило специально уполномоченным членам правления заняться преобразованием сферы немецкой гимнастики и немецкого спорта, что должно проводиться в теснейшем сотрудничестве с Имперским комиссаром по делам спорта, что, в свою очередь, должно облегчить ему перестройку немецкого спорта. В итоге Немецкий имперский комитет физической культуры в его нынешней форме прекращает свою деятельность». Чтобы снять возникшую напряженность и устранить опасения некоторых из спортивных функционеров, пресс-служба Имперского комиссара по делам спорта распространила специальное обращение, в котором сообщалось, что имперский комитет «прекратил деятельность всего лишь как самостоятельная организация, что стало итогом учета звучавших пожеланий». В итоге трое людей, ликвидировавших имперский комитет, настолько хорошо замаскировали свою деятельность, что даже Карл Дим затруднялся описать, как развивались события в реальности. Он сообщал в своих записках: «Наверное, Нойендорф и Липнеман сразу же стали выстраивать отношения с Чаммером, как только того назначили Имперским комиссаром по вопросам спорта. Судя по всему, Паули не сразу присоединился к ним». В этой версии есть своя доля истины, так как Феликс Линнеман в качестве председателя Немецкого футбольного союза приложил немало усилий, чтобы возвысить Чаммера. Сам же Карл Дим, которому было суждено сыграть немалую роль в истории немецкого спорта, отнюдь не безропотно воспринял новость о ликвидации комитета. Однако, несмотря на протесты, он был вынужден передать вверенные ему документы штурм-хауптфюреру СА Фрицу Мильднеру, который в 1933 году был введен в состав «Имперского союза руководителей немецкого спорта».

Смена власти в Германии имела далеко идущие последствия не только для немецкого спорта, но и лично для Карла Дима. В последние годы существования Веймарской республики он выполнял три различные функции, которые позволяли ему зарабатывать на жизнь. Во-первых, Карл Дим занимал должность проректора Немецкого института физической культуры. Во-вторых, был генеральным секретарем Немецкого имперского комитета физической культуры. В-третьих, являлся генеральным секретарем созданного в январе 1933 года организационного комитета, занятого подготовкой Олимпийских игр 1936 года. Если говорить о первой должности, то тревожный звонок прозвучал, когда в начале 1933 года представитель национал-социалистического студенчества объявил преподавательскому составу Немецкого института физической культуры, что в самое ближайшее время учебное заведение ожидают «самые серьезные перемены». Подобного рода заявления были санкционированы прусским министром Бернхардтом Рустом (позже имперский министр воспитания, науки и народного образования). Когда 1 мая 1933 года Карл Дим открыл новый учебный семестр своим традиционным обращением к студенчеству, то он еще не знал, что его увольнение с поста проректора института уже давно значилось в планах национал-социалистического руководства. Буквально несколько часов спустя после того, как Карл Дим произнес свою речь, его пригласил к себе ректор института профессор Зауэрбрух. Диму было рекомендовано «взять отпуск» на весь ближайший семестр. Таким способом Зауэрбрух хотел успокоить студенчество, состоявшее в то время в основном из молодых национал-социалистов, которое выражало крайнее недовольство «интернационализмом» Карла Дима. Однако Дим не прислушался к данному совету. Это имело своим следствием то, что он был вынужден вообще оставить пост проректора института. Он лишился не только поста, но и был отстранен от преподавательской работы, которую считал смыслом своей жизни. Кроме этого подобного рода изменения имели для Дима весьма неблагожелательные финансовые последствия — он лишался заработной платы, которая составляла 3 тысячи рейхсмарок в год.

В своих воспоминаниях, которые Карл Дим написал уже после окончания Второй мировой войны, он предположил, что стал жертвой своеобразного заговора, который организовали национал-социалистические студенты и Карл Крюммель, который, кроме всего прочего, являлся сотрудником ректората. Напомним, что Карл Крюммель в 1933 году мечтал о том, что займет пост Имперского комиссара по делам спорта. На практике же ему удалось лишь возглавить структуру, которую с некоторыми оговорками можно считать преемницей Немецкого института физической культуры. Речь идет об Имперской академии физического воспитания. В этом предположении нет ничего нереального. Крюммель всеми силами пытался устранить конкурентов из различных областей спорта, а потому кажется вполне правдоподобным, что он спровоцировал отставку Карла Дима с поста проректора института. К тому же не надо забывать о том, что Дим не был сторонником политизированного подхода к обучению в институте физической культуры. Новое же руководство Германии, напротив, полагало, что все обучение и воспитание в рейхе должно было быть проникнуто идейным духом национал-социализма. Хотя бы по этой причине из многих высших учебных заведений во время «национальной революции» пытались удалить не только «либералов» и «марксистов», но и «консерваторов».

Не меньше проблем возникало и с должностью Карла Дима, которую тот занимал в Немецком имперском комитете физической культуры. Будучи генеральным секретарем комитета, он получал ежегодное жалованье в размере 18 тысяч марок, что полностью соответствовало заработной плате министериаль-директора. Причем подобное денежное содержание Карл Дим должен был получать вплоть до достижения возраста 65 лет. Втайне Дим надеялся, что национал-социалисты оценят его прошлые заслуги перед немецким спортом и оставят в его реорганизованной структуре. Хотя бы по этой причине Дим в своих обращениях и письмах к новым властителям акцентировал внимание на том, что «всегда пытался делать немецкий спорт национально ориентированным и пригодным для военных целей». Кроме этого ему пришлось согласиться на то, чтобы распространить «фюрер-принцип» на всю сферу спорта. Об этом свидетельствует статья Дима, которая была опубликована в свое время в сборнике «Олимпийский огонь». Дим предусмотрительно утверждал, что представленная в указанном сборнике статья была написана им в 1923 году. Называлась она «Тоска по вождю». Якобы в основу этого материала была положена речь, произнесенная Димом перед студентами Немецкого института физической культуры на открытии зимнего семестра 1923–1924 годов. В ней содержался следующий пассаж: «Когда мы сегодня произносим слово «вождь», то подразумеваем не полководца, не военного командующего, а совершенного руководителя, относящегося ко всем сферам политики, общественной жизни и свободного труда».