В силу многих обстоятельств, о которых будет сказано ниже, лагеря Галлиполи, Лемнос, Чаталджа и Бизерта не стали плацдармом для возобновления борьбы с большевиками. Основной контингент Русской Армии предстояло переместить в славянские страны Балканского полуострова. Разрешение разместить русские воинские структуры на территории Болгарии было дано начальником Штаба болгарской армии. Переезд белогвардейцев в Болгарию был осуществлен в конце 1921 года. Они рассчитывали использовать территорию славянской страны в качестве плацдарма для осуществления «белого реванша» в России. Болгарское монархически настроенное офицерство, в свою очередь, рассчитывало на поддержку белогвардейцев в своей борьбе против левого правительства А. Стамболийского и местных коммунистов.
9 июня 1923 года правительство Стамболийского было низложено {{ Шкаренков Л. К. Агония белой эмиграции. – М.: Мысль, 1987. – С. 37-40; Русские без Отечества: Очерки антибольшевистской эмиграции 20-40-х годов. – М.: РГГУ, 2000. — С. 172-199.}} . Однако организовать новой поход против большевиков с территории Болгарии белогвардейцам не удалось. В 1924 году Франция, Англия, а также Италия, Греция, Норвегия, Швеция, Дания, Мексика и Китай установили дипломатические отношения с СССР. Рассчитывать на возобновление интервенции в обозримом будущем уже не приходилось. А без поддержки ведущих европейских держав возобновить Гражданскую войну в России белогвардейцы не могли. Командование Русской Армии сохраняло уверенность, что иностранные правительства со временем придут к мысли о необходимости возобновить борьбу с большевизмом. И тогда белогвардейцы предпримут новую попытку продолжить борьбу за освобождение России. Однако, начало «весеннего похода» откладывалось на необозримый срок.
В сложившихся условиях, Врангель считал своей главной задачей сохранить армию: «Армия постепенно перейдет к новым формам и условиям жизни… Армия будет существовать в полураскрытом виде, но армия должна быть сохранена во что бы то ни стало» {{ Цит. по: Русские без Отечества… – С. 73.}} .
1 сентября 1924 года в Сремских Карловцах (Сербия) Врангель подписал приказ об образовании Русского Обще-Воинского Союза (РОВС) {{ Приказ генерала Врангеля № 35. Сремски Карловцы. 1 сентября 1924 г. // Политическая история русской эмиграции. 1920 – 1940 гг.: Документы и материалы / Под ред. А.Ф. Киселева. – М.: Гуманит. изд. центр ВЛАДОС, 1999. – С. 10-11.}} . С этого момента можно говорить о превращении Русской Армии в эмигрантскую организацию. Врангель стремился объединить под своим началом всех российских военных за рубежом. Поэтому в РОВС был открыт доступ ветеранам армий А. В. Колчака, Н. Н. Юденича и других вождей Белого движения. За офицерскими обществами, союзами, воинскими частями и войсковыми группами, принятыми в РОВС, сохранялись их названия и порядок внутреннего управления. Общее управление делами РОВС сосредотачивалось в Штабе Врангеля.
Приказ о создании РОВС предписывал сформировать пять Отделов в конкретно названных европейских странах. I Отдел объединял белоэмигрантов, проживающих в Англии, Франции, Бельгии, Италии, Чехословакии, Дании и Финляндии. II Отдел – в Германии и Венгрии. III – в Польше, Данциге, Литве, Эстонии и Латвии. IV – в Королевстве Сербов, Хорватов и Словенцев (так до 1929 года называлась Югославия), а также в Греции. V Отдел – в Болгарии и Турции. В связи с массовыми перемещениями российских эмигрантов по Европе в 1920-30-е годы, распределение Отделов РОВС по странам менялось. К 1938 году существовало шесть европейских Отделов: I – «французский», II – «германский», III – «болгарский», IV – «югославский», V – «бельгийский» и VI – «чехословацкий».
В состав Отделов РОВС входили объединения бывших однополчан, участников тех или иных важных событий Первой мировой и Гражданской войн: Союз участников Первого Кубанского похода генерала Корнилова, Галлиполийское Землячество в Брно, Общество Галлиполийцев в Словакии и другие. Были объединения, созданные по родам войск: Общество русских офицеров-артиллеристов в Югославии, Морская группа в Праге, Морской кружок «3вено», Объединение кавалерии и конной артиллерии в Праге… Объединения по профессиональному признаку: Пшибрамскии союз русских горных инженеров, Союз русских врачей, Союз русских сестер милосердия. Наконец, существовали военные объединения, создаваемые просто по месту проживания: Русский Воинский Союз в Праге, Русская Воинская Группа в Градеце Карлове и другие.
По данным Штаба РОВС в 1920-е годы в организации состояло 100 тысяч человек {{ Политическая история русской эмиграции… — С. 7; Шкаренков Л.К. Указ. соч. – С. 124.}} . На протяжении 1920-30-х годов в состав РОВС включались группы участников Белого движения, проживавшие не только в Европе, но также в США, Южной Америке, Китае и других странах и регионах. Создавались новые Отделы.
Количество организаций в составе РОВС постоянно увеличивалось, но при этом общая численность организации снижалась – многие утрачивали контакт со структурами РОВС. В этом проявились две тенденции, характерные для российской военной эмиграции. Часть ветеранов Белого движения переставала надеяться на возобновление борьбы с большевиками, погружалась в частную жизнь. Но другие, не отказавшиеся от идеи «весеннего похода», демонстрировали стремление к консолидации. К 1937 году РОВС насчитывал 13 отделов и подотделов, и объединял в себе около 30 тысяч человек {{ Русские во Франции. Справочник / Ред. В.Ф.Зеелер. — Париж: Изд. С.М.Сарач, 1937. — С. 86.}} . При сокращении численности, организация становилась более монолитной и целеустремленной.
В случае возобновления иностранной интервенции в СССР, РОВС уже не мог трансформироваться в армию, которая могла бы противостоять РККА. Но он мог стать костяком армии, рядовой состав которой предполагалось набрать из граждан СССР, настроенных враждебно по отношению к советской власти. Руководители РОВС делали ставку на то, что часть Красной Армии в ходе начавшейся войны может повернуть оружие против большевистского правительства. Принимался в расчет тот факт, что по своему социальному составу Красная Армия была преимущественно крестьянской, то есть враждебной по отношению к коллективизации.
Руководители РОВС заботились о том, чтобы белые офицеры поддерживали на должном уровне свои военные знания. В 1927 году в Париже начали работу Высшие военно-научные курсы, созданные для переподготовки офицеров и воспитания новых военных кадров. Курсами руководил генерал-лейтенант Н. Н. Головин, признанный военный теоретик, автор двух фундаментальных трудов: «Военные усилия России в Мировой войне» и «Российская контрреволюция в 1917-1918 гг.» В основу организации курсов была положена система обучения, существовавшая в Николаевской военной академии. В программу обучения, рассчитанную на 4,5 – 5 лет, входили: стратегия, тактика артиллерии, тактика воздушных войск, боевая химия, военная психология, война и международное право. На курсах преподавали известные военные специалисты П. Н. Шатилов, А. А. Зайцов и другие.
В белградском отделении Высших военно-научных курсов читал лекции генерал-майор Н. С. Батюшин – специалист по истории разведки времен Первой мировой войны. Курс его лекций был в 1939 году сведен в книгу «Тайная военная разведка и борьба с ней» {{ Рутыч Н. Биографический справочник высших чинов Добровольческой армии и Вооруженных Сил Юга России. (Материалы к истории Белого движения). — М.: «Regnum» — «Российский архив», 1997. – С. 41.}} .
Параллельно действовала Офицерская школа усовершенствования военных знаний, в которой чины РОВС знакомились с последними достижениями мировой военной науки. С 1932 года при Офицерской школе был организован отдел по изучению советской России {{ Русские без Отечества… — С. 83-84.}} .
Руководство РОВС заботилось о военно-политической подготовке нового поколения. Молодежные организации создавались практически во всех странах российского зарубежья. Наиболее массовыми были: Общество Русский сокол, Национальная организация русских разведчиков, Национальная организация витязей, Национальная организация скаутов. При РОВС действовали многочисленные военные курсы для подготовки и совершенствования знаний молодых офицеров, а также исторические кружки {{ Окороков А.В. Молодежные организации русской эмиграции (1920-1945 гг.). — М.: Приложение к газете «Станица». — 2000, — С. 3. }} .