Последним правителем крепости, с 1 августа 1838 г., был Александр Гаврилович Ротчев. К этому времени стало понятно, что место для поселения Росс было выбрано неудачно. Открытая ветрам и волнам со стороны океана бухта не давала надежного укрытия судам. Местоположение колонии Росса было больше приспособлено к обороне, чем занятию сельским хозяйством. Узкая полоска земли между океаном и горами не могла дать в достаточном количестве хлеба и овощей, чтобы прокормить русское население Аляски. При этом частые туманы с океана сводили на нет все усилия земледельцев. В скотоводстве достигли большего успеха: в конце 1830-х гг. здесь было 1700 голов крупного рогатого скота, 940 лошадей и мулов и 900 овец. Ежегодно производилось более 800 кг шерсти, которая шла на экспорт. И все же вольный выпас не оправдывал затрат: после шестимесячного сухого сезона пастбища не могли прокормить животных, которые разбредались по отдаленным окрестностям.

Ремесленники колонии изготавливали мебель, двери, рамы, черепицу из секвойи, телеги, колеса, бочки, «коляски о двух колесах», выделывали кожи (70–90 штук ежегодно поставлялось в Новоархангельск), обрабатывали железо и медь. Строились суда, продавая некоторые испанцам, не имевшим до того времени здесь ни одного корабля. Но, несмотря на эти достижения, селение было убыточным. Пшеница не давала хорошего урожая, обмен с хозяевами страны — испанцами не приносил ощутимой прибыли. Сильно сократилась и местная популяция пушных зверей, поэтому живность в округе была быстро выбита и торговля пушниной со временем сошла на нет. Историк Российско-Американской компании Тихменев подвел такой итог: «Как стратегический пункт, по отдаленности своей от колонии, заселение не могло иметь также никакого значения, тем более, что и небольшой залив Бодего не мог соответствовать этой цели. Словом сказать, при таком положении дела заселение представляло собой для колоний только тяжелую обузу».

После соглашения администрации Российско-Американской компании в Новоархангельске (ныне Ситка) и Компании Гудзонова залива в форте Ванкувер надобность в поставках продовольствия из Форт-Росса отпала. В 1839 г. Российско-Американская компания приняла решение оставить Росс и продать его. Международный статус фактории Росс так и не был определён: правительство Мексики, продолжавшее считать землю под Россом своей, не пожелало платить за неё, ожидая, что русские просто забросят колонию. Наконец, 13 декабря 1841 г. был подписан контракт между А. Г. Ротчевым и гражданином Мексики швейцарского происхождения Джоном Саттером о продаже ему всей недвижимости Росс за 30 тыс. пиастров, или 42 857 руб. серебром. В Америке имя Джона Саттера (John Sutter) (Иоганн Август Зуттер) (23 февраля 1803–18 июня 1880), калифорнийского предпринимателя швейцарского происхождения, известно в связи с золотой лихорадкой: в 1848 г. вблизи лесопилки Саттера было обнаружено первое золото. Впоследствии на его земле основали столицу Калифорнии город Сакраменто. Известно также, что он имел тесные связи с русскими, в частности, с последним правителем РАКа Ротчевым, и приезжал в Новоархангельск. В Форт-Россе Саттер никогда не жил, назначая туда наёмных управляющих.

Злоключения крепости на этом не закончились. Мексиканские власти признали сделку недействительной и через четыре года передали Форт-Росс другому владельцу. Их сменилось немало, и каждый приспосабливал бывшую крепость для своих нужд: под лесной склад, богатое ранчо, непритязательный отель или веселый салун-трактир. Последним управляющим был Вильям Бенитц (William Benitz), который стал арендовать Форт у Саттера. Он в несколько раз увеличил старый русский сад, расширил дом Ротчева, где и жил с 1846 г., построил причал. В 1867 г. Бенитц разделил свои владения на две части и продал их разным покупателям. Форт отошел к Джеймсу Диксону (James Dixon), а 1873 г. его выкупил за 35 тыс. долларов Джордж Колл (George W. Call), поселившийся там с семьёй и превративший его в небольшой интенсивно используемый порт. Тогда же бывшая русская колония начала привлекать первых туристов. В 1903 г. Колл продал Форт Калифорнийской лиге исторических объектов (California Historical Landmarks League), которая в 1906 г. перепродала его штату Калифорния. Это случилось за месяц до сильнейшего землетрясения, разрушившего Форт. К 1916 г. он был восстановлен по сохранившимся деталям. Это бедствие не было последним: 5 октября 1970 г. пожар полностью уничтожил часовню. Через несколько месяцев после этого сгорела крыша дома Ротчева.

Для выходцев из России Форт-Росс был частичкой утерянной родины, и в русских общинах нет-нет да и возникали инициативы по его реконструкции и созданию музея. А. П. Фарафонтов, П. С. Оленич, В. Н. Арефьев, Г. Е. Родионов, Т. Ф. Токарев, входившие в Деловой комитет по созданию музея Форт-Росса, а также семья Лебедевых и отец А. Вячеславов провели первые реставрационные работы в часовне. Ее открыли 4 июля 1925 г., когда было совершено первое богослужение. В дальнейшем этот день отмечался ежегодно: прихожане Свято-Троицкого собора в Сан-Франциско устраивали паломничество в Форт-Росс, где торжественно проводилась литургия.

Через 12 лет, в 1937 г., эти деятели стали основателями Русского исторического общества в Америке, в которое вошли многие известные ученые, интересующиеся русской историей, как из Америки (А. П. Кашеваров, Г. З. Патрик, Е. А. Москов и др.), так и из Европы (С. Г. Сватиков и др.). Первый председатель А. Фарафонтов со своими коллегами предложил два основных направления деятельности: просветительская и научно-исследовательская. Сразу же были установлены связи не только с известньщи исследователями-американистами, но и с университетами (Калифорнийским и Вашингтонским), библиотекой Конгресса и Калифорнийским историческим обществом. Деятели Общества продолжили работы по приведению в порядок развалившейся крепости Росс, а также занялись составлением очерка по ее истории. Первые труды членов Общества вышли в Записках. Был также выполнен проект памятника-часовни Русской славы, который хотели установить на Русской горе в Сан-Франциско.

12 декабря 1937 г. в помещении бывшего Русского клуба открылась читальня Общества, работавшая ежедневно по вечерам с 6 до 9 часов. Литература в основном была подарена членами русской общины, и в первое время ее было немного, но имелись свежие газеты и журналы. Активисты Общества не оставляли мысль о создании музея и предпринимали попытки для этого. Они опубликовали обращение к русским общинам, а также организовали несколько выставок, в частности, о русских изданиях в Америке. В дальнейшем Общество расширило свою деятельность и открыло отделение в Нью-Йорке.

Душой Общества был его председатель Александр Павлович Фарафонтов. Выехав из России, он сначала жил в Харбине, где основал фирму «Натуралист» с магазином и мастерской, затем переселился в Шанхай. В 1935 г. 46-летний предприниматель эмигрировал из Шанхая в США, поселившись в Сан-Франциско, но с Китаем связи не порвал: его статьи появлялись в харбинском «Рубеже» и других изданиях. Он скончался 19 февраля 1958 г.

В числе основателей Общества был и житель Сиэтла Павел Васильевич Шкуркин, автор многих книг и статей по китаеведению и обладатель прекрасной востоковедческой коллекции. На заседаниях, которые в основном проходили на частных квартирах, он читал интересные доклады, помогал энтузиастам-историкам, а также содействовал Обществу в издании его «Записок», предоставляя для публикации своц наиболее интересные статьи. Так, в «Записках» вышел его научно-популярный очерк «Открытие Америки (не Колумбом)».