На этом пути пересекли еще одну ветвь Великой стены, а затем главную стену, на границе с Монголией. Здесь башня с воротами была в полной сохранности и запирала проезд по дну долины. Возле нее стоял на возвышении ямын местного чиновника, сборщика пошлин; но самая стена была сильно разрушена. Поздно вечером 5 июля экспедиция прибыла в Гуй-хуа-чен, где с трудом нашла место в переполненных постоялых дворах, переезжая в темноте от одного к другому. Ночью кто-то украл несколько седел, а на следующий день экспедиция переселилась в подворье католической миссии, где патер Кейла отвел ей флигель на отдельном дворе. После грязи и беспокойства постоялых дворов путешественники могли отдохнуть и помыться на просторе и в тишине. Ворота подворья держали все время на запоре.
Гуй-хуа-чен, по-монгольски Куку-хото (голубой город), представлял крупный торговый пункт, в котором снаряжались караваны в Джунгарию, Кобдинский округ, а также в Западную Сибирь и через который везли товары туда и обратно. Он состоял из двух городов—старого и нового; в последнем жил китайский губернатор и помещалось войско. В старом городе жили купцы; центр города был обнесен зубчатой стеной с башнями по углам и над воротами, как принято в Китае, но эта часть его обросла предместьями, которые занимали в семь раз большую площадь; вся главная торговля, оптовые склады и лучшие магазины находились в предместьях. В них было несколько рынков, до 200 чайных фирм, около 16 монастырей и кумирен, посвященных разным божествам. Одна кумирня была посвящена богу войны, царю мертвых, богу врачей, богу лошадей и богу дождя, другая — богу торговли; в нее приходили купцы молиться о барышах. Третья кумирня была выстроена в честь солнца и луны. Четвертая называлась храмом ворожей; в нее приходили советоваться о болезнях, потерях, войне и вынимали из урны деревянные таблички с предсказаниями, смысл которых искали в особой книге. Были кумирни в честь Конфуция и в честь бога актеров.
Потанин посетил некоторые кумирни и встречал в них любезный прием, если его слуга клал деньги на алтарь. Тогда ламы просили его собственноручно зажигать масляные лампады и охотно объясняли название богов, статуи которых стояли у стен. В архитектурном отношении наибольший интерес представляла кумирня У-та-сы (пяти башен), хотя она была запущена и наполовину состояла из развалин; в ней в отдельном дворе возвышался высокий храм тибетской архитектуры, разделенный выступами на семь этажей с барельефами богов, по 140 в каждом. Здание было увенчано пятью башнями, из которых средняя имела семь этажей, угловые по пяти этажей, нижние этажи их имели ниши со статуями богов. Во внутрь здания вела огромная арка.
Во дворе одного монастыря Потанин увидел здание, которое только что отделывали; все простенки, двери, потолки и карнизы этого здания были покрыты пейзажами и сценами из китайской жизни — не духовными, а светскими. Он думал, что это — помещение для почетных гостей, но ему объяснили, что оно назначено для нового гэгэна, которого ждут из Тибета. Последний гэгэн этого монастыря умер уже восемь лет назад и только теперь возродился в Тибете. Позже путешественник убедился, что в других монастырях кельи монахов украшают не религиозными, а светскими картинами по китайским образцам. Национальное искусство у монголов в то время еще не развилось.
Потанин совершил также поездку в окрестности города; неподалеку от него высился огромный холм, насыпанный из глины, с крутыми боками. Его назвали Чао-джюн-фын. По словам одних, он был насыпан над могилой императрицы династии Хань, выданной в Монголию замуж по договору после войны и умершей на чужбине, а по рассказам других, здесь была погребена одна из жен Чингис-хана, которая тяжело ранила его и утопилась в Желтой реке.
Гуй-хуа-чен очень древний город, испытавший много превратностей судьбы во время войн между монголами и китайцами. По преданию, он обязан своим именем тому, что в древности здесь жила огромная черепаха (гуй по-китайски). Монголы пытались убить ее, но не могли. Они узнали, что если на этом месте построить город, он раздавит ее своей тяжестью, но средств для постройки не имели. Поэтому они подарили землю императору Кань-си с условием, чтобы он построил город. Так возник китайский город на монгольской земле, но доходы с земли, по распоряжению Кань-си, поступали в пользу монголов племени тумут.
Экспедиция провела в Гуй-хуа-чене 25 дней, собирая сведения о торговле, о монастырях и кумирнях и организуя караван для дальнейшего пути. Двух китайских слуг, взятых в Пекине, пришлось рассчитать. Один оказался курильщиком опиума, а другой чем дальше, тем больше важничал и хотел играть роль не слуги, а распорядителя суммами экспедиции, не забывавшего и свой карман.
Потанин искал теперь монголов, более приспособленных к путешествию, чем городские китайцы, и более нужных для собирания сведений по географии и этнографии. Вместо палаток экспедиция имела верхние части монгольских юрт — обахаи, состоявшие из верхнего круга и стрел (кривых палок), которые одним концом упираются в землю, а другим засовываются в верхний круг и покрываются войлоками. Для устойчивости эти обахаи требовали переделки. В полной юрте они привязываются к решетке, составляющей низ юрты. Обахай для перевозки легче, чем полная юрта, но верхний круг должен быть очень легкий, иначе под напором ветра он приходит во вращательное движение, обахай спиралью скручивается и садится на головы обитателей. Обахай тяжелее палатки, но он поместительнее, непромокаем, защищает от солнца летом и может отапливаться. В Пекине удалось найти только тяжелые верхние круги, распространенные в южной Монголии; их нужно было заменить более легкими, так как предстоял путь по странам, где не было постоялых дворов.
31 июля экспедиция вышла из (Гуй-хуа-чена на юг, к Желтой реке, по обширной равнине, населенной китайцами и монголами-тумутами; те и другие были земледельцы. Тумуты сильно окитаились, говорили по-китайски, жили оседло в фанзах, которые отличались от китайских только флагами с буддийскими молитвами, поставленными на крышах. Женщины сохранили монгольские головные уборы и серьги, а в пище сохранилось употребление молока, совершенно отсутствующее у китайцев. На пути члены экспедиции видели валы и остатки старого города, которые упоминаются уже путешественниками XVII и XVIII веков. Через Желтую реку в Хэкоу переправились на двух больших лодках. Вода этой реки имела буро-желтый цвет (откуда и название ее Хуанхэ, т. е. Желтая река) от ила, который она несла в количестве 3—4%. На переправе было много хлопот с 16 верблюдами: они не желали перешагивать через высокие борта лодки, ревели и плевались.
За рекой экспедиция вступила в пределы Ордоса. Эта страна занимает северную половину площади огромной излучины, описываемой Желтой рекой, которая, выходя из пределов Китая, обрезала от Монголии южную часть ее степей и потом опять повернула в Китай. Ордос занят большими площадями сыпучих и заросших песков, степями, плоскими горными грядами, а на западе более высокими горами; он населен монголами, а по южной и восточной окраинам — также китайцами. Он был разделен на семь хошунов (княжеств), которыми управляли князья из потомков Чингис-хана. Старший из них имел титул «вана».
Экспедиция прошла на юго-запад вдоль восточной окраины Ордоса и после двух переходов прибыла к стоянке князя хошуна Джунгор, представлявшей глинобитный городок и отдельные усадьбы, окруженные деревьями. Окрестности были очень унылые со скудной растительностью на песчаных холмах и пересыхающей речкой. Князь принял путешественников в отдельной усадьбе, перед воротами которой стояли две высокие мачты — обычное отличие жилищ важных чиновников. Передняя часть двора представляла цветник и сад из нескольких деревьев. В усадьбе комнаты были уставлены хорошей мебелью, стены увешаны картинами. Но это был приемный дом, жил же князь в городке. Он считался образованным человеком, интересующимся европейцами. Князь особенно любил часы и имел коллекцию их в 200 штук, занимался их разборкой и сборкой, а также слесарным делом. Он принял путешественников очень любезно, дал им конвой из пятерых монголов и распорядился, чтобы все князья давали конвой при проезде экспедиции через их хошуны.