Германское присутствие на Святой земле в течение долгого времени было довольно скромным. Историки относят к 1198 г. дату превращения в военный орден монашеской организации, созданной в XII в. с целью оказания помощи немецким крестоносцам, оказавшимся в трудном положении. Это учреждение было известно как госпиталь Святой Марии Иерусалимской.

Когда и при каких условиях было основано этот первое милосердное заведение, призванное помогать германцам? По этому поводу существуют самые разные мнения. Отсутствие или неточность источников практически не позволяет установить, что является правдой в легендах и тайнах, которыми окутано создание госпиталя Святрй Марии Иерусалимской. Порою за точку отсчета берут великодушный поступок одного немецкого купца, вероятно, родом из Бремена или Любека, осевшего с женой в Святой земле в конце XI столетия. Он якобы приютил в своем доме германского рыцаря, который, получив тяжелую рану во время штурма крестоносцами Иерусалима в 1099 г., замертво рухнул на одной из улиц старого города. Супруги взяли на себя заботу о раненом рыцаре и вернули его к жизни. В последующие годы они взялись помогать больным или раненым соотечественникам, будь то рыцари или простые паломники. С согласия патриарха Иерусалима Стефана это неофициальное милосердное учреждение превратилось в настоящий госпиталь с пристройкой для жилья, в некотором роде гостиницу для германских паломников, вверенное покровительству святой Девы Марии Иерусалимской. Госпиталь и средства, которые щедрые супруги завещали после смерти братьям, т. е. монахам, стал с тех пор именоваться госпиталем Святой Марии Немецкой в Иерусалиме.

Документ, достоверность которого ставится под сомнение, выданный папой Целестином II 9 декабря 1143 г. и упомянутый в булле «Ex parte dilectorum» папы Григория IX от 17 августа 1229 г. вроде бы подтверждает, что этот госпиталь передан в ведение ордена госпитальеров Св. Иоанна; правда, подразумевалось, что госпиталь Святой Марии должен иметь приора германского происхождения. В архивах департамента Буш-дю-Рон сохранилась копия текста буллы Целестина П. Если допустить достоверность документа, то он действительно подтверждает существование странноприимного дома, основанного упомянутым немецким купцом и его супругой. Существование госпиталя Св. Марии подтверждено отрывком из текста историка Жака де Витри, спустя столетие ставшего епископом Акры. В своей «Восточной истории», в книге I, которая охватывает период до 1193 г., хронист упоминает об этом событии:

«Тогда как после освобождения Святой город был населен христианами и многочисленных германских паломников, приезжавших в Иерусалим, понимали, ведь они разговаривали на родном языке, Божией милостью один достойный и благочестивый немецкий купец, проживавший в городе с супругой, основал на свои собственные средства приют, предназначенный для бедных и больных германцев. Поскольку множество его соотечественников обращались только к нему, так как говорили на одном с ним языке, то, с согласия патриарха, он построил часовню рядом с приютом во имя Пресвятой Марии, Матери Божией. И тогда многие люди, прежде всего германцы, отказались от своего добра и, побуждаемые любовью к ближнему и самоотверженностью, посвятили себя служению людям». Мариан Тумлер предлагает принять дату «1118 год», предложенную Жаком де Витри, хотя не исключает дату более позднюю — 1128 г. Если принять дату 1118 г., то формально не окажется противоречий с легендой об акте милосердия со стороны супружеской пары, приютившей у себя рыцаря, которая впоследствии — приблизительно двадцать лет спустя — создала милосердное заведение.

Меньшее, что теперь можно сказать, — то, что об истоках изначальной организации госпиталя Св. Марии Немецкой в Иерусалиме известно очень немногое. Зато достоверно, что в середине XII в. в Иерусалиме существовал госпиталь и дом для помощи и лечения германских паломников; при нем состоял немецкий приор, а само учреждение было вверено власти госпитальеров ордена Св. Иоанна.

Орден госпитальеров берет начало от госпиталя Св. Иоанна, основанного в Иерусалиме в 1070 г. торговцами из Амальфи, дававшего приют и заботившегося о бедных пилигримах. Его основатель, Мауро ди Панталеоие, организовавший такой же госпиталь в Антиохии, умер в 1071 г.; дальше его финансово поддержала амальфийская община. Этот госпиталь-приют находился в квартале Муристан между базарной улицей и церковью Гроба Господня. Во время Первого крестового похода наставник общины Св. Иоанна, некий Жерар, передал информацию осаждающим и тем самым облегчил крестоносцам взятие Святого города. В начале XII столетия госпиталь был преобразован в монашеский орден, который стал называться орденом Госпиталя Св. Иоанна, После смерти блаженного Жерара 3 сентября 1120 г. орден госпитальеров стал одним из самых влиятельных на Святой земле и официально признанным папой. При его преемнике магистре ордена Раймонде де Пюи орден постепенно, с 1137 г., помимо благотворительной деятельности начинает заниматься и военной. Орден принимает активное участие в военных действиях, правда, на первых порах оборонительного характера. К трем традиционным обетам: бедности, целомудрию и смирению, которые приносили обычные монахи, госпитальеры прибавляют еще один — защищать Святую землю с оружием в руках от неверных. Они должны были обеспечивать защиту паломников, посещающих различные святыни. Однако госпитальеры никогда не отказывались от своего первого предназначения; они были распределены по командорствам и приорствам, которые, в свою очередь, делились на «нации», или «языки». «Язык Прованса» занимал почетное место, поскольку то был язык учредителя ордена госпитальеров, Жерара. Госпитальеры основали приорат в Европе, в Сент-Жиль-дю-Гар, откуда отправлялись в Святую землю паломники южной Франции. Вероятнее всего, вследствие деления на «языки», госпиталь Святой Марии Немецкой был присоединен к ордену госпитальеров Св. Иоанна и отдан под их под опеку.

Постепенная милитаризация госпитальеров Св. Иоанна не была чем-то исключительным в XII столетии в Иерусалимском королевстве. Очевидно, это превращение монашеского ордена, занимавшегося благотворительной деятельностью, в военный орден произошло по примеру ордена тамплиеров. Орден тамплиеров, истоки которого так же малоизвестны и окружены тайной, как и тевтонского, возник как военный орден в 1118-1119 гг. под названием «Орден бедных рыцарей Христовых». Согласно историку Жаку де Витри, «они дали патриарху Иерусалимскому торжественную клятву, что будут защищать паломников от разбойников и грабителей, охранять дороги и служить государю как рыцари… Во главе ордена встали Гуго де Пейен и Годфруа Сент-Омер. <…> Король Балдуин поселил их в своем дворце, построенном на развалинах Храма Соломонова. <…> Позже их стали звать тамплиерами». Во время церковного собора в Труа в 1128 г. в присутствии папского легата, а возможно, и самого святого Бернара Клервоского, тесно связанного с Гуго де Пейеном, тамплиеры получили от папы Гонория II (1124-1130) устав ордена, составленный в подражание бенедиктинского устава; в нем оговаривались и военные обязанности тамплиеров.

По сравнению с госпитальерами Св. Иоанна и тамплиерами, братья госпиталя Святой Марии Иерусалимской занимали весьма скромное место, да и о деятельности их в первое десятилетие существования, в принципе, мало что известно. Однако братья госпиталя Святой Марии Немецкой продолжали оказывать помощь паломникам германского происхождения. Последних было, без сомнения, намного меньше, чем тех, кто приезжал из Франции или Италии. После Второго крестового похода 1147-1148 гг. под предводительством императора Конрада III и некоторых членов его семьи, среди которых были его братья — епископ Оттон Фрейзингенский и герцог Генрих Австрийский, — племянник Фридрих Швабский, будущий Фридрих Барбаросса, и многочисленные германские рыцари (из них надо выделить маркграфа Германа Баденского), немцы стали все чаще и чаще отправляться воевать в Палестину. Но лишь после Третьего крестового похода немцы прочно закрепились на Святой земле.