Формальное назначение его послом состоялось 11 января 1798 года. Приезду Бернадота в Вену предшествовала, однако, некоторая дипломатическая возня. Париж, действуя довольно бесцеремонно и нахраписто, проигнорировал необходимый в таких щекотливых делах обычай получить на нового посла агреман. Австрийцы всполошились, забеспокоились и забили тревогу — их дипломатия ещё не привыкла иметь дело с безродными послами-республиканцами, врывающимися в дом, не постучав предварительно в дверь. Но чем больше Вена просила, чтобы французы воздержались от направления к ним посла-республиканца, тем больше Париж настаивал на своей кандидатуре. Канцлер Франц Тугут писал об этом Талейрану, но было уже поздно: Бернадот без паспортов и верительных грамот буквально прорвался через австрийские пограничные кордоны, и некоторое время спустя три замызганных грязью кареты, в одной из которых мелькал орлиный профиль Бернадота, загромыхали по мостовым австрийской столицы.
Талейран также проинструктировал Бернадота, что если Вена будет выступать против ввода французских войск в Рим, то Австрии нужно немедленно объявить войну. Он должен был также внимательно следить за тем, чтобы Австрия не противилась распространению революционных идей в Баварии и других германских курфюршествах и княжествах. Ему поручалось отслеживать контакты Вены с Петербургом, а также изучать возможность восстановления суверенной Польши и искать для этого нужных людей в Австрии. Талейрана интересовали, в частности, возможность присоединения к Австрийской империи всей Польши и планы империи в отношении Турции, например не собирался ли Франц II, как и его предшественник Иосиф II, заняться расчленением Оттоманской империи. Одним словом, генерал должен был в соответствии с тогдашней практикой наряду с дипломатической работой заниматься и разведывательной деятельностью. Работы было более чем достаточно, и Бернадот, привыкший ко всяким неожиданностям и контрастам, приступил к выполнению своих обязанностей со свойственным ему энтузиазмом, военными привычками и оригинальностью своего характера.
Вопреки совету Талейрана и к вящему раздражению венского двора Бернадот прихватил в Вену двух своих адъютантов — Виллата и Морэна, двух офицеров — Жерара и Туссэна, а также несколько поляков. Потом Талейран всё-таки уберёт некоторых из них и отзовёт их во Францию. Он хотел бы придать новому послу несколько опытных секретарей, но выбрать было не из кого — всех разогнали, уволили, гильотинировали, повесили, посадили в тюрьму или расстреляли. Пришлось назначить совсем молодых людей, не имевших дипломатического опыта работы: Эмиля Годэна отозвали из Турции, а Жана Батиста Фревилля — из Турина, из которых старшему было всего 25 лет. Э. Годэн, по мнению Хёйера, выполнял в Константинополе какую-то сомнительную роль и был личностью во всех отношениях подозрительной. В частности, он отличался ярко выраженными наклонностями интригана и, как утверждает шведский историк, сумел оказывать на посла влияние. В частности, он редактировал все отчёты и доклады Бернадота в Париж. Ж.-Б. Фревилль же, напротив, был человеком скромным и старался держаться в тени энергичного Годэна.
В Вене французского посла считали унтер-офицером, сделавшим удачную карьеру. Естественно, это ранило чувство его собственного достоинства. Благодаря заслугам на полях сражений, он считал себя равным другим и никаких зазрений совести по поводу своего происхождения не испытывал. "Он принадлежал к тем уверенным в победе натурам, — пишет Блумберг, — которые никогда не сомневаются в себе и которых ничто не может сбить с толку". Если ему понадобилось всего четыре года для того, чтобы сменить унтер-офицерские лычки на генеральские эполеты, то что может помешать стать ему вполне приличным послом?
Такое поведение обрекало миссию Бернадота на провал.
Он прибыл в Вену 8 февраля 1798 года и переночевал в таверне "Белый лебедь" — здание для посольства Франции ещё нужно было подобрать. Верительные грамоты ещё находились в пути из Парижа. Уже на следующее утро Бернадот узнал, что его статус завышен: австрийцы ждали не посла, а посланника, потому что австрийские интересы в Версале должен был представлять барон и посланник фон Дегельманн. Министру иностранных дел Австрии Ф. Тугуту пришлось предпринимать экстренные усилия, чтобы умилостивить русского посла, который в дипломатическом корпусе был дуайеном и, естественно, не собирался уступать пальму первенства "французскому бунтовщику". Ни один владелец дома в Вене не соглашался пустить посла республиканской Франции к себе на постой. С трудом уговорили князя Карла Лихтенштейна отдать под посольство первый этаж принадлежавшей ему гостиницы на улице Валльнерштрассе. Франц II рассматривал приём своими подданными посла Французской Республики как личное оскорбление, и некоторые из жителей Вены, осмелившиеся пригласить посла или его секретарей к себе в дом, поплатились высылкой из столицы. С первого же дня пребывания Бернадота в Вене за ним было установлено плотное наружное наблюдение, а тайная полиция приняла все меры к тому, чтобы завести в посольстве Бернадота своего агента. Франц II с большим интересом лично прочитывал материалы слежки и разработки французских дипломатов.
Посольство въехало в дом на Валльнерштрассе с большой помпой и шумом. Всё необходимое для хозяйства — мебель, посуду, экипажи, ливреи и т. п. — пришлось закупать на месте. Аренда дома составляла астрономическую сумму в 30 тысяч франков в год. Последним из Парижа с двумя польскими диссидентами, инструкциями Талейрана и верительными грамотами 20 февраля прибыл секретарь Э. Годэн. Его задержали на границе как французского шпиона, и Бернадот в конце февраля смог наконец передать австрийскому министру иностранных дел копию верительной грамоты и обговорить дату вручения оригинала императору Францу II.
Аудиенция у императора была назначена на 2 марта. Улицы, по которым должен был проезжать кортеж с французским послом, заранее были запружены народом. На лестницах, балюстрадах, в залах и коридорах императорского дворца толпились любопытные придворные и чиновники. Бернадота сопровождал министр кабинета Австрии граф Коллоредо. Беседа с императором за рамки протокола не вышла: посол вручил монарху свои аккредитивы, обменялся с ним парой фраз и представил ему членов своего посольства. Императрица сказалась больной, и протокольная встреча с ней была перенесена на более поздний срок.
Начало дипломатической деятельности было вполне сносным, но потом Бернадота стали преследовать ошибки и явные просчёты, проистекавшие в основном из инструкций Талейрана, которым он неукоснительно следовал, и неудачных советов Годэна. Так получилось, например, с эрцгерцогом Карлом. Эрцгерцог, достойный противник Бернадота на поле брани, попал к своему императорствующему брату в опалу и в Вене пока отсутствовал. Встреча с ним была намечена на 12 марта, но за день до этого эрцгерцог послал к Бернадоту курьера и сообщил, что принять его в указанный день не может, поскольку должен был сопровождать брата на охоту. Наследник предлагал встретиться днём позже, но Бернадот, строго следуя инструкциям Талейрана, сделал оскорблённый вид и дал знать эрцгерцогу, что "предоставленной привилегией воспользоваться, к сожалению, не может".
Бернадот отказался нанести протокольный визит своим коллегам-послам и исключение сделал лишь для послов Турции и Испании. О своём прибытии он, тем не менее, известил дипкорпус (кроме английского и ганноверского послов), разослав им свои визитные карточки, в которых снисходительно подтвердил, что сам он протокольные визиты принимать намерен. Такой афронт в дипломатическом этикете неприемлем, и вряд ли кто захотел воспользоваться приглашением нанести визит французскому послу, потому что первые протокольные визиты, независимо от национальности и возраста, должен наносить коллегам только что прибывший в столицу дипломат, а не наоборот.
Бернадоту на одном приёме удалось познакомиться с временным поверенным в делах Швеции Ф.-С. Сильверстольпе (1769–1851), первым шведом, которого он встретил в своей жизни. Швед выяснил, что в повседневном общении посол Франции оказался приятным человеком. "Французский посол, несомненно, завоюет здесь большие симпатии, — с апломбом докладывал Сильверстольпе в Стокгольм. — Его скромная сущность проявляется в разговорах как с высшей аристократией, так и с представителями средних классов".