Зиму 1847/48 года Айвазовский провел в Петербурге и в Москве, где тоже организовал персональные выставки, которые лишь упрочили его славу. Но и в столице художник не отступал от привычного образа жизни: первую половину дня он работал в мастерской, а вечерами посещал театр или бывал у знакомых. Богатый академик живописи, 30-летний профессор академии, он теперь считался завидным женихом. Ивана Константиновича даже начали тяготить эти «смотрины» девушек на выданье из приличных домов. Но ведь вода и камень точит. Однажды Одоевский пригласил его в дом, пообещав, что там они обязательно встретят Глинку. Пообщаться им толком и не удалось, в беседу все время вступали с «умными разговорами» дамы; Глинка ретировался за рояль, а Айвазовский и вовсе замолчал. Девицы обиделись и стали обсуждать новую тему: художник не умеет держать себя в светском обществе. Хозяйка дома тут же распорядилась позвать в гостиную младших детей, чтобы и те могли послушать игру композитора.

Детей привела гувернантка-англичанка. Девушка была очень хороша собой, а строгое темное платье и просто причесанные волосы выгодно выделяли ее из толпы разодетых и жеманных дам и девиц. Ивана Константиновича поразило ее одухотворенное лицо и то, как просто и естественно она слушала музыку. Девушка заметила повышенное внимание, но ничем себя не выдала, хотя одетый со скромным изяществом незнакомец с черными густыми волосами, с большими бакенбардами, высоким лбом и доброй улыбкой ей приглянулся. Возможно, что эти взгляды окончились бы лишь мимолетной симпатией, но тут Глинка предложил Айвазовскому помузицировать и спеть. Художник стал отказываться, но глаза девушки просто умоляли ответить согласием, видно, не часто у нее была возможность побывать в обществе, да еще и послушать хорошую музыку.

Хозяин дома принес старинную скрипку, и Иван Константинович, расположив ее у себя на колене, начал играть и петь. Еще никогда ему не приходилось исполнять столько песен о любви… Он пел по-итальянски, и слушатели оценили его свободно льющийся красивый голос. Когда Айвазовский закончил свое выступление и все принялись выказывать свое восхищение, гувернантки с детьми в комнате уже не было, но ее скромный образ глубоко запал в сердце художника. В ту же ночь он нарисовал ее портрет, на котором особенно выделялись милые глаза. С того вечера художник зачастил в этот дом, напрочь забросив работу. Он узнал, что девушку зовут Юлия Яковлевна Гревс, она дочь английского штабс-доктора, находящегося на русской службе. В гостиной она больше не появлялась, но Айвазовский пошел на хитрость – он предложил давать уроки рисования старшим (уже перессорившимся из-за него) сестрам и младшим детям, которых на занятия, естественно, сопровождала гувернантка. Обмен короткими фразами по вопросам искусства показал, что девушка достаточно образованна, может высказать свое мнение, а главное, скромна и обаятельна в общении, и, казалось, лишена меркантильности. Иван Константинович безоглядно влюбился, спустя две недели признался в своих чувствах и предложил Юлии стать его женой.

Через несколько дней Петербург облетело известие, что знаменитый художник женится на обычной гувернантке. В гостиных говорили, что при своей славе, красивой внешности, обеспеченности художник мог бы породниться со знатной дворянской фамилией. Высший свет не одобрил выбор Айвазовского, а двери некоторых домов даже закрылись перед ним – многие вдруг вспомнили о его плебейском происхождении. Для Ивана Константиновича это послужило сигналом: «Пора домой». Сразу после венчания Айвазовский привез молодую жену в только что отстроенный дом. В родной Феодосии все были рады счастью земляка. Пировал весь город, дорогу перед молодыми устлали ковром из живых цветов, джигиты показывали свое мастерство, гремела музыка. В разгар празднества в Феодосийскую бухту вошла эскадра из Севастополя, шесть кораблей встали на рейд и зажгли иллюминацию. Присутствовавший на свадьбе Александр Иванович Казначеев воскликнул: «Столь много радости в день празднования свадьбы предвещает долгую счастливую жизнь!» Но, как оказалось, только не семейную.

Поначалу жизнь молодых была вполне благополучной. Художник писал одному из друзей: «…Я женился как истинный артист, то есть влюбился, как никогда. В две недели все было кончено. Теперь, после восьми месяцев, говорю Вам, что я так счастлив, что я не воображал половину этого счастья. Лучшие мои картины – те, которые написаны по вдохновению, так как я женился». Юлия Яковлевна, как казалось, разделяла интересы Ивана Константиновича и даже принимала активное участие в археологических раскопках близ Феодосии, начатых мужем в 1853 году. Айвазовский провел археологические изыскания пяти курганов и в одном из них нашел женское погребение с золотыми украшениями работы искусных ювелиров IV века до н. э. Эти находки – серьги, ожерелья, цепочки – и сегодня являются ценными экспонатами в Эрмитаже. То, чего удалось достичь Айвазовскому во время раскопок, было самым большим вкладом в изучение прошлого Феодосии и навсегда вписало имя живописца в археологическую науку.

В семье Айвазовских через год после свадьбы родилась первая дочь Елена, а вслед за нею еще три – Мария (1851 г.), Александра (1852 г.) и Иоанна (Жанна, 1858 г.).

Между тем отношения супругов вскоре дали трещину. Оказывается, не о такой жизни мечтала Юлия Яковлевна. Ей, как жене знаменитого художника, хотелось блистать в столице, в удовольствие путешествовать за границей, а не сидеть затворницей. Ее тянуло к аристократическому обществу. Но как она не уговаривала мужа, тот наотрез отказывался покидать Феодосию. Тогда она сама начала давать балы и приемы, внося сутолоку в размеренную и подчиненную работе жизнь художника. Иван Константинович сердился, начинались взаимные упреки, перераставшие в скандалы. Юлия Яковлевна попрекала мужа плебейскими замашками и знакомствами, демонстративно отворачивалась, когда муж возвращался после встречи с рыбаками или ремесленниками. Она считала, что приносит себя в жертву. Очередная серьезная размолвка между супругами случилась в 1853 году в Харькове, куда художник эвакуировал семью после высадки турок в Крыму. Айвазовский рвался в осажденный Севастополь: «Поймите, Юлия, как же я могу оставаться здесь, когда числюсь живописцем Главного морского штаба!» – «Вот и следуйте примеру штабистов, сидите в тылу», – возражала жена, но он все-таки поехал.

Юлия Яковлевна так и не смогла привыкнуть к полету фантазии мужа-художника и часто говорила ему, что он пугает ее своим бредом. Постепенно проявилась несхожесть их вкусов, привычек и отношения к жизни. Все попытки Айвазовского если не изменить, то хотя бы смягчить взгляды жены встречали с ее стороны надменный и непреклонный отпор. Он любил Юлию Яковлевну, и глубокое разочарование в ней было для него мучительно. Зато она прекрасно знала, что покойный царь Николай I был недоволен «бегством» Айвазовского в Феодосию. Теперь она твердила, что надобно вернуть благосклонность императорского двора. Иван Константинович оставался глух ко всем этим просьбам. В конце концов супруга стала все чаще уезжать одна, жить самостоятельно то в Петербурге, то в Одессе. Там у нее появилось много светских друзей и знакомых, среди которых она превосходно себя чувствовала. А на 12-м году совместной жизни, сославшись на необходимость дать дочерям образование, Юлия Яковлевна вместе с детьми поехала в Одессу, да так оттуда и не вернулась. О муже она вспоминала, только когда ей были нужны деньги. Дальнейшие их отношения складывались очень тяжело: Юлия Яковлевна всячески препятствовала общению отца с дочерьми. Только время от времени она позволяла им его навещать.

Друзья несколько раз пытались помирить Айвазовского с женой, но все оказалось безуспешным. Юлия Яковлевна продолжала клеветать на мужа, писала царю жалобы, просила, чтобы он обязал его каждый месяц выплачивать ей триста рублей, хотя он и без этого давал ей намного больше. Сохранилась «Памятная записка тайного советника Ивана Константиновича Айвазовского по бракоразводному делу», из которой выясняются некоторые детали: «При болезненно-раздражительном характере в жене Айвазовского развилось нечто вроде линии – жаловаться, клеветать, позорить своего мужа не только на словах и в частном быту, но и письменно, в многочисленных прошениях и жалобах, которые по своей неосновательности не могли иметь никаких других последствий кроме того, что совместное жительство сделалось далее невозможным, и в последние 20 лет супруги почти не виделись».