В 654 г. (в возрасте двух лет) Константин IV был провозглашён соправителем своего отца. В 659 г. в семье появились ещё двое сыновей – Гераклий и Тиберий. Когда в 663 г. Констант II отправился в Италию, одиннадцатилетний Константин был оставлен в Константинополе формально заведовать делами столицы империи.

После посещения своих италийских владений и ряда военных столкновений с лангобардами (древнегерманское племя, которое поселилось на севере Италии в 568 году – после вторжения на Аппенинский полуостров) Констант обосновался в Сиракузах на Сицилии. Заниматься делами восточной части империи он практически перестал, и даже ходили слухи, что он собирается вернуть столицу из Константинополя в Рим.

Возможно, эти планы соотносились с жестокими преследованиями, которым Констант II подвергал православных противников своей монофелитской религиозной политики (Монофелитство – христологическая доктрина, признающая одну волю Богочеловека Иисуса Христа. Согласно монофелитству, Христос воли́т и как Бог, и как человек своей единой волей. Доктрина была сформулирована в VII веке Патриархом Константинопольским Сергием с подачи Папы Римского Гонория – как следствие поиска императором Ираклием церковного единства между халкидонитами и нехалкидонитами в Византии).

15 сентября 668 г. Констант, омываясь в бане, был убит своим сакелларием (церковный сан, равный диакону в современном толковании) Андреем. Заговорщики избрали новым императором армянина Мжежа («Мизизия»). Тем временем в Константинополе императором был провозглашён сын покойного Константа – шестнадцатилетний Константин, соправителями которого с титулами Августов («священных», «великих») стали его младшие братья Гераклий и Тиберий.

Мятеж на Сицилии удалось вскоре подавить при помощи италийских гарнизонов, без вмешательства центральных властей. Гораздо более серьёзная опасность грозила новому императору с востока.

В течение предыдущих трёх десятилетий империя терпела почти непрерывные поражения от арабов. В 637 г. была потеряна Сирия, в 639 г. – Армения и Египет, в 652 г. – ряд областей в Северной Африке, в 654 г. – Кипр. Небольшая передышка возникла в 656 г., когда в Халифате вспыхнула гражданская война, однако уже в 661 г. новый халиф Муавия возобновил арабское наступление. Мусульманские отряды начали прорываться через горы Тавра (южные прибрежные горы на территории современной Турции), оказавшиеся к тому времени естественной границей между греческой Малой Азией и арабской Сирией.

Новое обострение военных действий совпало с гибелью Константа II в 668 г., после которой стратиг (главнокомандующий войском с полномочиями распоряжаться финансами и вершить суд во вверенном ему войске) Армениака Шапур поднял мятеж и провозгласил себя императором. Мятежник направил посла с просьбой о помощи в халифскую столицу Дамаск. В ответ Муавия направил к нему войско во главе с полководцем Фадалой бен Убайдом на подмогу. Однако ещё до прихода арабов Шапур погиб от несчастного случая, а его войско перешло на сторону Константина IV.

Муавия выслал в помощь Фадале вторую армию во главе со своим сыном Йазидом. В 669 г. объединённые арабские силы пересекли всю Малую Азию, дойдя до города Халкидона, лежавшего на противоположном Константинополю берегу Босфора.

Арабы оставили во взятом ими Амории (византийский город в центре Малой Азии) пятитысячный гарнизон, что свидетельствовало об их намерении закрепиться в Анатолии. Однако в одну из ночей зимы 669–670 г. императорские воины во главе с сакелларием Андреем сумели незаметно взобраться на стены аморийской крепости и перебить всех арабов, укрывшихся от холода в домах.

Это не остановило Муавию. У него возник план захвата Константинополя при помощи флота, который должен был постепенно продвигаться к столице империи вдоль берега, создавая по пути опорные базы. В качестве основной базы был выбран полуостров Кизик на южном берегу Мраморного моря, где арабская флотилия под командованием Фадалы бен Убайда зазимовал уже в 670–671 г.

К осуществлению своего плана Муавия приступил в 672 г. Арабский отряд захватил остров Родос и оставил там гарнизон. В то же время несколько арабских флотилий взяли под контроль важнейшие греческие гавани от Киликии до Смирны.

Хроника Феофана Исповедника, являющаяся важнейшим источником сведений об этих событиях, сообщает: «В это время отвержники Христа, соорудивши великий флот, проплывши Киликию, зимовали: Муамед сын Абделы – в Смирне, Каисос – в Киликии и Ликии… Послан Халеб эмир с другим флотом на помощь первому, как человек искуснейший и отважнейший на сражении».

Греки попытались перейти в контрнаступление, высадив десант в Египте между восточным и западным рукавами Нила, однако он оказался неудачным, хотя, выбивая его, арабы и понесли большие потери. В ответ один из арабских отрядов высадился на Крите.

Создав морские базы на азиатском берегу, арабы перешли к наступлению на саму столицу. В апреле 673 г. их флот блокировал Константинополь с моря, в то время как сухопутные арабские войска, высадившиеся на европейском берегу близ Гебдомона, осаждали городские стены.

Бои продолжались до сентября, после чего арабы отошли на зимовку в Кизик: «В сем году упомянутый флот богоборцев, двинувшись к Фракии, протянулся от западного мыса Евдомы, или Магнавры до восточного мыса Кикловиа. Всякий день происходила сшибка от утра до вечера; от рукава Златых врат до Кикловиа толкали друга и отталкивали. В таких сшибках провели время с апреля месяца до сентября; тут отступили враги к Кизику и, занявши его, здесь зимовали. С наступлением весны опять двинулись и возобновили войну на море с христианами» (Феофан).

Оборона Константинополя от арабов продолжалась несколько лет. В значительной степени её успех был обеспечен применением «греческого огня», изобретённого беженцем из сирийского города Гелиополя Каллиником.

По приказу Константина IV для противостояния арабам был создан флот, вооружённый новыми техническими средствами: «Константин, узнавши о движении богоборцев против Константинополя, и сам устроил двухпалубные огромные корабли с горшками огненосными, и быстрые корабли с огненными сифонами, и приказал им напасть на неприятеля в Проклианизийской пристани при Кесарии… В это время зодчий Каллиник, прибежавший из Елиополиса Сирийского, морским огнем, который им изобретён, сожёг им и корабли и всё дышущее». (Феофан).

Решительный удар по арабам Константин IV нанёс весною 678 г. Арабский флот был разгромлен, командовавший им адмирал Йазид бен Шагара убит. Сумевшие бежать арабские корабли были добиты осенней бурей: «До семи лет продлили эту войну, наконец, посрамленные помощью Божьею и Богородицы, потерявши много храбрых мужей, со множеством раненых отступили с великою досадою. На возвратном пути сей Богом гонимый флот застигнут был жестокою бурею при Силее и совершенно был сокрушён» (Феофан).

Одновременно с этим было уничтожено сухопутное войско арабов во главе с Суфйаном бен Ауфом: «Суфиан сын Аифа и меньший брат его между тем сразились против Флора, Петрона и Киприана, которые начальствовали над константиновым войском. Здесь тридцать тысяч аравитян побито» (Феофан).

Освободив свою столицу от осады, Константин IV перенёс войну на территорию противника. В 678 г. греческий десант высадился на побережье Ливана около Сура и Сайды, чтобы поддержать поднятое против арабов восстание христиан-мардаитов. (Мардаиты – горцы неизвестного происхождения, которые, будучи христианами, сражались на стороне Византии в период арабских завоеваний Малой Азии. В то время мардаиты населяли горные области к северу от Антиохии).

В ответ на это Муавия запросил мира: «В сем году мардаиты взошли на Ливан и владычествовали от горы Мавра до святого града, заняв все высоты Ливана; многие рабы и туземцы к ним сбежались, и в короткое время составилось их до многих тысяч. Узнав об этом, Мавиас и советники его сильно испугались, видя, что царство константинопольское Богом ограждается, и послал он послов к самодержцу константинопольскому просить мира, обещаясь платить царю ежегодную дань» (Феофан).