Вскоре по примеру А. Монакова Харитоненко начал заниматься скупкой и перепродажей сахара. Его главными клиентами стали петербургские купцы, братья Григорий и Степан Елисеевы. Убедившись в прибыльности нового дела, он делает первые шаги в области производства сахара, арендуя у помещиков сахарные заводы в с. Старом (теперь с. Червонное на Сумщине) и в с. Ульяновка. Дела на втором из них сразу пошли успешно: в 1864 году там было переработано около 400 тысяч пудов сахарного песка. А вот незастрахованный завод в с. Старом вскоре сгорел дотла – вместе с произведенной продукцией и только что завезенным оборудованием. Перед бушующей стихией огня не устояли даже стены… Потери начинающего сахарозаводчика были так велики, что над ним нависла реальная угроза банкротства. Но ему оказали поддержку московские и петербургские купцы, которые были уверены в честности Харитоненко, его порядочности и коммерческом таланте. Да и сам погорелец, не привыкший отступать перед трудностями и уверенный в перспективности своего дела, быстро нашел выход из этой сложной ситуации: он взял в банке кредит под большие проценты и на эти деньги скупил сахар всех заводов от Сум до Белгорода и Харькова. Получив прибыль от его продажи, которая вдвое превысила первоначальные затраты, Иван Герасимович не только смог вовремя выплатить кредит, но и вложить деньги в новые предприятия.
Теперь можно было переходить к организации крупномасштабного производства сахара. Будучи хорошо осведомленным обо всех агрономических и технических новинках в этой отрасли, Иван Герасимович первым из сахарозаводчиков отделил производство сахара-песка от сахара-рафинада. Первый собственный сахарный завод Харитоненко построил в 1866 году в с. Кияница на Сумщине. Вслед за ним появилось такое же предприятие в с. Красная Яруга на Белгородщине. Потом он выкупил и переоснастил Пархомовский завод в Харьковской губернии. Благодаря внедрению на нем более современной технологии и оборудования предприятие стало вырабатывать за один сезон более чем на полтора миллиона рублей сахара и патоки. При заводе был устроен магазин для рабочих, которые в счет зарплаты могли получать талоны на покупку необходимых продуктов.
В 1869 году предприниматель создал рафинадный завод в Сумах – самый большой в то время в Левобережной Украине, который назвал в честь сына Павловским. К концу XIX века удельный вес продукции этого предприятия составлял уже 17 % от всего выпускаемого рафинада в стране. Оно вошло в пятерку самых больших заводов сахарной отрасли в Российской империи. Постепенно Иван Герасимович выкупил и все арендуемые им до этого заводы. Особо следует отметить, что все его предприятия были оснащены по последнему слову техники: здесь работали водотрубные паровые котлы, паровые турбины, компрессоры, подвесные канатные дороги, непрерывно действующие механизмы, которые хозяин лично закупал за границей.
В 1884 году Харитоненко купил земли с арендованным им сахарным заводом в слободе Мурафа Харьковской губернии и организовал на них экономию, названную в честь старшей внучки Еленинской. А затем неподалеку от нее приобрел усадьбу Натальевка и поручил своему сыну Павлу Ивановичу заниматься ее обустройством.
Одновременно с этим сахарозаводчик активно скупает большие участки земли для выращивания свеклы. В 1880-е годы ему уже принадлежало 11 экономий и имений в Черниговской, Харьковской, Сумской и Курской губерниях – в общей сложности около 100 тысяч десятин земли. Причем каждое имение имело свою специализацию. Так, в Ульяновском хозяйстве в основном выращивали сахарную свеклу, зерно и кормовые травы. Было здесь и опытное поле с селекционной лабораторией, и мельницы, и фермы племенного скота. Другое имение – Янковское, которое специализировалось исключительно на выращивании сахарной свеклы, в том же году принесло Харитоненко около 150 тысяч рублей чистого дохода. В с. Пархомовка Богодуховского уезда, помимо сахароварни, он построил еще кирпичный и винокуренный заводы, мельницу и одну из первых на Слобожанщине метеостанций.
Но особым предметом гордости предпринимателя были лесные угодья, в которых почти не было вырубок – вместо них проводились работы по засаживанию площадей ценными породами деревьев, саженцы которых выращивались здесь же, в лесопитомнике. Прибыль от этого хозяйства была немалой: только в 1888 году она составила около 105 тысяч рублей. В Курской и Харьковской губерниях Харитоненко владел 10 тысячами десятин, занятыми под прекрасный строевой лес. В одном из декабрьских номеров газеты «Южный край» о лесном хозяйстве сахарозаводчика писали: «…его обширные леса скорее похожи на сады, чем на доходные статьи, у большей части хозяев безжалостно истребляемые». Свое бережное отношение к природе родного края Иван Герасимович выразил даже в завещании: «Я своих лесов не рубил».
Для реализации своей продукции сахарозаводчик создал в конце 1860-х годов Торговый дом «Харитоненко и сын», который имел конторы в Сумах, Одессе, Харькове, Москве, Томске, Владивостоке и Баку. Поставлялся им сахар и за границу: в Персию, Турцию, Китай и Финляндию. Только в 1874 году торговый оборот Торгового дома Харитоненко превысил 20 млн рублей серебром. Такой спрос на продукцию предприятий сахарозаводчика объяснялся ее высоким качеством, отмеченным многочисленными высшими наградами на престижных международных выставках: серебряной медалью в Санкт-Петербурге (1870), медалью за «преуспеяния» в Аене (1873), медалью 1-го класса в Филадельфии (1876), золотыми медалями в Париже (1878 и 1889). А в 1882 году Иван Герасимович получил высочайшее разрешение изображать на своей продукции двуглавого орла и стал купцом 1-й гильдии.
На первый взгляд может показаться, что такой успех доставался сахарозаводчику без особых усилий: действующие предприятия давали прибыль, которая вкладывалась в приобретение новых заводов и поместий, в свою очередь приумножавших доходы. На самом деле возведение сахарной империи Харитоненко было сопряжено со множеством проблем, титаническим ежедневным трудом и немалыми коммерческими рисками. Это и экономический кризис середины 1870-х годов, приведший к резкому сокращению реализации сахара на российских рынках, и падение цен на него в следующем десятилетии, и острая конкурентная борьба за рынки сбыта. Но и в этих нелегких экономических условиях, когда многие производители сладкой продукции обанкротились, Харитоненко не только устоял, но и сумел удержать высокие показатели производства. К 1884 году он был уже собственником почти 70 тысяч десятин земли, семи сахарных и одного рафинадного заводов, оценивавшихся в 60 млн рублей, и 11 имений. Во многом достижение таких результатов объясняется личными качествами предпринимателя. Недаром современники, характеризуя Харитоненко, отмечали прежде всего такие присущие ему черты: «Проницательный, деятельный, стойкий, предприимчивый и в то же время осторожный». По их мнению, он «умел быстро и почти наверняка взвешивать выгоды того или иного дела: вот почему он стал таким богатым и чуть ли не главным представителем нашего сахароварения, для развития которого он так много сделал». Став одним из лидеров сахарной отрасли в стране, в 1887 году Харитоненко инициировал создание первого сахарного синдиката, в который кроме него вступили такие крупные сахарозаводчики, как Бобринский, Терещенко, Бродские и другие. В него сразу же вошло 171 предприятие, а к 1893 году их количество увеличилось до 206. Члены синдиката регулировали цены на свою продукцию внутри страны и определяли оптимальное количество для продажи за рубежом. До самой смерти Харитоненко был одним из руководителей этого объединения сахарозаводчиков, вошедших в число первых монополий в Российской империи.
Всем, чего достиг в своей жизни, Иван Герасимович был обязан исключительно самому себе, своему уму, трудолюбию, необычайной предприимчивости, нравственной силе и поразительной энергии. Его работоспособность была поистине фантастической. Ведь наряду с огромной производственной деятельностью он принимал большое участие в общественных делах, активно занимался благотворительностью, которая прежде всего была направлена на благоустройство города Сум, ставшего для него самым родным и любимым.