Одновременно в руководстве ВВС существовало понимание, что У-1 не вполне соответствует требованиям, предъявляемым к самолетам первоначального обучения. Хотя аппарат успешно выполнял все необходимые эволюции в воздухе и на земле, однако требовал повышенного внимания и не прощал ошибок в пилотировании. Таким образом, необходимость создания специализированного учебного самолета не отпала и требовала дальнейшей реализации.
23 августа 1924 г. Научный комитет Управления ВВС разработал и утвердил технические требования к учебным самолетам. Во многом требования опирались на характеристики проектов учебных машин Пороховщикова, имеющиеся в распоряжении с прошлого года. В соответствии с ними требовалось создать биплан простой конструкции, без использования дефицитных материалов, под ротатив-ный или стационарный двигатель мощностью 100 л.с, способный поднимать пилота и ученика общим весом 160 кг, иметь запас бензина на 2,5 часа полета. Наибольшая горизонтальная скорость не должна была превышать 120 км/ч, средняя эксплуатационная скорость 90 км/ч, посадочная скорость не выше 60 км/ч. Имелись требования, связанные с особенностями эксплуатации: «Самолет должен допускать быструю замену поломанных частей запасными. В собранном виде должен пройти в габарит: 11 метров ширины и 4 метра высоты, со снятыми крыльями должен храниться в ангаре в компактном виде, должен приводиться в летное состояние за 0,5 часа. Должен перевозиться на железнодорожной платформе размером 9,2 х 2,8 метра. Должен трудно входить в штопор и легко из него выходить».
Несмотря на подготовленные технические требования, создание учебной машины вновь отложили как минимум на два года. Причиной тому явилось отсутствие подходящего двигателя, надежного и неприхотливого, мощностью 100 л.с. Уже упоминаемый выше ротативный «Рон» (М-2) считался устаревшим, поэтому было решено спроектировать новый 100-сильный двигатель, задание на проектирование которого получили моторостроители.
Планы создания отечественного авиационного двигателя мощностью 100 л.с. начали приобретать реальные очертания в конце 1925 г. В соответствии с проведенным конкурсом проектов двигателей определились два наиболее реальных претендента. Первым из них стал двигатель М-12, разработанный моторным отделом ЦАГИ при участии Научного автомоторного института (НАМИ) под руководством Н.Р.Бриллинга. Другой двигатель, названный М-11, разработал молодой конструктор А. Д. Швецов при участии металлурга Н. В. Окромешко на ГАЗ № 4 («Мотор»). Двигатель М-11 первым прошел предварительные стендовые испытания, однако затем произошла его поломка, и фаворитом конкурса на некоторое время стал М-12. Впрочем, отладка обоих двигателей продолжалась, и, в зависимости от успехов в этой деятельности, в течение 1926 г. Авиатрест давал указания ставить то М-11, то М-12.
В конце года неопределенность с принятием решения заставила рассматривать вариант оснащения учебного самолета немецким двигателем «Майбах» мощностью 120 л.с. В начале 1927 г. к этому букету вариантов присоединились двигатели «Люцифер» 100 л.с. и «Сальмсон» 120 л.с.
Не пытаясь более подробно освещать весьма запутанную историю с двигателями, укажем, что в конце апреля 1927 г. ОСС ЦКБ получил первый опытный М-11, изготовленный на ГАЗ № 4, который и установили на строящийся У-2. Несмотря на то что сомнения при выборе определенного двигателя имелись и в 1928 г., окончательный выбор остановили все-таки на М-11, который и запустили в серийное производство на заводе № 29 в Запорожье.
Процесс создания самого У-2, начавшийся еще в 1923-м, спустя три года начал набирать реальные обороты. В самой середине лета 1926 г., вдень 15 июля, в отдел опытного сухопутного самолетостроения Центрального конструкторского бюро (ОСС ЦКБ) Авиатреста в Москве поступили уточненные технические требования на новый учебный самолет У-2. Приступая к его проектированию, заведующий отделом, 35-летний Николай Николаевич Поликарпов, использовал представленные ранее материалы и документацию Пороховщикова. Эскизный проект был подготовлен спустя три месяца и обсуждался на Техническом совете Авиатреста 6 декабря 1926 г. В целом проект удовлетворял заказчиков и оппонентов из ЦАГИ, основное внимание при дальнейшей работе предлагалось уделить простоте обслуживания и безопасности. Топливные баки по настоянию А.Н. Туполева решили установить в корневой части верхнего крыла, по бокам центроплана. После этого самолет пошел в окончательную разработку, и 18 января 1927 г. был готов его предварительный проект.
У-2 представлял собой нормальный биплан цельно-деревянной конструкции довольно простых очертаний с прямолинейными формами законцовок крыльев и оперения. Данное обстоятельство было вызвано требованием удешевления производства и возможной взаимозаменяемостью при ремонте. В частности, одинаковыми являлись отъемные части крыльев, а элероны могли использоваться в рулях высоты и наоборот. В сечении крыла использовали толстый профиль Прандль 365 с относительной тол-шиной 14%.
Первый опытный У-2 с прямоугольным крылом во время испытаний в июне 1927 г.
Статические испытания самолета начались 20 апреля и продолжались до конца мая 1927 г. Результаты их утвердил Научный комитет Управления ВВС 23 июня 1927 г. Самолет был полностью готов к первым числам июня, и 17-го числа его вывели на аэродром. После проведения пробных запусков капризного мотора 24 июня 1927 г. летчик-испытатель Михаил Михайлович Громов впервые поднял учебную машину в воздух. По сообщению Громова, У-2 полностью соответствовал своему предназначению и он «проделал все, что только можно было сделать на этом самолете».
Дальнейшие испытания первого опытного У-2 неоднократно задерживались проблемами с М-11 - перегревом масла и перебоями в работе при подъеме на высоту свыше 1000-1500 м. Указанные неисправности в основном удалось устранить совместными усилиями ГАЗ № 4 и ОСС ЦКБ в середине августа. Заводские испытания закончили в начале сентября 1927 г., после чего самолет передали в НИИ ВВС, где он испытывался вплоть до 20 октября. За исключением скороподъемности, самолет полностью удовлетворял требованиям ВВС, поэтому последовало решение о выпуске опытной серии У-2 М-11. Однако неожиданно против выступил конструктор самолета Н.Н. Поликарпов. Оказывается, еще с конца июля 1927 г. он начал проектировать 2-й экземпляр У-2, в котором использовал многие удачные наработки своего более раннего самолета П-2. Конструкцию машины пересмотрели в сторону уменьшения веса и улучшения обводов, а коробку крыльев по требованию НТК УВВС сделали более прочной. В сечении крыла использовали более тонкий, 8%-ный профиль ОСС ЦКБ 2, который впоследствии стал именоваться ЦАГИ 541. В новом варианте У-2 мог без затруднений исправить претензии к низкой скороподъемности и выполнял требование УВВС забираться на высоту 2000 метров за 13 минут.
Второй опытный экземпляр У-2 с эллиптическими законцовками крыльев во время испытаний в феврале 1928 г.
Построили второй экземпляр У-2 достаточно оперативно, однако его появление на аэродроме задержалось по причине отсутствия двигателя. Первый образец М-11 отправили на ГАЗ № 4, где с учетом всех доводок и изменений построили новый экземпляр.
Согласно имеющейся переписке по испытаниям самолетов, второй опытный У-2 оправили на аэродром 16 января 1928 г., и в один из последующих дней он впервые поднялся в воздух. Однако в отношении даты первого полета имеются и другие свидетельства. Вадим Борисович Шавров записал такую версию: «Очень трудно было нам, историкам авиации, в 50-х годах выяснить точную дату первого полета самолета У-2 в его окончательном варианте, пошедшем потом в массовое производство. Документальные материалы в различных архивах обнаружить не удалось, известно было только, что это было или в самом конце 1927 г., или же в самом начале 1928 г. Летчик-испытатель М.М. Громов не помнил даты. В одном письме Н.Н. Поликарпова нашлась фраза, что в день Рождества Господь послал ему радость - был удачный полет нового самолета. Это дата 7 января 1928 г.».