Витгенштейн хотел уклониться от решительных действий, рассчитывая демонстрацией заставить французов отступить за Двину. С этой целью он навел мосты: на Двине в 4-х верстах выше Полоцка и на Полоте немного выше города. Войска же развернулись между Двиной и Полотой.

Витгенштейн приказал начальнику артиллерии князю Яшвилю принять командование над отрядом из 7 тыс. человек. Между тем сам Витгенштейн, выведя главные силы своего корпуса из леса, выстраивал их к бою на пространстве между Двиной и Полотой для поддержания авангардов. Правое крыло первой линии, простиравшееся вправо за дрисскую дорогу, а влево до пути, ведущего из Себежа, состояло из шести егерских батальонов и лейб-драгунского запасного эскадрона с шестью орудиями 28-й батарейной артиллерийской роты.

В центре, между себежской дорогой и мызой Присменицей, находились 8 пехотных батальонов и лейб-гвардейский запасной эскадрон с 33 орудиями 1-й конной, 5-й батарейной и 9-й легкой артиллерийских рот. А на левом крыле, от Присменицы до реки Полоты, 4 пехотных батальона с шестью орудиями 28-й батарейной 12 орудиями 26-й легкой роты, и авангард Властова (24-й егерский полк, два сводных гренадерских батальона, 4 эскадрона Гродненского гусарского полка и лейб-уланский запасной эскадрон). Вторая линия под начальством генерала Сазонова состояла из 9 пехотных батальонов, почти всей кавалерии и 42 орудий (3-й конной, 14-й и 28-й батарейных и 10-й легких рот). В резерве (под начальством генерала Каховского) у Ропна стояли 9 запасных и сводных гренадерских батальонов с частью Ямбургского и Рижского драгунских полков.

В 7 часов утра 5(17) августа князь Яшвиль начал движение на мызу Спас. Ему удалось отбросить французов за овраг, но он не мог развить достигнутый успех, так как Удино перевел баварскую дивизию Вреде на правый берег Полоты, а батареи, стоявшие на ее левом берегу, взяли атакующих во фланг. Заметив это, Витгенштейн поддержал свой левый фланг войсками дивизии Берга, — Севским, Калужским и одним сводным пехотными полками с шестью орудиями, переведя их из центра, куда поместил войска 2-й линии. Удино быстро воспользовался ослаблением русского центра и дважды атаковал его, но безуспешно. Также нерешительны были и действия Берга на левом фланге, где удалось отстоять овраг от атак баварцев, но овладеть мызой Спас русские так и не смогли.

К концу дня 5 августа сражения у Полоцка ни одой из сторон не удалось добиться победы.

В 4 часа утра 6(18) августа дивизия генерала Валентина переправилась через Двину вслед за дивизией Мерля, которая расположилась на левом крыле армии. Легран и за ним на некотором расстоянии Валентин со своими дивизиями двинулись вправо вверх по долине реки Полоты, укрываясь за высотами, не позволявшими заметить это фланговое движение с русских позиций. Французы расположились следующим образом: генерал Легран — правым флангом к мызе Спас, а Валентин — левее его. Кавалерия построилась в промежутке между дивизиями Валентина и Мерля. Наконец, обе дивизии 6-го корпуса в ожидании сигнала атаки были крыты в долине Полоты за мызой Спас. Следствием этих распоряжений Сен-Сира стало то, что русские обратили все свое внимание исключительно на движение колонны за Двиной по дороге в Улу, не заметив сосредоточения неприятельских сил в долине Полоты.

Ровно в 4 часа утра все баварские и ближайшие к ним французские батареи открыли огонь по русским войскам, расположенным у мызы Присменицы, в которой находилась главная квартира графа Витгенштейна. Внезапно раздалась канонада более 60 неприятельских орудий, и одно из ядер попало в комнату, где в это время обедал Витгенштейн со своим штабом. Под громом батарей, разразившимся над войсками русского левого крыла и центра, вражеские колонны быстро двинулись в атаку. Дивизия Вреде, обойдя справа мызу Спас, устремилась к левому флангу позиции русских. Дивизии Деруа и Леграна наступали к Присменице, а войска Валентина атаковали центр русских. В первую минуту совершенно неожиданного нападения русские войска были приведены в расстройство, но вскоре офицеры вернули их в порядок.

Русская артиллерия (6 орудий 28-й батарейной роты, 9-я легкая рота и 6 орудий 5-й батарейной роты), быстро открыв огонь, остановила первый порыв противника. Полки 5-й дивизии Берга и запасные батальоны с тремя эскадронами Гродненских гусар кинулись навстречу наступавшим колоннам противника и заставили их отступить, причем генерал Казачковский был ранен пулей в ногу.

Однако Сен-Сир приказал возобновить канонаду и усилил ее огнем батарей, поставленных на левой стороне реки Полоты, а затем снова начал атаку.

Затем Сен-Сир начал наступление в центре русской позиции. Дивизии Леграна и Валентина устремились против русских батарей (9-й легкой, 28-й и 5-й батарейных рот) и оттеснили их прикрытие, но храбрые артиллеристы, отбиваясь тесаками и банниками, успели спасти свои орудия, за исключением семи пушек (пяти 9-й и двух 28-й рот). У этих орудий были повреждены лафеты и потеряны почти все их запряжные лошади. Пушки стали трофеями генерала Леграна, а командир 9-й легкой роты штабс-капитан Перрен был ранен пулей в ногу.

Генерал Гамен с Тульским и Эстляндским полками и с батальонами Навагинского и 11-го егерского полка, поддерживаемый одним из батальонов Тенгинского полка, кинулся в штыки на колонны, наступавшие против центра русских, и оттеснил их со значительным уроном. В то же время полковник Протасов с двумя гренадерскими эскадронами сводного кирасирского полка (Кавалергардов и Конной гвардии) провел несколько удачных атак и опрокинул одну из бригад дивизии Леграна, но был удержан генералом Мезоном (будущим маршалом Франции) с 29-м легким полком.

Генерал Гамен, атакованный несколько раз подряд превосходящими силами, успешно отразил все атаки и оставался при своих войсках, невзирая на полученные им две сильные контузии. Генерал Сазонов, командовавший второй линией, отрядил к нему в помощь другой батальон Навагинского полка под командованием полковника Гарпе, который, ударяя в штыки на ближайшую из французских колонн, обратил ее в бегство.

Однако, несмотря на эти частные успехи, противник, выдвинув сильную артиллерию, начал общее наступление против центра и левого крыла русских войск. Дивизии Леграна и Валентина оттеснили центр и ближайшую к нему часть правого крыла в большой лес позади позиции русских. Баварцы заставили отступить 5-ю дивизию Берга к Ромну, а войска Властова — по невельской дороге.

Между тем на правом фланге русским удалось добиться серьезных успехов. Командовавший русской кавалерией генерал Балк, заметив движение вражеской колонны влево, выслал для прикрытия центра русских с правого фланга два лейб-кирасирских эскадрона сводного полка под начальством полковника Ершова, с двумя слабыми эскадронами Гродненских гусар и Рижских драгун. Кавалеристы, заехав по три направо, кинулись наперерез неприятельской колонне, состоявшей из конных егерей, выстроились во фронт и врубились в легкую бригаду генерала Кобрино.

Пораженные безотчетным страхом, французские конные егеря были опрокинуты на баварскую батарею. Артиллеристы, не смея открыть огонь по мчавшейся на них кавалерии обеих сторон, были изрублены русскими кирасирами. Поручики Виламович и князь Шаховской, корнеты Велецкий и Окунев первыми вскочили на батарею. Здесь русские войска захватили 15 орудий, но увезли из них только два, вместе с пленным батарейным командиром. Прочие же орудия из-за нехватки времени были оставлены на месте, но лафеты их изрубили.

Сам Сен-Сир, не могший из-за полученной им раны ездить верхом, в суматохе был выброшен из одноколки, на которой он разъезжал по полю боя, и едва не попал в плен к русским кирасирам.

А тем временем 4-й полк французских кирасир было кинулся на выручку захваченной батареи, но встреченный лейб-кирасирским эскадроном под командованием майора Семеки, был опрокинут и преследован по улицам предместья.

Французские войска отступали «в сильном беспорядке и замешательстве». Пехота, артиллерия и обозы кинулись на мост, где столпились так, что несколько повозок полетело в воду. И лишь прибытие баварских резервов и особенности местности, неудобной для действий кавалерии, остановили порыв храбрых русских гренадеров.