Александр Иванович Глебов родился в 1722 году. В 15-летнем возрасте он был определен сержантом в Бутырский пехотный полк, в составе которого участвовал в русско-турецкой войне и штурмовал крепость Очаков. 17 августа 1739 года в сражении под Славучанами в чине поручика командовал небольшим отрядом, проявив незаурядную храбрость и смекалку. В этом бою получил тяжелое ранение.

А. И. Глебов находился на военной службе до 1749 года, после чего перешел на статскую в чине коллежского асессора. Он сумел завоевать доверие важного елизаветинского сановника графа П. И. Шувалова, который взял его под свое покровительство. Сам Глебов так писал об этом периоде своей жизни: «Десять лет назад по желанию графа Петра Ивановича Шувалова был определен в Сенат обер-секретарем. Он поручал мне делать по своим мыслям разные сочинения и определил меня в места разные сверх должности моей, яко то: членом в главную межевую канцелярию и в комиссию уложенную; потом, увидев мою к себе совершенную преданность и повиновение, с благодарностью делал мне многие поверенности».

Приблизив к себе молодого и сметливого чиновника, Шувалов хотел использовать не только его способности, но и привлекательную внешность и обаяние. К тому времени Глебов был уже вдовцом. Первая жена, Екатерина Алексеевна, урожденная Зыбина, была старше его на 12 лет. Она умерла в 1746 году. Детей от этого брака не было. Граф Шувалов, стремясь поправить свои дела при высочайшем дворе (императрица Елизавета Петровна к нему заметно охладела), решил через графиню Марию Симоновну, урожденную Гендрикову, вдову обер-гофмейстера Н. Н. Чоглокова, приходившуюся Елизавете Петровне двоюродной сестрой, «сведать все намерения и действия» двора. С этой целью Шувалов предложил своему протеже обратить внимание на «изрядную вдовушку». Глебов сумел добиться любви Марии Симоновны, и они были помолвлены. Узнав об этом, императрица Елизавета Петровна воскликнула: «Сестра моя сошла с ума, влюбилась в Глебова, как отдать ее за подьячего?»

Незадолго до свадьбы, 10 декабря 1755 года, Глебову был пожалован чин обер-прокурора Сената. Венчание состоялось в январе 1756 года в присутствии императрицы. Однако брак этот оказался кратковременным. Мария Симоновна была уже «на последнем градусе чахотки» и скончалась через полтора месяца после свадьбы.

Граф Шувалов так и не смог использовать это супружество в своих целях, но оно дало возможность Глебову приблизиться к высочайшему двору. И это, конечно, сказалось на его стремительной карьере. В ноябре 1758 года он был удостоен ордена Св. Анны, а 16 августа 1760 года назначен генерал-кригскомиссаром и получил чин генерал-майора. В отличие от князя Я. П. Шаховского, А. И. Глебов исполнял свои обязанности не столь рачительно, что особенно сказалось на снабжении армии во время войны с Пруссией.

25 декабря 1761 года только что вступивший на престол Петр III назначил Глебова генерал-прокурором Сената. Будучи очень дружен с императором, он довольно быстро занял прочное место среди приближенных к монарху вельмож. Ему была поручена подготовка целого ряда важных узаконений. В частности, Александр Иванович являлся одним из авторов известных манифестов: от 18 февраля 1762 года «О даровании вольности и свободы всему российскому дворянству» и от 21 февраля 1762 года «Об уничтожении Тайной канцелярии».

В феврале 1762 года Глебов был награжден орденом Св. Александра Невского, став таким образом первым александровским кавалером в царствование Петра III.

В этот период генерал-прокурор работал много и неустанно. Каждый день в 8 часов утра он одним из первых являлся во дворец с докладом к императору. Он занял почти такое же положение, как и первый генерал-прокурор П. И. Ягужинский, став как бы посредником между государем и Сенатом. Почти все поручения Сенату, подписанные Петром III, были составлены Глебовым.

Однако время пребывания Глебова в должности генерал-прокурора оказалось весьма недолгим (немногим более двух лет) и довольно бесцветным. Оно характеризуется почти полным отсутствием «доношений» от представителей местной прокуратуры. А те немногие, которые к нему поступали, он обычно направлял в Сенат, не делая никаких предложений.

Будучи опытным царедворцем, хитрым и изворотливым (современники называли его «человеком с головой»), генерал-прокурор очень тонко оценил обстановку во время дворцового переворота 1762 года и, несмотря на привязанность к Петру III, сразу же поддержал Екатерину II. Поскольку он обладал не только исключительными способностями, но и трудолюбием, Екатерина II, знавшая о его дурных наклонностях и корыстолюбии, продолжала держать Глебова на высшем прокурорском посту. Более того, она поручила ему вместе с графом Н. И. Паниным руководство только что созданной Тайной экспедицией, расследовавшей все политические дела.

Мало занимаясь организацией работы подчиненных прокуроров, Глебов сосредоточил основное внимание на деятельности Сената, хозяйственных и финансовых вопросах, подготовке различных узаконений. Именно этого касались многочисленные поручения императрицы, которые он исполнял всегда оперативно, в считанные дни давая ответ Екатерине II. По ее предложению он, например, подготовил специальное узаконение, направленное на борьбу с лихоимством судей и чиновников.

Однако вскоре его положение при высочайшем дворе заметно пошатнулось, чему в немалой степени способствовали сомнительные коммерческие сделки, особенно связанные с винным откупом в Иркутске, в которые он втянулся еще в бытность свою обер-прокурором. После проведенного расследования Екатерина II нашла, что Глебов в этом деле оказался «подозрительным и тем самым уже лишил себя доверенности, соединенной с его должностью». 3 февраля 1764 года А. И. Глебов был смещен с поста генерал-прокурора, с предписанием императрицы «впредь ни на какие должности его не определять».

Тем не менее Екатерина II не склонна была отказываться от толкового, хотя и корыстолюбивого, сотрудника. Поэтому А. И. Глебов сохранил за собой должность генерал-кригскомиссара, а в 1773 году был даже пожалован в генерал-аншефы. В 1775 году он получил новое назначение — стал смоленским и белгородским генерал-губернатором. Но уже в следующем году ревизия вскрыла серьезные злоупотребления и хищения в Главном кригскомиссариате, учиненные в бытность его руководства. По поручению Екатерины II была образована специальная следственная комиссия, а в июне 1776 года Глебов был вызван из наместничества в столицу и тогда же его отстранили от всех должностей «донеже по делам, до него касающихся, решение последует». А. И. Глебов оказался под судом и подвергся допросам. Окончательный приговор по делу был утвержден Екатериной II лишь 19 сентября 1784 года. Глебов был признан виновным «в небрежении должности» и исключен из службы. На имения его наложили арест.

Удаленный от всех дел Александр Иванович проживал либо в своем имении в Москве, на Ходынке, либо в подмосковном Виноградово. Незадолго до своей отставки он женился в третий раз, взяв в супруги свою экономку Дарью Николаевну Франц. Узнав о женитьбе Глебова на столь простой женщине, Екатерина II приказала не допускать ее к высочайшему двору.

А. И. Глебов скончался в июне 1790 года и погребен в своем имении Виноградово.