2. Считаем эффективность

Прилагаемая к отчёту таблица 1 имеет следующий вид.

Примечание: * – показатели, статистически значимо отличающиеся от соответствующих показателей в контрольной группе № 2 (при р < 0,05)

Первый очевидный вопрос, возникающий при просмотре этой таблицы, состоит в том, каким образом из 622 членов второй контрольной группы (последняя строка таблицы) «заболели гриппом или ОРЗ» целых 840. Ясно, что подсчитывалось не число заболевших, а число заболеваний. То есть, если ктото болел дважды, то он считался за «двух заболевших». Формально это правильно (показатели заболеваемости и выражаемая через них эффективность вычисляются по числу заболеваний, а не больных), но заголовок столбца «заболели гриппом или ОРЗ» выглядит нелепо. Это кажется несущественной мелочью, но на неё нужно обратить внимание, так как дальше она окажется существенной. Ясно, что числа, находящиеся в четвёртом столбце таблицы, получены делением чисел из второго столбца на числа из третьего столбца. Проверка показывает, что они посчитаны верно: в самом деле, 460 /1268 · 1000 = 362,8, и далее в том же духе. Но как был получен пятый столбец таблицы?

Здесь начинаются интересные дела. Вот что говорится в отчёте: Кроме того, с целью подтверждения клинических диагнозов была проведена выборочная серологическая расшифровка заболеваний с диагнозом гриппа и ОРЗ. При этом у 52 лиц, привитых против гриппа, и 80 непривитых были взяты парные сыворотки: 1 – в начале заболевания и 2 – через 14–21 день. Эти сыворотки были исследованы в РТГА с диагностикумами, содержащими антигены штаммов вируса гриппа A/H3N2, A/H1N1 и В. По результатам исследования сывороток, взятых в динамике, диагноз гриппа подтверждался 4-х кратным и более нарастанием титров антител.

Здесь возникают «философские» вопросы – о том, что называется гриппом – реальная болезнь с конкретными симптомами или факт «4-х кратного и более нарастания титров антител» (измеряемых неизвестно с какой точностью), а также о том, как быть с другими штаммами вируса гриппа, кроме трёх вышеперечисленных (если они существуют) – получается, что вызванные ими болезни автоматически попали в разряд «ОРЗ»? И если грипп по определению является «нарастанием антител», то почему аналогичным проверкам не были подвергнуты люди, кажущиеся здоровыми? Ведь многие переносят грипп на ногах…

Проверяем арифметику. Рассмотрим строку таблицы, относящуюся к основной группе, и поделим число из пятого столбца на число из четвёртого. Получим: 41,7/3 62,8 = 0,1149. Это доля привитых лиц, у который гриппозные диагнозы подтверждались. Ищем дробь со знаменателем 52 (число привитых, у которых брались анализы), равную 0,1149: умножая 52 на 0,1149, получаем число, близкое к 6. Очевидно, диагноз подтвердился у 6 из 52 человек.

Проверяем: 6 / 52 · 362,8 = 41,86. У авторов отчёта это число чуть-чуть искажено в пользу прививок – написано 41.7, но это наверняка не злой умысел, а игнорирование правил округления, которым вакцинаторские труды хронически страдают (тоже самое касается числа 1350,1 в последней строке таблицы). Аналогично выясняем, что из 80 непривитых, у которых брались анализы, больными «истинным» гриппом были признаны 30 человек. Для каждой из контрольных групп числа в пятом столбце получены умножением чисел в четвёртом столбце на 30/80, то есть 0,375.Это совпадает с тем, что говорится в отчёте: «…частота подтверждения гриппа в группах непривитых составили 37,5 %, а в группе привитых она была существенно ниже – 11,5 %». Число 114,1 в строке «Итого…» посчитано тоже верно, если закрыть глаза на очередную проблему с округлением (правильнее будет 114,3).

Таким образом, арифметика в относительном порядке. Теперь подумаем о статистике. Здесь возникают два неприятных вопроса.

1. Каким образом были выбраны люди для взятия анализов? Статистика требует, чтобы эта выборка была репрезентативной. Добиться этого можно случайным выбором. Было ли это сделано? Отчёт молчит. Статья говорит, что анализы брались «по мере обращения у заболевших гриппом или ОРЗ независимо от тяжести заболевания». Почему тогда они не были взяты у всех заболевших? Если это делалось лишь в какой-то ограниченный период времени, то налицо грубая ошибка – соотношение между «истинным гриппом» и «не гриппом» не обязано быть постоянным во времени.

2. На каком основании предполагается, что «частота подтверждения» гриппозных диагнозов одинакова у первой и второй контрольной групп? Ведь первая контрольная группа отчасти защищена коллективным иммунитетом и потому явно неравноценна второй, не говоря уже о других причинах неравноценности, упомянутых выше!Таким образом, выборочная проверка диагнозов с помощью анализов могла привести к дополнительным ошибкам.

И ещё один момент кажется странным: с одной стороны, «во всех группах в течение 8 месяцев (октябрь – май) было организовано систематическое медицинское наблюдение» , а с другой – присутствует выражение «по мере обращения». Если заболевания регистрировались не путём систематических поголовных проверок, а лишь при условии добровольных обращений больных, то здесь имеется ещё одна проблема: такими обращениями очень легко умышленно или неумышленно манипулировать, если эксперимент не является по-настоящему «слепым». Курсант прагматичен, и вероятность того, что он пойдёт к врачу по поводу пустяковой простуды, зависит от того, что он с этого будет иметь… Кстати, не странно ли звучит утверждение о том, что заболеваемость гриппом среди курсантов-пятикурсников – молодых и крепких мужчин – составила 506 на тысячу, в то время как заболеваемость гриппом в среднем по России за 2000 год составила 2973,3 на 100 тысяч (цифра из старой таблицы с сайта ФЦГСЭН), то есть всего около 30 на тысячу?

3. Оценка погрешностей, или полная чепуха

Первая ошибка, допущенная при оценке погрешностей, состоит в том, что измерение концентраций антител не может быть абсолютно точным и неизбежно имеет «приборную» погрешность, которая, в свою очередь, может исказить количество подтверждённых диагнозов. Добросовестный исследователь должен был бы принять во внимание этот факт. Мы ничего не можем сказать о том, как эта ошибка повлияла на результат исследования. Закроем глаза на эту ошибку (как и на все предыдущие) и разберёмся в расчёте.

Если из п человек за время эксперимента заболевает т человек и при этом повторные заболевания невозможны, то вероятность заболевания р можно оценить как р = т/п. Умножив её на 1000, можно получить «показатель заболеваемости на 1000 человек». Среднеквадратичная погрешность оценки вероятности заболевания при этом может быть оценена как (р(1 – р) / (п – 1))½. Нет сомнения в том, что по этой формуле (или по эквивалентной ей) вакцинаторы посчитали погрешности, указанные в трёх строках четвёртого столбца таблицы. Однако в последней строке погрешность отсутствует. Что же помешало вакцинаторам сделать то же самое в последней строке? Очевидно, там возникла неожиданная для них проблема: под знаком квадратного корня оказалось отрицательное число! Этот факт должен был бы навести их на мысль о том, что они что-то делают неправильно. Но, очевидно, не навёл. На самом деле данная формула годится для оценки погрешности в случае, когда повторные заболевания невозможны или не учитываются , а в данном случае это не так. Это вторая ошибка, допущенная авторами при оценке погрешности и приводящая к её занижению. Более правильно погрешность такого измерения можно было оценить как (p/(n-1))½. После исправления этой ошибки столбец с показателями заболеваемости гриппом и ОРЗ будет выглядеть несколько иначе:

Рассмотрим теперь третью ошибку, которая допущена при вычислении погрешностей «откорректированной» заболеваемости в правом столбце таблицы и которая имеет, можно сказать, катастрофический характер. Эту погрешность, недолго думая, взяли да посчитали по той же самой формуле, проигнорировав тот факт, что «откорректированная» заболеваемость получена вовсе не делением числа заболевших на число испытуемых, а совсем другим способом! Вспомним, как был получен последний столбец. Были взяты числа из четвёртого столбца, погрешности которых посчитаны (хоть и неправильно). Далее эти числа были умножены на «частоту подтверждения» гриппозного диагноза, которая имеет свою собственную погрешность, и притом большую – ведь серологическая проверка была проведена у очень небольшого числа людей. Погрешность частоты подтверждения можно с чистой совестью оценивать по вышеприведённой формуле. Для основной группы имеем: р = 6 / 52 = 0,1154; тогда 1 – р = 0,8846; погрешность составит (0,1154 · 0,8846 / 51)½= 0,04474. Это погрешность оценки «частоты подтверждения» для основной группы. Поскольку сама частота оказалась равной 0,1154, мы хорошо видим, насколько неточно она посчитана: относительная погрешность равна 0,04474 / 0,1154 = 0,388, то есть среднеквадратичная погрешность составляет 38,8 % от самой величины! Итак, число 41,7 в правом (пятом) столбце таблицы есть произведение двух величин, каждая из которых посчитана с некоторой погрешностью. Как оценить погрешность произведения? Точный расчёт здесь довольно длинный, но существует простое приближённое правило, состоящее в том, что при перемножении или делении независимых величин, распределённых нормально, суммируются квадраты их относительных погрешностей. Оно хорошо работает, когда относительные погрешности близки к нулю. В нашем случае это не совсем так, поэтому оценка погрешности может быть несколько занижена, но для ориентировочного расчёта сгодится и это. Применение этого правила в нашем случае даёт относительную погрешность произведения около 39 %, а абсолютную – 16,3 на 1000. Проводя аналогичные вычисления для второй и четвёртой строк таблицы (для третьей строки расчёт несколько другой), исправляем их и получаем: