Извращенная статистика

Главная пища журналистов и политиков – сомнительная статистика, которая способствовала запугиванию населения различными заболеваниями, а также ложным убеждениям и даже войнам. Привожу четыре самых распространенных способа искажения цифр для подтверждения доводов.

1. Игнорировать базовую норму. У меня есть программа, которая в 90 % случаев может отследить аферы с кредитными картами и называет законную операцию мошенничеством лишь в 0,1 % случаев (ложноположительный результат). На первый взгляд, достаточно хорошие показатели. Однако если принять во внимание частоту, с которой происходят аферы (то есть базовая норма), то так ли они хороши? Если происходит одна афера на 1000 операций, и взять 100 000 примеров, моя программа должна отметить 90 афер из 100. Однако одна правомерная операция из каждой 1000 будет отмечена как афера, хотя на самом деле это не так. Это означает, что из афер, которые выявит программа, 90 будут действительно мошенническими действиями, а примерно 100 – ложноположительными. Скорее всего, в данной отрасли это приемлемо. Однако если одна афера приходится на каждые 10 000 операций, ситуация ухудшается. Теперь у меня все еще примерно 100 ложноположительных операций, но только девять настоящих случаев мошенничества. Это было бы губительно для отрасли, так как деньги, сэкономленные на предотвращении мошенничества, пойдут на жалобы клиентов из‑за ложноположительных афер. Если хотите, чтобы неудачная статистика выглядела эффектно, проигнорируйте базовую норму и просто укажите проценты.

2. Сравните лучший и худший результаты. Допустим, вы сравниваете свой продукт с продуктом конкурента. В целом ваш товар хуже. Не беспокойтесь, просто сравните несравнимое. К примеру, в автомобиле можно сравнить ваше прогнозируемое или лабораторное потребление им топлива со средними показателями потребления топлива машиной конкурента в условиях реальной езды. Или можно сравнить его средний показатель с вашим показателем, полученным во время езды за городом, заявив, что ваша машина «расходует до 30 % меньше топлива», чем автомобиль конкурента. Обратите внимание на слово «до». Оно больше других слов виновно в сомнительной рекламе. Не располагая никакими подробностями, читатель не сможет сделать информированный вывод и, скорее всего, просто примет ваши утверждения на веру.

3. Предвзятый отбор. Результаты любого статистического анализа подвержены колоссальному влиянию источника данных. Возьмем, к примеру, косметику. Практически каждая реклама говорит что‑то подобное: «Девять из 10 женщин согласны, что их кожа стала моложе». Откуда берутся эти цифры? Если бы я делал эту рекламу, то, во‑первых, отправил бы три образца продукции примерно 150 постоянным покупательницам товаров моего бренда, попросив их оценить результат. Они не только уже любят мою компанию, но и чувствуют себя обязанными порадовать меня, получив бесплатный образец. Во‑вторых, я бы составил опросник так, чтобы увеличить вероятность позитивной реакции, используя ложную дихотомию (см. раздел «И еще несколько» в этой главе). Конечно, я даже не заикнулся бы о 100 %‑ном удовлетворении, так как это может показаться сомнительным. Лучше 77 % или 86 %. Кстати, небольшое отступление: если провести дилетантское исследование в Google, то окажется, что большинство кремов для лица дают эффект в 75 % или 90 % случаев.[21] Тот же подход можно применить к любой другой статистике: выбрав лучшие статистические данные и выбросив все подробности, можно получить весьма убедительные цифры.

4. Закономерность в случайностях. Это перекликается с причинно‑следственными связями. Если можно объединить в группу беспорядочные, случайные события, можно утверждать, что они не случайны, а подтверждают что‑то абсолютно другое. Книга «Библейский код» (The Bible Code) целиком и полностью строится на этом принципе. Более того, правосудие несколько раз допускало ошибки, опираясь исключительно на подобную извращенную статистику (в особенности дело Салли Кларк, которую ошибочно обвинили в убийстве ее двоих сыновей). Используя этот подход, вы задаете вопрос: «Неужели это случайность?», зная, что читатель ответит: «Маловероятно».

Для того чтобы проиллюстрировать эту мысль, я собираюсь доказать, что мои сотрудники обманывают меня, когда берут больничный. Допустим, у меня работают 15 человек. Билл и Сара взяли больничный в пошлую пятницу, но никто больше не заболел. Так как мои сотрудники отличаются хорошим здоровьем и в среднем берут больничный только на один день в году, я уверен, что Билл и Сара просто филонят где‑то вместе. В конце концов, неужели это случайность?

В году 220 рабочих дней. Для подтверждения своего мнения могу сказать, что есть один шанс из 220, что Билл действительно болел в пятницу. Вероятность того, что Сара заболела именно в тот же день, – один из 220, или один из 48 400. Пора переходить к дисциплинарным мерам.

Или нет? Я только что сказал, что Билл и Сара отпросились с работы в один и тот же день, и это действительно подозрительно. Однако в любой рабочий день года двое сотрудников вполне могли бы уехать куда‑то вместе. По сути, у меня 105 пар сотрудников, которые вполне могут вместе провести любой день в году. Хотя маловероятно, что каждая пара будет отсутствовать в какой‑то определенный день, есть столько возможностей, когда пара может отпроситься с работы, так что вполне вероятно, что в один из таких случаев дни совпадут. В данном случае вероятность того, что пара коллег провела вместе один день в году, составляет 38 %. Хотя данные абсолютно беспорядочны, я выделил закономерность, которая кажется маловероятной, поэтому утверждаю, что это не может быть случайностью. Это еще один пример ошибки здравого смысла. Однако, хотя я неправ, большинство людей поверят моим рассуждениям и статистике и согласятся, что мои сотрудники прогуливают работу.

В двух словах, если выделите тенденцию в беспорядочных данных, можете заявить, что она значимая, игнорируя тот факт, что, скорее всего, это случайность, и задавая риторический вопрос: «Какова вероятность того, что это произошло случайно?». Подбросьте немного извращенной статистики в качестве доказательства своего утверждения, и можно заявлять, что наиболее вероятное развитие событий практические невозможно.