Почему различаются цифры социологических исследований

КОНСУЛЬТАЦИЯ СПЕЦИАЛИСТА

А. Биккулов

(Междисциплинарный центр СПбГУ) // Социология и журналистика’2003. С. 67-71.

Проблемы возникают, когда в разных местах приводят цифры для характеристики одного и того же явления и эти цифры различаются. Иногда различие сильное, иногда не очень, но сам факт рождает у непосвященных смутные сомнения - кому доверять больше и доверять ли вообще...

Начнем с того, чему доверять нельзя. Если вы читаете или слышите, что "наши корреспонденты провели опрос на улицах города", и дальше приводятся какие-либо проценты или обобщения (например, "как мы видим, жители настроены в основном положительно" или "две трети жителей настроены положительно"), можно смело сказать, что это абсолютно пустые слова и это никак не социологическое исследование и не опрос.

Надежность результатов начинается с того, что опрошенные люди (выборка) должны в контексте исследуемой проблемы точно повторять структуру общества или социальной группы, которая изучается. Кроме того, должна быть достаточно большая выборка, чтобы индивидуальные личностные особенности отдельных людей "растворились" в общем массиве мнений и выявились общие тенденции.

Естественно, проблема недобросовестного интервьюирования существует столько лет, сколько существуют массовые опросы в социологии. И, соответственно, наработаны методики борьбы с этим злом: как правило, от 10 до 15% анкет проверяются. Если выявляется мошенничество со стороны опрашивающего, вступают в действие штрафы, отказ от привлечения этого человека к сотрудничеству в дальнейшем. Кроме того, всегда есть человек, который проверяет анкеты визуально, принимая их у интервьюеров, - обычно такие люди даже на первый взгляд могут отличить "подозрительные" бланки.

Предположим далее, что исследование проведено не журналистами, а вроде бы даже известными социологическими центрами типа ВЦИОМ, РОМИР, Гэллап, Комкон или каким-нибудь социологическим НИИ. Плюс к тому даже сообщается, что оно репрезентативно, число опрошенных примерно совпадает с приводимым в итогах другого исследования, а результаты все равно различаются.

В данном случае мы наталкиваемся еще на один подводный камень – в лучшем случае исследование репрезентативно для всего российского населения старше 18 лет, включая сельские районы, но, скорее всего, исключая территорию Чечни. Именно такие исследования аудитории Интернета проводит Фонд "Общественное мнение" (www.fom.ru). Однако очень часто, чтобы сократить расходы, социологические центры не утруждают себя организацией опросов в мелких городах и на селе и строят выборку только по относительно крупным городам, например, с населением более 100 тыс. или более 250 тыс. Обратим внимание, что в городах с населением более 100 тыс. живет 45,4% всего населения России, а в городах с численностью более 250 тыс. - 36,0%. Соответственно, в таких выборках не учитывается мнение большей части жителей страны. Репрезентативны ли эти исследования? Конечно – да (и это будет сообщено в СМИ), но только для жителей более или менее крупных городов (а вот об этом, скорее всего, умолчат). Естественно, в подробном отчете о результатах опроса есть сведения об этом, но в СМИ их очень часто не сообщают, чтобы не перегружать рядовых телезрителей/читателей непонятной и "лишней" информацией.

Сделаем еще одно предположение: исследование проведено не журналистами, а надежными социологическими центрами, количество опрошенных примерно одинаково, плюс к этому утверждается, что опрос репрезентативен для россиян старше 18 лет, включая сельское население и исключая жителей Чечни. Здесь, казалось бы, результаты разных, но однотипных исследований должны сходиться, а они все равно различаются. И все оттого, что есть еще один камень преткновения - варианты в формулировке вопроса.

Для оценки одного и того же явления могут использоваться различные вопросы (а люди понимают вопросы немного по-своему, соответственно и ответы будут разными). Кроме того, исследовательские центры вкладывают в одни и те же замеряемые показатели различное понимание. Так, например, мы часто слышим выражение "аудитория Интернета", нам приводят какие-то проценты, но при этом мы нисколько не задумываемся о том, что означает для конкретного центра данное понятие. Сейчас ситуация немного выравнивается, но еще несколько пет назад она выглядела в соответствии с поговоркой "кто в лес, кто по дрова": кто-то считал пользователями Интернета тех, кто выходит в Сеть хотя бы раз в три месяца, кто-то – тех, кто пользуется хотя бы раз в неделю. И все это сравнивалось с зарубежными исследованиями, в которых пользователями Интернета считаются все, кто подключался к Сети хотя бы раз за последние полгода. При таких разночтениях сравниваются абсолютно несоизмеримые показатели.

Приходим к заключительному пункту наших допущений. Предположим, что исследования проведены надежными социологическими центрами; количество опрошенных примерно одинаково; исследования репрезентативны для россиян старше 18 лет, включая сельское население и исключая жителей Чечни; вопросы практически идентичны (слегка спотыкаемся на слове "практически", но все же идем дальше). Итак, вопросы практически идентичны, но сопоставимые результаты разных социологических измерений по одной и той же теме все равно хоть на два-три, а то и на три-четыре процента, но различаются. Потому что остаются последние нерушимые оплоты расхождений – разновременность проведения исследований и ошибка выборки.

Первое достаточно понятно: если одно исследование проведено через полгода после другого, то их цифры очень трудно сравнивать - "за время пути собачка могла подрасти". Что касается ошибки выборки, социология накопила достаточно большой опыт, чтобы не заявлять, что полученные проценты абсолютно точны. Под понятием "ошибка выборки" понимается отличие полученных результатов от фактической, реальной ситуации. Путем многочисленных специальных исследований были выведены формулы расчета этого возможного отличия в зависимости от размера выборки и других факторов. Так вот, обычно социологические центры при расчете выборки ориентируются на точность цифр плюс-минус 2-3%.

Менее точные вряд пи будут кого-то удовлетворять, а за более точные приходится платить несоразмерно большую цену. Поэтому традиционно все результаты социологических центров рассчитаны на такую погрешность – плюс-минус 2-3%. Соответственно, у одного центра может получиться 2-3% "плюс" от правды, у другого – "минус". Разница в этом теоретическом худшем варианте составит уже 4-6%. Это притом, что оба центра отлично сделали свою работу.

Какова же мораль? Во-первых, нужно внимательнее относиться к той информации о методике исследования и формулировке вопроса, которая сообщается. К сожалению, очень часто эта информация не приводится. Показателен пример западных стран, где действует соглашение между социологическими центрами: при публикации или ссылке на результаты исследования в обязательном порядке указывать, кто проводил исследование, какой был размер выборки, для какой части населения она репрезентативна, какая заложена ошибка выборки, как в точности (дословно) задавался вопрос и какие были варианты ответа. У нас пока данные правила игнорируются при оглашении результатов, хотя их соблюдение представляется критически важным.

Во-вторых, нужно просто понимать, что если даже цифры различаются, на это есть вполне объяснимые причины, которые обязательно выявятся, если внимательно изучить методику исследований и формулировку вопросов. Соответственно нужно понимать, что максимальная точность - плюс-минус 2-3%. В то же время больше чем на 5-8% тоже не ошибаются (если, конечно, не вкладывают в понятия совершенно различные значения, как в примере с Интернет-пользователями). Приведенной точности, как правило, достаточно, чтобы понять общий расклад сил, основные тенденции и отличия. Но когда речь идет о разнице в 3-5%, можно считать, что особых отличий нет. Это уже уровень искусства и профессионализма - так приблизиться к отражению реальности, чтобы, например, предсказать результаты выборов с точностью до 1-2%.

Подытоживая, хочется сказать, что как всякий исследовательский инструмент, социологические исследования имеют свои пределы точности. Ничего другого в исследовании мнения больших масс людей пока не придумано, поэтому нужно с пониманием дела использовать результаты опросов.

Результаты опросов служат и для прогнозирования выборов. Однако независимо от прогнозов опубликованные результаты соцопросов начинают свою самостоятельную «жизнь». Их может принимать в расчет как одна, так и другая заинтересованная сторона. А главное – они действуют как фактор, влияющий на поведение электората.

Благодаря усилиям профессиональных фирм данные опросов ОМ превратились в социальную информацию, с помощью которой общество узнает о самом себе.

Значение публикаций социологической информации обусловлено тем, что массовому сознанию свойственно ориентироваться на распространенные в обществе модели поведения и сознания.

Меду тем, внимание СМК к опросам ОМ в последней трети ХХ в. достигло такой концентрации, что перешло в новое качество.

С конца 70-х – начала 80-х годов отмечается даже новый вид журналистики – «точная журналистика». Что же это такое?

3. Публикацию результатов опроса ОМ стали считать такой же своей функцией, как и сообщение оперативной информации. Это такое же важное событие, претендующее на публикацию.

4. СМК стали сами специализироваться на проведении опросов. Очень мало фирм, которые сами могут проводить исследования, в основном, они выполняют заказы, в том числе и от СМК. Но мощные СМИ имеют собственные подразделения или арендуют определенные технологические звенья, проводят исследования или заказывают опрос и объявляют себя как заказчика, выходят с этой информацией от своего имени.

Появление опроса в СМИ – это его вторая жизнь. Все, что связано с его проведением, остается тайной профессионалов, а аудитории даются лишь результаты в той или иной интерпретации. Между тем, коротко сказать о многом невозможно. Результат можно рассматривать с самых различных точек зрения. Но 10 требований обязательно надо выполнить.

Опросы и существуют для того, чтобы быть представленными широкой публике: с их помощью общество рефлексирует, узнает о себе больше. Опросы помогают также вынести неосознаваемые большинством социальные болезни на поверхность сознания, привлечь к ним внимание, «вылечить». Общество в этом смысле должно созреть для опросов, как институты для того, чтобы их проводить.

Например, в Англии в 1971 г. специалисты объясняли расхождение результатов выборов с прогнозами именно редакционным ажиотажем, проявившимся в кричащих заголовках: «Пошатнувшиеся тори», «Еще 12% в пользу лейбористов», «Лейбористы – единогласно?» и т.п. заголовки предваряли колонки цифр – результаты опросов. А газета «Санди Таймс» опубликовала за два дня до выборов рез-ты, снабдив их заголовком: «Если народ проголосует во вторник так, как предсказывают исследовательские центры, то мистер Вильсон получит в парламенте на сто мест больше консерваторов». Но победили … консерваторы! Оказалось, что сдвиг произошел буквально за несколько дней до выборов, чего газет не учла. Гэллап заявил: «Тори победили в последние два дня».