Это интересно

Американские социологи провели работу над ошибками

Американская ассоциация исследований общественного мнения (AAPOR) изучила причины провала работы экспертов на президентских выборах в США в 2016 году. В переводе изложены основные положения и выводы отчета AAPOR.

ОСНОВНЫЕ ПОЛОЖЕНИЯ

Президентские выборы 2016 года стали резонансным событием в США. По данным предвыборных опросов вероятность победы Хиллари Клинтон составляла около 90%, причем оценки варьировались от 71% до 99%. Когда утром 9 ноября Дональд Трамп был объявлен победителем, это шокировало даже его поллстеров (Jacobs and House 2016). Было широко распространено (и продолжает так быть) единодушное мнение, что опросы провалились.

Опросы действительно провалились? И если да, то почему? Это основные вопросы, затронутые в докладе, который был заказан Американской ассоциацией исследований общественного мнения (AAPOR). Этот отчет стал итогом работы комиссии, созданной весной 2016 года с целью: оценить точность предвыборных опросов 2016 года, как для праймериз, так и для общих выборов, пересмотреть варианты использования различных методов исследования и выявить различия между предыдущими предвыборными опросами и опросами в 2016 году. Комиссия состояла из ученых, занимающихся изучением общественного мнения и методологией исследований, а также практиков предвыборных опросов. Наши основные выводы заключаются в следующем:

Общенациональные опросы были в целом правильными и точными по историческим меркам.Общенациональные опросы были одними из самых точных при оценке федерального голосования с 1936 года. В совокупности они показали, что Клинтон лидировала на 3 процентных пункта, и они были в основном верными; она в конечном итоге выиграла всенародное голосование на 2 процентных пункта. Кроме того, как некоторые предположили, высокие показатели общенациональных опросов не продемонстрировали результат из-за двух крупных ошибок (недооценка поддержки Трампа среди белых рабочих и переоценка явки в либеральных штатах с высокой концентрацией латиноамериканского населения).

Опросы на уровне штатов показали конкурентную, изменчивую борьбу ... В борьбе, в которой на самом деле имеет значение коллегия выборщиков, опросы на уровне штатов показали электоральное сражение, в котором казалось, что Клинтон имеет преимущество в восьми штатах, на которые приходится более трети голосов избирателей, и которые необходимы для победы. Опросы показывали лидерство в три процентных пункта и меньше (Trende 2016). Шон Тренде отметил: «Средние показатели опросов агрегатора RealClearPolitics подтверждали, что Клинтон лидирует с самыми низкими показателями в коллегии выборщиков, 272-266». Средний показатель подтверждал, что Трампа от победы на выборах отделял всего один штат.

... явно недооцененная поддержка Трампа в Верхнем Среднем Западе. Опросы показывали, что Хиллари Клинтон лидирует в Пенсильвании, Мичигане и Висконсине, где за демократов голосуют шестой раз подряд. Социологи прогнозировали, что «синяя стена» Демократической партии будет держаться. Однако, в день выборов, Трамп победил во всех трех штатах.

Существует ряд причин, почему недооценивается поддержка Трампа. Объяснения, для которых мы нашли наибольшие доказательства:

• Реальное изменение предпочтений в голосовании за неделю до выборов. Согласно последним данным, около 13% избирателей в Висконсине, Флориде и Пенсильвании приняли решение за неделю до выборов. Эти избиратели добавили Трампу около 30 пунктов в Висконсине и 17 пунктов во Флориде и Пенсильвании.

•Не был учтен перевес людей с высшим образованием при опросах. В 2016 году наблюдалась сильная зависимость между уровнем образованием и предпочтениями на президентских выборах. Избиратели с высшим образованием поддерживали Клинтон. Кроме того, недавние исследования показали, что избиратели с высшим образованием в целом активнее участвуют в опросах. Многие опросы, особенно на уровне штатов, не учитывали перевес избирателей с высшим образованием, и результатом была переоценка поддержки Клинтон.

•Некоторые избиратели Трампа, участвовавшие в предвыборных опросах, не раскрылись как избиратели Трампа до выборов, и они превзошли численностью выявленных позже избирателей Клинтон. Этот вывод может быть обусловлен либо поздним решением, либо недостоверной информацией (так называемый феномен «стесняющиеся трамписты») в предвыборных опросах. Ряд других тестов гипотезу о «стесняющихся трампистах» не подтвердил.

Меньше убедительных доказательств относительно других факторов, которые, возможно, способствовали недооценке поддержки Трампа:

•Изменение модели явки c 2012 по 2016 год также является причиной, но источники для изучения этих данных еще не опубликованы. В сравнении с 2012 годом явка в 2016 году в республиканских штатах росла больше, чем в демократических. Ряд опросов был скорректирован с учетом моделей явки с 2012 года. Основываясь на том, что произошло в 2016 году, эта корректировка может привести к переоценке явки среди, например, афроамериканцев и недооценке явки среди белого сельского населения. К сожалению, источники с демографическими данными избирателей 2016 года не выпущены или выпущены не полностью. Хотя мы думаем, что это могло способствовать лишь некоторым ошибкам в опросах. Анализ, который мы смогли провести, исследуя моделирование поведения избирателей, показывает в целом небольшие и противоречивые результаты.

•Порядок голосования может сыграть определенную роль в некоторых штатах, но он не объясняет ошибки при проведении опросов. В некоторых штатах, где с небольшим отрывом победил Трамп (Мичиган, Висконсин, Флорида) избирательные правила способствовали тому, что имя Трампа было выше Клинтон на всех бюллетенях. Если кандидат находится первым в списке, то это может дать ему преимущество до трети процентного пункта. Учитывая, что социологи располагают имена кандидатов в случайном порядке, а не реплицируют, как они представлены в штате, это может объяснить отчасти недооценку поддержки Трампа. Но порядок голосования в лучшем случае представляет собой лишь незначительную причину проблем с ошибкой опросов.

В недавнем опросе в США нет партийного фаворитизма. По данным общенациональных и внутриштатовых опросов в 2016 году была недооценена поддержка республиканца Трампа. Однако в 2012 и 2000 годах электоральные опросы явно недооценивали поддержку кандидатов в президенты от Демократической партии. Тенденция такова, что независимо от того общенациональные это опросы или опросы на уровне штатов, колебания предпочтений в пользу демократов или республиканцев аналогично подкидыванию монеты.

О прогнозах, что Клинтон победит на 90% ... Они помогли сформировать ошибочное убеждение, что Клинтон будет избрана на пост президента. Подобная критика может быть направлена и против опросов, можно сказать, что выборы были неконкурентоспособными, возможно, привели к снижению мотивации некоторых людей к голосованию − опросы и модели прогнозирования − это не одно и то же. Как говорил покойный социолог Эндрю Кохут (2006): «Я не судья, я делаю замеры. Есть разница». Социологи и проницательные журналисты часто делают свои выводы, как моментальный снимок, измеряя общественное мнение в определенный промежуток времени. (например, Agiesta 2016; Easley 2016a; Forsberg 2016; Jacobson 2016; McCormick 2016; Narea 2016; Shashkevich 2016; Zukin 2015). Модели прогнозирования − это нечто совсем другое − попытка предсказать будущее событие. Как показали выборы в 2016 году, это чревато, а польза для страны неясна.

Президентские праймериз проводились также, как и на прошлых выборах. Предварительные опросы в 2016 году на республиканских и демократических праймериз не были совершенными, но ошибки были в пределах нормы. Опросы не оправдались, как правило, там, где Клинтон или Трамп занимали второе место. Ошибки были меньше, когда они были первыми. Это говорит о том, что на праймериз было трудно определить победителя.

Неудачный год для электоральных опросов не является приговором для всех исследований и опросов. Качественное выполнение электоральных опросов не является хорошим показателем качества опросов в целом по нескольким причинам. Электоральные опросы уникальны, поскольку в них не только должна быть репрезентативная выборка населения, но они также должны правильно идентифицировать вероятных избирателей. Вторая задача представляет собой серьезные проблемы, с которыми большинство других опросов просто не сталкиваются. Обычно опросы ориентированы на основные демографические показатели населения США. Электоральные опросы, напротив, требуют грамотных оценок профиля голосующего электората. По опросам 2016 года, на которых отразились поздние изменения и необычная модель явки, ошибочно судить о том, что все опросы недостоверны. Правильно спланированные и строго выполненные исследования все еще способны дать ценную и точную информацию об общественной жизни в США.

Предложения по решению вопросов, связанных с проведением голосования на уровне штатов. Как говорится в настоящем отчете, общенациональные опросы в 2016 году были достаточно точными, в то время как опросы на уровне штатов показали некоторые большие ошибки. Постоянное разочарование в опросах и исследовательском сообществе из-за того, что профессия оценивается на основе недофинансированных опросов на уровне штатов. Индустрия не может реально изменить то, как ее судят, но она может улучшить качество опросов, по крайней мере, теоретически. AAPOR не располагает ресурсами для финансирования высококачественных опросов на уровне штатов на президентских выборах, но она может подумать о попытке организовать финансирование. Ошибки в опросах, подобные тем, что наблюдаются в 2016 году, нередки. С сокращением бюджетов на опросы, нет оснований полагать, что эта проблема решится. Коллективно, некоторые организации могут быть заинтересованы в финансировании высококачественных опросов, чтобы в дальнейшем не очернять профессию.

alt

ВЫВОДЫ

Комиссия, уполномоченная AAPOR, провела расследование проведения предвыборных опросов в 2016 году. В то время как общественность единодушно считала, что «опросы провалились», некоторые эксперты отрасли пришли к выводам, что реальность оказалась гораздо сложнее (Newport 2016; Silver 2016a; Trende 2016). Некоторые опросы, действительно были проведены с ошибками, но не большинство опросов. Причины ошибок во время опросов больше не являются тайной. Мы нашли доказательства нескольких факторов, которые продемонстрировали в опросах недооценку поддержки Трампа относительно результатов выборов в течение предвыборной гонки. Выводы, вкратце:

Общенациональные опросы были в целом правильными и точными по историческим меркам

В общенациональных опросах в среднем указывалось, что Клинтон выиграет национальное всенародное голосование на 3 процентных пункта. Они были достаточно точными; она, в конечном счете, выиграла национальное всенародное голосование на 2,1 процентных пункта. Используя две метрики, сравнивающие опросы, средние показатели в опросах также составляли 2,2 процентных пункта. Величина средней ошибки составила 1,3%. Оба показателя являются хорошими по историческим меркам. Это не было результатом двух больших ошибок (недооценка поддержки Трампа среди белых рабочих и переоценка явки в либеральных штатах с высокой концентрацией латиноамериканского населения).

С точки зрения прогнозирования результатов опросы на уровне штатов были неудачными в этом году

Напротив, опросы на уровне штатов имели среднюю абсолютную погрешность в 5,1 процентных пункта и ошибка в расчётах 3 процентных пункта. Это самая большая средняя абсолютная ошибка на выборах, начиная с 2000 года. Самая главная ошибка была связана с переоценкой поддержки Клинтон и недооценкой поддержки Трампа.

В ключевых штатах недооценка поддержки Трампа в опросах была самой важной

В более конкурентных штатах ошибки в опросах на уровне штата были ниже, чем в опросах штатов, где не было конкуренции. Но в штатах с более высокой конкуренцией недооценка поддержки Трампа привела к неправильным выводам, особенно в двух штатах в Верхнем Среднем Западе. Опросы показывали, что Хиллари Клинтон лидирует в Пенсильвании, Мичигане и Висконсине. Социологи прогнозировали, что «синяя стена» Демократической партии будет держаться. Однако, в день выборов, Трамп победил во всех трех штатах.

Причины недооценки поддержки Трампа: перемены в выборе избирателей

Имеются реальные свидетельства изменений в предпочтениях избирателей в пользу Трампа за неделю до выборов, особенно в штатах, где выиграл Трамп.

Причины недооценки поддержки Трампа: не был учтен перевес людей с высшим образованием при опросах

Наблюдалась сильная зависимость между уровнем образованием и предпочтениях на президентских выборах в ключевых для выборов штатах. Избиратели с высшим образованием поддерживали Клинтон. Многие опросы, особенно на уровне штатов, не учитывали перевес избирателей с высшим образованием в своих опросах, и результатом была переоценка поддержки Клинтон. Это привело к недооценке поддержки Трампа.

Причины недооценки поддержки Трампа: недооценка феномена «стесняющихся трампистов»

Во время праймериз и общенациональных выборов некоторые утверждали, что сторонники Трампа не озвучат интервьюеру свои намерения, так как поддержка Трампа была социально неодобряемой. Многие избиратели Трампа, участвовавшие в предвыборных опросах, не раскрыли себя как избиратели Трампа до проведения исследований, проведенных после выборов (и они превзошли численностью избирателей Клинтон). Это может быть связано либо с запоздалым решением, либо с искажением информации («стесняющиеся трамписты») в предвыборном опросе. Ряд других тестов гипотезу о «стесняющихся трампистах» не подтвердил, включая различия между опросами с интервьюерами и без них.

Причины недооценки поддержки Трампа: неответы

Частота ответов в телефонных опросах с интервьюерами продолжает снижаться, причем для других методик показатели ответов еще ниже. Таким образом, некоторые утверждают, что общенациональные опросы помогли компенсировать ошибки в штатах с высокой поддержкой Трампа и там, где больше поддерживали Клинтон. Данные не подтверждают, что штаты с большой поддержкой Трампа систематически недостаточно представлялись в общенациональных опросах или опросах на уровне штатов.

Причины недооценки поддержки Трампа: изменение явки и недочеты в моделях

Модели явки изменились с 2012 по 2016 год, что могло привести к ошибкам в избирательной модели, используемой социологами. Источники данных для изучения не были опубликованы во время проведения этого анализа: Текущее обследование населения (обследования домохозяйств) и обновленная информация зарегистрированных избирателей со всей страны. Изменения в явке и ошибки в вероятных моделях могли способствовать некоторым ошибкам опроса, хотя анализ, который мы провели, показал небольшие и противоречивые результаты.

Причины недооценки поддержки Трампа: порядок кандидатов в бюллетене в некоторых штатах

Порядок следования кандидатов в бюллетене может сыграть определенную роль в некоторых штатах, но он не объясняет ошибки опроса. Социологи отметили, что правила выборов в некоторых штатах привели к тому, что имя Трампа было выше Клинтон на всех избирательных бюллетенях в нескольких ключевых штатах, которые выиграл Трамп (Мичиган, Висконсин и Флорида). В контексте ошибок опроса, которые были существенно больше, порядок голосования в лучшем случае является лишь незначительной причиной провала опросов.

Президентские праймериз проводились также, как и на прошлых выборах

Предварительные опросы в 2016 году на республиканских и демократических праймериз не были совершенными, но ошибки были в пределах нормы. Опросы не оправдались, как правило, там, где Клинтон или Трамп занимали второе место. Ошибки были меньше, когда они были первыми.

Агрегаторы и оценщики

Агрегирование результатов опроса и прогнозирование результатов выборов было непростым в 2016 году. Они помогли сформировать ошибочное убеждение, что Клинтон будет избрана на пост президента. Подобная критика может быть направлена и против опросов, можно сказать, что выборы были неконкурентоспособными, поскольку опросы, привели к снижению мотивации некоторых людей к голосованию − опросы и модели прогнозирования − это не одно и то же. Социологи и проницательные журналисты часто делают свои выводы, как моментальный снимок, измеряя общественное мнение в определенный промежуток времени. Модели прогнозирования − это нечто совсем другое − попытка предсказать будущее событие. Как показали выборы в 2016 году, это чревато. Осторожность и смирение, по-видимому, необходимы поллстерам и тем, кто заказывает опросы.

В опросах США нет партийного фаворитизма

По данным национальных опросов в 2016 году была недооценена поддержка республиканца Трампа. Однако в 2012 и 2000 годах электоральные опросы явно недооценили поддержку кандидатов в президенты от Демократической партии. Тенденция такова, что независимо от того общенациональные это опросы или опросы на уровне штатов, колебания предпочтений в пользу демократов или республиканцев являются случайными.

Предвыборные опросы - это не все опросы

Ошибки электоральных опросов в 2016 году не являются приговором для опросов и исследований в целом. Качество выполнения предвыборных опросов не является хорошим показателем качества опросов в целом. Электоральные опросы отличаются от других опросов, поскольку при их проведении должна быть не только репрезентативная выборка, но они также должны правильно моделировать, кто среди этой выборки будет голосовать на выборах. Вторая задача представляет собой серьезные проблемы, которые присущи только электоральным опросам. Ошибочно считать и делать выводы, что все опросы провалилась, так как в 2016 году были не совсем обычные выборы. Многие исследования доказывают, что опросы по-прежнему способны давать ценную и достаточно точную информация об общественной жизни в США (Ansolabehere and Schaffner 2014; Bloom and Pearson 2008; Dutwin 2016; Keeter et al. 2006; Kennedy, Wojcik and Lazer 2017; Pew Research Center 2012).

Перевод: Карпова Антонина

Источник: http://www.aapor.org

© 2020-2022 Ассоциация исследовательских компаний «Группа 7/89». Все права защищены.

Поиск