Автор: Francesco Renga, Country Manager at Norstat Italia
Что значит репрезентативность?
Есть сложившееся мнение, что выборка репрезентативна населению, если результаты анализа выборки можно сопоставить с соответствующими данными по населению.
Выборка репрезентативна в случае, если результаты анализа выборки сопоставимы с соответствующими данными по населению
Если вы проанализируете определение репрезентативности, то поймете, что репрезентативности как таковой не существует. Определение репрезентативности всегда нуждается в уточнении. Например:
- репрезентативно населению (также известного как национально репрезентативно);
- репрезентативно населению в возрасте от 18 до 65 лет;
- репрезентативно интернет населению в возрасте от 18 до 65 лет.
Статистики утверждают, что только вероятностная выборка является репрезентативной. Логично, что квотированные выборки не могут быть репрезентативны т.к. невозможно знать все правильные квоты до проведения исследования. В любом случае это - лишь теория. На практике, исследователи довольно хорошо осведомлены о том, как распределены интересующие переменные в исследуемой целевой аудитории и могут поставить квоты соответственно. При этом данные национальных статистических управлений позволяют исследователям проверять квоты и непрерывно приводить их к соответствию.
В то же время, становится все труднее получить идеальную случайную выборку. К примеру, телефонные или личные интервью должны учитывать все возрастающую долю людей, отказывающихся участвовать в исследовательских проектах. Да, эти методы тоже имеют свои ограничения. И, наконец, вероятностная выборка становится слишком дорогой для многих исследовательских вопросов, предоставляя минимальную, по сравнению с квотной выборкой, дополнительную ценность.
Обозначим факторы, ограничивающие репрезентативность исследований с помощью онлайн панелей, а так же меры для улучшения качества таких исследований.
Рисунок 1.
Насколько ошибочны онлайн исследования?
Для того, чтобы люди могли оставить свои ответы в базе данных, они должны пройти четыре этапа. В этом разделе проанализируем эти этапы и препятствия, возникающие на каждом из них для репрезентативности исследования.
Ошибка покрытия
Если вам необходимо сделать исследование репрезентативным, необходимо начать с изучения проникновения интернета. В странах Европы, в среднем, 74% людей пользуются интернетом. В западной и северной Европе проникновение интернета заметно выше среднего по Европе, достигая наивысшего значения в Норвегии, Дании и Нидерландах (по 96%). В этих странах онлайн исследования недоступны всего для 4% населения.
Конечно, на проникновение интернета стоит обращать внимание только в случае, если для проведения проекта необходима репрезентативность населения. Во многих случаях результаты исследования должны быть репрезентативны онлайн населению, особенно, если тема исследования связана с электронной коммерцией, онлайн рекламой или чем-то подобным. В таком случае не стоит переживать из-за т.н. «неохвата».
Кто же этот «неохват»? Раньше онлайн население было заметно моложе, более образовано и более заинтересовано в технологиях, чем оффлайн население. Эти отличия между онлайн и оффлайн населением в последние годы исчезают т.к. увеличивается общее проникновение интернета охватывая все большую часть населения. Особенно заметен рост использования мобильного интернета среди людей без высшего образования и людей старшего возраста.
Ошибка покрытия релевантна только в том случае, если вам необходимо строить выводы для всего населения, а не просто для онлайн населения. В этом случае вам необходимо узнать, насколько ваша тема исследования связана с образованием или использованием ими технологий, чтобы расчитать возможные ошибки. К сожалению, как исследователь, вы ничего не можете с этим поделать. Если вам на самом деле важно качество данных, то тогда лучше выбрать другой метод сбора данных. Тем не менее, ошибка покрытия не настолько критична для большинства исследований и в большинстве стран, и ее значение продолжает уменьшаться благодаря большему проникновению интернета.
Рисунок 2.
Ошибка отбора
Прежде, чем дальше рассматривать рекрут из панелей, нужно отметить одно важное отличие в методе рекрута. Независимо от того, как вы отбираете и приглашаете соответствующих вашему исследованию участников панели, вы имеете возможность контролировать тех, кто присоединяется к панели. Мы это называем активный рекрут. Если же вы позволяете людям самим регистрироваться в панели, то вы не можете контролировать, кто именно регистрируется. Это мы называем открытый рекрут.
Большинство панелей работают именно с открытым рекрутом, потому что это эффективный способ пополнения панели с точки зрения затрат и доступности рекрута. Конечно, это явное снижение их качества. Во-первых, в основном вы привлекаете тех людей, кто имеет личный интерес в заполнении анкет, и они могут быть совершенно нерепрезентативны населению. Во-вторых, почти невозможно запретить регистрацию тем людям, которые не подходят по необходимым демографическим критериям или любым другим критериям по качеству.
В Норстат практикуется активный рекрут, и нет страницы публичной регистрации в панели. В странах, где у Норстат есть колл-центры, мы случайным образом выбираем людей из населения и по телефону приглашаем их присоединиться к нашей панели. Это делает наши панели настолько репрезентативными, насколько это только возможно. Во всех других странах мы используем набор разнообразных методов рекрута, чтобы избежать влияния только одного источника на общее качество панели. Желающие зарегистрироваться, приходящие из этих источников, перенаправляются на скрытую страницу регистрации, которая может быть отключена в любой момент. Это происходит каждый раз, когда мы замечаем проблемы с качеством или мошенническое поведение конкретного источника рекрута. Наконец, мы можем усилить определенную демографическую группу специальным таргетированным рекрутом, если чувствуем несбалансированность структуры панели.
В двух словах, если поставщики панелей приглашают «неправильных» людей в панель или им не хватает определенной группы целевой аудитории, то эту панель нельзя назвать репрезентативной. Все прикладываемые на этой стадии усилия большинству клиентов не видны, но определенно отличают высококачественную исследовательскую панель от нерепрезентативного списка для рассылок. К тому же, вам следовало бы всегда сравнивать владельцев панелей по методу рекрута в панель. И, кстати, наши регистрационные формы на 100% адаптированы к мобильным устройствам, чтобы убедиться, что мы не исключаем владельцев таких устройств от вступления в панель. Вы будете удивлены количеством панелей, для которых это до сих пор так и не стало стандартом. Мы еще вернемся к этой теме позже.
Ошибка неответа
Давайте предположим, что наша онлайн панель сейчас репрезентативна. Если сделаем случайную выборку из участников панели, то она тоже должна быть репрезентативна. К сожалению, не все респонденты кликают на ссылки приглашения. Одна часть панелистов откликается очень быстро, на ответ другой требуется некоторое время, а некоторые едва ли откликаются вообще. К концу полевого этапа полученный массив данных не будет репрезентативен населению, даже если выборка была изначально идеально случайной.
Неответ – это серьезная проблема не только для онлайн исследований, но и для других методов сбора данных. Интересно, что именно онлайн панели достигают удовлетворительного уровня отклика, так как их участники регулярно получают приглашения на опросы. Со временем они понимают, что могут доверять панельному провайдеру в отношении защиты данных и конфиденциальности. Возможно, что это самое большое отличие от телефонных интервью, которые в основном неожиданны. Более того, в онлайн исследованиях можно просто удлинить сроки полевого этапа и отправлять напоминания для увеличения отклика.
Во избежание смещения распределения финального массива, вам необходимо ставить квоты. Это могут быть как мягкие квоты (когда менеджер проекта будет стараться достичь необходимого распределения, прилагая максимум усилий – best efforts) или жесткие квоты (когда респонденты не смогут продолжить интервью, когда уже собрано достаточное количество ответов от их целевой группы). Еще одна альтернатива – работать со взвешиванием для выравнивания недобора или перебора представленных подгрупп.
Ошибка неответа может серьезно исказить ваши результаты. К счастью, Норстат достигает уровня отклика, который выше среднего, благодаря работе с мотивацией панелистов. Кстати, если вы хотите проверить качество проекта с Норстат, мы будем рады поделиться нашим отчетом о проведении проекта. Он отображает уровень отклика и другие важные факты о проведении и качестве проекта.
Рисунок 3.
Ошибка исключения
В этой части поговорим об исследованиях на мобильных устройствах. Если ваш шаблон опроса не предполагает заполнение с мобильных устройств, то вы систематически будете упускать значительную часть населения. Примерно две трети населения часто пользуется интернетом со смартфона или планшета, в зависимости от страны проведения проекта. Конечно, исключая их из опроса, вы получаете значительное влияние на качество вашего проекта.
Заметьте, что очень часто ошибка исключения забывается, когда говорят о репрезентативности, особенно, если упускается качество данных по предыдущим пунктам. Если страница для регистрации в панель не приспособлена для использования на мобильных устройствах, то вы систематически на ранней стадии рекрута исключаете пользователей этих устройств.
Если вы стараетесь получить репрезентативные результаты, то должны убедиться, что ваш опрос можно заполнить с любого устройства. В Норстат есть накопленный опыт по дизайну опросов, и мы будем рады запрограммировать ваш опрос наилучшим из возможных способов для всех устройств.
Заключение
Насколько все-таки репрезентативны онлайн исследования? Мы верим, что они могут быть близки к репрезентативности, если вы не ищите компромиссов в ущерб качеству. В Норстат мы стремимся сделать лучшее для наших клиентов. Также мы стараемся быть настолько прозрачными, насколько это только возможно в этом процессе т.к. нам нечего скрывать.
Но вы можете увидеть, что не так все гладко при проведении онлайн исследований с использованием панелей. Это не значит, что другие методы более совершенны. Просто их недостатки несколько другого рода. В любом случае, онлайн исследования нуждаются в профессиональной заботе для получения надежных и репрезентативных результатов.
Комментарий от переводчика
За мой семилетний опыт работы с онлайн исследованиями ни один проект не требовал вероятностной выборки, репрезентирующей все оффлайн население, и при этом по итогам каждого проекта выводы всегда экстраполировались за рамки выборки. Онлайн совокупность и грамотное квотирование – достаточные условие и хорошее решение для задач маркетинговых исследований, где онлайн применим в принципе.
Неграмотные квоты сильно усложняют полевые работы, настолько что людей, которых требуется найти – единицы или не существует вовсе. Вопрос: какова доля охранников, покупающих растворимый кофе в пакетиках поштучно марки А в торговой сети Б? Возникает вопрос целесообразности такого поиска. Квотирование вида «пол-возраст-город-страта-потребление-марка-упаковка» дает сотни мелких ячеек, статистический анализ которых невозможен из-за мизерных баз в этих ячейках.
Впрочем, квоты и их расчет для онлайн проектов – это отдельная тема, и мы обязательно ее поднимем и обсудим в следующих статьях и дискуссиях.
Ни одна из известных мне панелей в России не является репрезентативной оффлайн населению. Если, однако, репрезентативность вашего онлайн исследования заставляет вас нервничать, хочу заверить что онлайн совокупность уже очень большая и продолжает приближаться к размеру генеральной в оффлайне. Существующие на рынке панели, включая нашу, - достаточно большие и продолжают расти, сводя ошибку покрытия к небольшой погрешности. Ошибка неответа нивелируется поддержанием активных панелей со средним откликом на уровне 20-25%, аналогичном телефонным опросам (20%, ВЦИОМ «CATI-Экспресс»).
Англоязычный источник: https://www.linkedin.com/pulse/how-representative-online-research-francesco-renga?articleId=6164365205762568192
Перевод: Федоровский Алексей, Онлайн Интервьюер ООО, www.onlineinterviewer.ru