Экспертное мнение

Критерии качества результатов исследований

«У нас было несколько нетиповых проектов, реализация которых расширила наши представления о возможности сочетания традиционных опросных методов и big data. Уже сегодня понятно, что «подводных камней» в составлении баз данных, о которых не спешат сообщать операторы, предостаточно, что может негативно сказаться на качестве результатов исследований при их использовании». Интервью с Ольгой Рыбаковой, директором Центра маркетинговых исследований Фонда Социум (Екатеринбург).

Ольга, изменилось ли понимание критериев качества исследований в последнее время? Какие критерии качества процесса и результатов поменялись?

Вопросы качества актуальны для любой профессии. В одних профессиях критерии качества фиксируются в ГОСТах, СНИПах и прочих нормативных требованиях. В других формируются индуктивно по мере развития профессиональных практик, что как раз свойственно для профессии социолога. В отечественной социологии жаркие споры о том, какие результаты социологических исследований следует считать качественными, и что подразумевается под  качественно проведенным исследованием, не прекращались с 70-х прошлого века. Тогда, в период реабилитации в стране академической социологии,  дискуссия практически не выходила за методологические рамки. Основными критериями качества социологической информации считались достоверность как отсутствие систематических ошибок, валидность как получение информации, адекватно отражающей изучаемую реальность по измеряемым характеристикам, устойчивость, как повторяемость результатов при повторных замерах, или при сравнении с данными, полученными из альтернативных источников. Все названные критерии и множество аналогичных им (обоснованность, надежность, пресловутая репрезентативность и пр.) были нацелены только на соблюдение методологических и методических требований к проведению исследования, касались «кухни» самого исследовательского процесса. Эти вопросы качества были и остаются центральными, но методологические рамки дискуссии в последние 20-25 лет претерпели значительные и вполне закономерные изменения. По мере развития коммерческого сектора в отечественной социологии исследование приобрело выраженные черты информационной услуги, и, согласно требованиям функционирования рынка услуг, потребовалась визуализация качества как процесса, так и результата.

Во-первых, методологические вопросы с довольно абстрактных размышлений о смысловом консенсусе понимания качества и его референтов  сместились в направлении вполне практических проблем. Например, каково влияние «человеческого фактора» на качество исследования. Речь идет о поиске и описании ошибок в коммуникации участников исследований, о фальсификациях и их влиянии на качество результатов, о значимости параданных как референта качества и пр.

Во-вторых, гораздо активнее сегодня обсуждаются организационно-методические вопросы, такие как документарное подтверждение качества: аудио записи интервью, визуальное доказательство факта проведения полевых работ. Или, например, появление нормативных требований к отчётным документам по результатам исследования, которые могли бы наглядно гарантировать качество результатов за счет открытости сведений об исполнителе, о методической стратегии, о массиве данных и т.д. Открытый доступ к «кухне исследовательского процесса» расценивается как референт его качества, конечно, при условии соблюдения требований конфиденциальности и норм этики.

И очень хорошо, что мы имеем возможность для описания и визуализации критериев качества процесса исследования и его результатов ориентироваться на международные стандарты ISO 20252, AAPOR, Esomar и др.  

Еще одним существенным изменением в понимании качества социологической информации стал критерий практической ценности результатов, эффективности использования социологической информации. В  дискуссиях о качестве этот критерий переместился с периферии в самый его центр. Качество оценивается как своеобразный KPI внедрения результатов исследования. Речь чаще всего идет о том, насколько эффективна полученная социологическая информация в качестве информационного обеспечения для разработки/реализации конкретных управленческих решений, стратегического планирования и т.д.

Проблема качества касается больше исследований проведенных количественными или качественными методами?

Качество социологического исследования и его результатов зависит не от методов сбора данных, а от точности соответствия методической стратегии исследовательским задачам. Понимание природы метода, диапазона его возможностей и ограничений очень важно для обеспечения качества результатов. К сожалению, можно привести массу примеров некорректного обращения с методами, и качественными, и количественными. Например, когда исследователь выдает «статистику» по итогам фокус групп. Или, когда желание заказчика узнать сразу все и обо всем приводит к безумно перегруженным вопросникам, и замученные респонденты в итоге отвечают «от фонаря», или прерывают интервью. Пожалуй, сегодня можно считать банальностью утверждение о том, что нет совершенных методов ни в качественной, ни в количественных методических стратегиях. Но имеют смысл усилия, направленные на выявление ограничений и типичных ошибок использования разных методов и поиск вариантов их минимизации за счет миксовых методических стратегий. Например, использование эвристических возможностей включенного наблюдения для детализации результатов массовых опросов при изучении крупных ивентов и пр.

Помогают ли новые технологии и методы повысить качество? Или наоборот? В каких случаях?

Новые технологии в первую очередь направлены на минимизацию негативного влияния «человеческого фактора» на качество как исследовательского процесса, так и его результатов. Так, планшетные опросы позволяют нам точнее контролировать работу интервьюеров: их дислокацию во время опроса, отсутствие фальсификаций и нарушений в общении с респондентами.  Постоянное совершенствование ПО для телефонных опросов повышают качество реализации выборки, позволяют более глубоко анализировать параданные.

Если под новыми технологиями подразумевать и хорошо забытые старые, то в последнее время аналитики Фонда Социум активно используют такой технологический прием как дизайн мышление на старте проекта и перед составлением отчета. Смысл его в том, чтобы совместно с заказчиком достичь максимально точной постановки исследовательских задач и обозначить границы изучаемой проблемы, а на этапе разработки макета отчета максимально предусмотреть весь диапазон дальнейшего использования результатов исследования заказчиком для принятия эффективных решений. Такое более глубокое вовлечение заказчика в исследовательский процесс   как раз работает на повышение качества результатов, повышает эффективность их внедрения.

Какие новые подходы вы стали использовать в вашей компании? Как это повлияло на качество процесса и результатов исследований? Есть ли примеры интересных кейсов?

Так случилось, что в 2018 году у нас было несколько нетиповых проектов, реализация которых расширила наши представления о возможности сочетания традиционных опросных методов и big data. Так, например, для изучения численности и структуры аудитории одного из самых массовых событий в Екатеринбурге – фестиваля Ural Music Night -  мы использовали сочетание массового опроса и приложения «Яндекс. Аудитории», как способ проконтролировать результаты опроса и обогатить описание структуры аудитории фестиваля. Полученные данные вполне оправдали наши ожидания. При численности посетителей примерно в 200 тыс. человек, расхождения результатов по замерам массовым опросом и приложением «Яндекс. Аудитории» составили не более 10 тыс.

Другим интересным кейсом с использованием big data было исследование транспортных корреспонденций в одном из российских городов. Для картографирования времени и размеров пробок в движении транспорта мы использовали сочетание массового опроса и приложения «Яндекс. Пробки», что значительно повысило точность измерений не только типичных «пробковых мест», но временной динамики и длины каждой пробки с точным указанием локации, что раньше, лет 10 назад, сделать не удавалось.

Два этих кейса продемонстрировали некоторые возможности эффективного сочетания наших традиционных методов и big data. Мы планируем и дальше изучать потенциал такого сочетания, тем более, что операторы различных big data все более активно предлагают сотрудничество и стремятся «играть на нашем поле». Более пристальное внимание мы будем уделять анализу технологий сбора предлагаемых big data и выявлению ограничений в их использовании при проведении социологических и маркетинговых исследований. Уже сегодня понятно, что «подводных камней» в составлении баз данных, о которых не спешат сообщать операторы, предостаточно, что может негативно сказаться на качестве результатов исследований при их использовании.

© 2020-2022 Ассоциация исследовательских компаний «Группа 7/89». Все права защищены.

Поиск