Методология против фейка

Любые организации, в принципе, живут сетями. Функциональные обязанности, проекты, интерес, симпатии и антипатии — сети пронизывают всю организацию. Хорошо это или плохо? Просто факт, знание которого позволяет увеличить эффективность принятия решений. Как и для чего делать анализ сетей в организации, как формировать гипотезу, когда принимать управленческие решения?

Я очень люблю различные челленджи и часто использую их в работе со студентами. Например, предлагаю разыграть сценку: вы – это эксперт, который занимается анализом социальных процессов, явлений, феноменов, а я – журналист. Я говорю эксперту: «Недавно одна социологическая служба провела очень интересное исследование, и оказалось, что 83% россиян высказались за то, чтобы вынести тело Ленина из Мавзолея. Как бы вы прокомментировали этот факт, эту новость?»

А вот теперь вопрос: какая обратная реплика от эксперта встречается реже всего? Как правило, мои собеседники начинают говорить: ну вы знаете, в сегодняшней России такие тенденции, процессы, что нет ничего удивительного, что… Реже всего спрашивают: а что за исследование, каковы его характеристики, «паспортные данные»? Дальше я сообщаю о том, что было опрошено около 500 тысяч человек в промежуток между 20 ноября и 28 декабря 2011 года в Москве. Что происходило в это время? Это время пребывания в России пояса Богородицы, и опрос проводился среди людей, которые стояли в очереди для поклонения святыне. Получается, что я как «журналист» не даю полной информации, а мой собеседник как «эксперт» не догадывается ее запросить.

Для чего этот эксперимент? Чтобы показать ловушку «здравого смысла». Она заключается в убеждении, что любые данные о чем-то говорят. Если данные есть, то их можно проанализировать и проинтерпретировать – мы же вдумчивые люди! Но парадокс в том, что наше знание о мире не точнее того инструмента, которым мы это знание добываем. И прежде чем говорить о содержательных результатах, имеет смысл спросить: а что это за данные и каким образом их собирали? Рассмотрим три очень показательных примера.

Я – нерепрезентативен

В интернете был проведен опрос 700 человек с использованием панели добровольно зарегистрировавшихся участников, все квотировалось согласно данным ТNS Гэллап медиа, выдержано условие, чтобы эти квоты совпадали, и т.д. Каков же вывод исследования?

Вот прямая цитата: «Если репрезентативность рассматривать не с точки зрения статистики, а как возможность делать выводы об определенной группе людей, то квотный онлайн-опрос можно считать репрезентативным для интернет-пользователей». Далее еще интересный пассаж специально для социологов: «Онлайн-опрос по репрезентативности не отличается от телефонного». То есть просто утверждение, никакой ссылки, никакого доказательства.

Вопрос: а зачем вообще автору этого исследования репрезентативность, тем более общероссийская? Человек решал совершенно другие задачи: анализировал удовлетворенность образованием, которое сейчас получают студенты. Ответ: не надо гнаться за теми миражами, с которыми вы не сможете дальше жить.

Зануда и любовь

Разбор полетов инициировали сами авторы исследования. Это очень правильная позиция – попросить оценку методологии проекта. Они обратились к нам с просьбой сделать экспертизу, оценить проект под названием «Индекс любви», суть которого состояла в исследовании эмоционального состояния пользователей социальных сетей по упоминаниям слов «люблю» и «не люблю» или «ненавижу». Сотни миллионов сообщений десятков миллионов пользователей были проанализированы, а данные на карте России отображали, в каких регионах любви больше, а в каких меньше.

При разборе проекта сразу стало понятно, что не всех ботов смогли вычистить, что программа не ловит сарказм типа «люблю Собянина за московские пробки», что при количественном подсчете учитывалось самоцитирование, то есть в замеры попали интересующие слова из растиражированного пресс-релиза авторов исследования.

Но самое интересное не в этих технических нестыковках. Оказалось, у авторов проекта нет эмпирической концепции «любви» – простой, операционально понятной. В словах «я люблю Васю», «я люблю кофе», «люблю ужастики», «люблю грустить в дождь» все-таки разные сюжеты, разные темы, разные предметы любви и вряд ли сопоставимая эмоциональная палитра. Значит, результат есть, но вот о чем он? Неизвестно.

Поиски лоботрясов

Это исследование большого маркетингового отдела (50 человек) в крупной компании. Вроде автор исследования все сделал хорошо и правильно, есть полные выкладки, коэффициенты связи, которые дают реальную картину о двух группах сотрудников: те, которые «испускают» взаимодействие, и те, которые больше его принимают.

Сперва удивило, что в качестве объясняющей модели был взят концепт «общественного мнения», что позволило выявить в коллективе лидеров и аутсайдеров сетевого взаимодействия и создания «общественного мнения». Это все-таки не самый удачный концепт для сетевого анализа. Но дальше – новое. Функциональность сети анализировалась на основании «степени личного сотрудничества друг с другом, не опосредованного почтой или телефоном». То есть все сделано технически грамотно, но концепция общественного мнения привела к тому, что изучалось не взаимодействие, а личное общение.

Результат исследования можно также оценить по цитате: «Их (аутсайдеров) коммуникационная функция развита слабо, они не влияют на распространение информации, а их способность формировать общественное мнение за счет малого количества слабых связей также практически не развита. В изучаемой компании были сокращены именно такие позиции». Как все просто: выявили сети в организации, посчитали эффективность, неэффективных уволили. А исходные инструменты были неверными!

Что делать?

На самом деле рекомендации очень просты. Прежде чем бросаться смотреть выводы любого исследования, найдите то приложение, где описана методология исследования. Кто был заказчиком, какой метод использован, насколько подробно описаны процедуры, какой объект моделировался, когда и при каких условиях проводилось исследование, какие у него вообще были цели и задачи и как операционализировались базовые концепты – переводились с теоретического языка на язык эмпирического инструментария?

Вопрос о паспорте исследования – это вопрос о последовательной согласованности всех компонентов для любого исследования (сетевого, интернет-исследования, социологического, маркетингового – не важно). Необходимо запрашивать методический паспорт исследования.

Очень важная составляющая – экспертиза. Можно на экспертизу отправлять уже готовый продукт, но еще лучше делать экспертизу замысла, экспертизу проекта исследования. Мы все время сталкиваемся с тем, что в сетевом анализе, в интернет-исследованиях утрачена прерогатива академических исследований, такими исследованиями занимаются очень многие, и это – хорошо. Но одновременно это рождает разность методологических оснований, разность представлений о том, что является обоснованным выводом – не доказанным, а именно обоснованным. Это рождает разность методического и теоретического языков, которую мы сейчас должны научиться преодолевать.

Не менее важен вопрос о валидизации – как убедиться в том, изучаем ли мы то, что запланировали изначально, или возникли какие-то смещения? Необходимо постоянно проверять самих себя, каковы источники внутренней и внешней валидности инструментария исследований. Недостаточно просто сказать, что у меня хороший инструментарий, нужно в этом убедить самого себя.

Стратегия проведения исследования имеет два подхода. Первый – комбинирование методов, когда одновременно используется анкетный опрос, анализ социальных сетей и фокус-группы. Но это не является mixed methods. Важно уметь перекидывать исследовательские задачи, проблемы, гипотезы, например, из сетевого анализа в анкетный опрос, в интервью или в какие-то этнографические или социологические экспедиции. И наоборот.

И здесь, на мой взгляд, еще более интересный вызов: то, что называется OOPS – онлайн-офлайновое исследование социальных феноменов. Нужно перестать думать, что социальные процессы и явления могут быть описаны только онлайн или офлайн. Нужно понимать, что сейчас реальность синтетическая, она незаметно и очень причудливо перетекает из онлайна в офлайн. И для того, чтобы разрабатывать и осваивать подход OOPS, очень важно подбирать методологически, методически правильные объекты, то есть находить такие группы, на которых мы сможем отработать эту методологию.