Социальные науки: воспроизводимость

Иллюстрация Петра Перевезенцева

Знаете, какая главная проблема в социальных науках? Невоспроизводимость.

Но в таком случае получается, что социология — не наука, поскольку воспроизводимость результатов — это едва ли не главный принцип научного метода. Если результаты, полученные одними исследователи, не воспроизводятся в любой другой лаборатории мира, то тогда это не научное знание.

Недавно выяснилось, что в социальных науках результаты примерно половины всех исследований невозможно воспроизвести независимо друг от друга и нет надежного способа заранее определить, какие из них окажутся несостоятельными. Это выяснилось в результате масштабного проекта с участием сотен исследователей из нескольких десятков стран под названием «Систематизация уверенности в открытых исследованиях и доказательствах» (SCORE — Systematizing Confidence in Open Research and Evidence).

Исследователи изучили 164 статьи, опубликованные с 2009 по 2018 год в 54 журналах по бизнесу, экономике, образованию, политологии, психологии и социологии. И выяснили, что только в каждом втором случае (49%) результаты опубликованной статьи удалось воспроизвести. При использовании менее строгих критериев, которые авторы называют приблизительной воспроизводимостью, этот показатель вырос до 74%.

Вообще, они оценивали научные статьи по трем критериям, которые часто объединяют в один, но которые отражают разные аспекты воспроизводимости исследований: достоверность, повторяемость и надежность.

При проверке на достоверность каждую статью изучали не менее пяти аналитиков. В 74% случаев выводы авторов признал достоверным хотя бы один из аналитиков. Но лишь в 34% случаев все аналитики сошлись во мнении, что результат был верным.

Что же с этим делать? Понятно, что простого решения нет. Команда SCORE надеялась выявить некие ключевые признаки, по которым можно было бы судить о достоверности статьи и представленных результатов при чтении статьи. Читатели были бы благодарны за такую подсказу.

Исследователи предложили более десятка таких показателей. Среди них наличие в статье оговорок, соблюдение стандартов обмена данными и количество цитирований и т.п.

Однако найти общий знаменатель не удалось. Возможно, для такого рода поиска нужно гораздо больше данных. Только один фактор сильно коррелировал с воспроизводимостью результатов — доступность данных. Лишь в трети статей из выборки SCORE, посвященных воспроизводимости результатов, были опубликованы данные и компьютерный код, подтверждающие выводы, — и эти статьи воспроизводились гораздо чаще.

Искусственный интеллект тоже не справился с задачей, видимо, база данных, на которой обучали нейросеть, была слишком мала. Кстати, проект SCORE финансировало Агентство перспективных оборонных исследовательских проектов США, и изначально он был направлен на изучение автоматизированных методов, которые могли бы помочь вооруженным силам США в использовании обширных исследований в области социальных наук.

Так что же делать? По словам исследователей, чтобы повысить воспроизводимость результатов, необходимы реформы в сфере профессиональной оценки работы ученых и финансирования. Они должны быть такими, чтобы исследователь думал не о количестве публикаций, а об их строгости и качестве. Очень правильный вывод, на мой взгляд. Хотя, например, чиновники из администрации президента Дональда Трампа уверены, что невоспроизводимость свидетельствует, скорее, о халатности и мошенничестве со стороны ученых.