Насколько можно доверять выводам психологии, экономики и социологии? Крупнейшая на сегодня проверка, опубликованная в журнале Nature, даёт отрезвляющий ответ: когда независимые команды заново провели исследования из ведущих журналов, исходный результат подтвердился примерно в половине случаев. При этом сами эффекты в повторных работах оказались в среднем в два с лишним раза слабее.
Что изучали
Проект шёл в рамках программы SCORE, которую в 2019 году запустило агентство DARPA. Руководили работой Эндрю Тайнер, Тимоти Эррингтон и Брайан Нозек; в ней участвовали сотни исследователей из 31 страны.
Сначала учёные случайным образом отобрали 3900 количественных статей, вышедших в 2009–2018 годах в 62 журналах по шести дисциплинам: бизнес, экономика, образование, политология, психология и социология. Около 1500 работ подходили для повторения, а в итоге удалось воспроизвести 164 статьи из 54 журналов — всего 296 попыток проверить 274 отдельных утверждения.
В 98 случаях исследователи собирали новые данные, в 66 — заново анализировали другие подходящие массивы данных. Повторные исследования были заметно крупнее оригиналов (медиана 545 участников против 206) и рассчитывались так, чтобы почти наверняка заметить эффект исходного размера. Планы анализа заранее регистрировались в открытом доступе — это защищает от подгонки результатов.
Что выяснили
- В пересчёте на статьи результат подтвердился (значимый эффект в том же направлении) в 49,3% случаев. В 40,4% эффект не обнаружился, в 9,7% — оказался значимым, но противоположным.
- По отдельным утверждениям доля подтверждений составила 55,1% (151 из 274).
- Типичная сила эффекта упала с 0,25 до 0,10 (коэффициент корреляции): примерно на 58%. Более слабым результат оказался у 80% статей.
- Если использовать другие критерии «успешной репликации» (авторы проверили 13 вариантов), доля подтверждений колеблется от 28,6% до 74,8%.
- По дисциплинам разброс такой: экономика — 42,5%, бизнес — 47,2%, психология — 49,0%, социология — 51,1%, политология — 52,0%, образование — 63,1%. Но различия между областями статистически незначимы: в некоторых из них было слишком мало работ.
- Год публикации на воспроизводимость не повлиял: статьи 2018 года подтверждались не лучше, чем статьи 2009-го.
Что это значит
Главный вывод авторы формулируют осторожно: воспроизводимость опубликованных результатов нельзя принимать как должное. Но неудачная репликация не означает, что исходное открытие ложно. Эффект может зависеть от времени, страны, выборки; часть «сжатия» объясняется статистикой — в журналы чаще попадают удачные, «громкие» результаты, и при повторе они закономерно оказываются скромнее.
Для читателя из этого следует простое правило: одиночное исследование — это повод для интереса, а не окончательная истина. Надёжнее те выводы, которые подтверждены несколькими независимыми командами, метаанализами и заранее зарегистрированными испытаниями. Мы уже писали о том, как новости о психоделиках обещают больше, чем доказали исследования, и о том, что доверие к науке хрупко, — новая работа показывает, почему так важно открыто проверять даже опубликованные результаты.
Для сравнения: в знаменитом проекте 2015 года по психологии подтвердилась примерно треть из 100 исследований. Новая оценка выше, но всё равно далека от идеала.
Ограничения
Выборка статей не была полностью случайной: дорогие и сложные исследования повторить было труднее, поэтому их меньше в итоговом наборе, а доля психологии выросла с 24% до 35%. Качественные исследования и работы с «нулевыми» результатами не включались. Итоговая цифра сильно зависит от выбранного критерия успеха. Наконец, проверялись только положительные исходные результаты, что само по себе завышает ожидаемое снижение эффекта при повторе.
Поделиться статьёй:
Источники
- Tyner A. H., Errington T. M., Nosek B. A. et al. Investigating the replicability of the social and behavioural sciences. Nature, 2026. https://doi.org/10.1038/s41586-025-10078-y
- Обзор исследования на PsyPost https://www.psypost.org/only-about-half-of-social-science-findings-held-up-when-retested-major-replication-project-finds/
Материал подготовлен редакцией «Новости психологии» на основе опубликованных исследований и носит информационный характер. Он не заменяет консультацию специалиста.
Добавить комментарий