Воспроизводимая невоспроизводимость

Г.В. Эрлих

Кризис воспроизводимости — это то, что началось больше 30 лет назад и продолжает сотрясать науку по сей день. Первые статьи ученых о том, что научные результаты коллег часто не воспроизводятся, стали появляться в самом начале XXI века. В 2016 году авторитетный журнал Nature опубликовал данные большого опроса, в котором участвовало 1500 ученых. Он показал, что более 70% исследователей пытались и не смогли воспроизвести эксперименты другого ученого, а более половины — не смогли воспроизвести даже свои собственные.

В 2021 году в журнале Science Advances были опубликованы результаты исследования, согласно которому дела с воспроизводимостью плохи. В психологии только 39% экспериментов можно повторить с тем же результатом, в экономике — 61%, в естественно-научных дисциплинах — 62%. Более того, обнаружилось, что невоспроизводимые результаты цитируют в 153 раза чаще, чем воспроизводимые, потому что они «интереснее».

О проблеме воспроизводимости результатов в науке писал наш автор, доктор химических наук Г.В. Эрлих в 2015 году. В этом году Генриху Владимировичу исполнилось бы 70 лет. В память о нем публикуем его статью «Невоспроизводимая воспроизводимость», которая остается актуальной и сегодня.

Одно из самых убийственных обвинений, которое может быть предъявлено ученому, это обвинение в невоспроизводимости представленных им результатов. Это губит репутацию, рушит карьеру, вплоть до изгнания из научного сообщества, приводит к закрытию научного направления, к его вытеснению за пределы истинной науки и навешиванию разных уничижительных приставок — лже-, пара-, псевдо- и т.д.

Ключевое понятие науки

Воспроизводимость — краеугольный камень научного метода, ключевое понятие науки. Оно возникло еще на заре становления современной науки, когда исследователи обратились к эксперименту как средству познания окружающего мира и к количественным измерениям как способу описания изучаемых явлений. Объективность истины подразумевает исключение любых субъективных факторов, поэтому различные исследователи, изучающие одинаковые объекты одинаковыми методами с использованием аналогичных инструментов, должны получать идентичные результаты, независимо от времени и места проведения эксперимента. В этом состоит категорический императив воспроизводимости.

Идентичность результатов следует понимать, естественно, с учетом статистической погрешности. В этом смысле воспроизводимость аналогична (а во многих случаях и синонимична) точности измерений. Первичный и более узкий случай воспроизводимости — это повторяемость. Она характеризует сходимость повторных результатов индивидуального исследователя, который использует одни и те же материалы и оборудование, одну и ту же методику в идентичных рабочих условиях в течение короткого промежутка времени. Когда исследователя спрашивают о воспроизводимости результатов его работы, то подразумевают именно повторяемость. Близость всех перечисленных понятий подчеркивает и тот факт, что количественно их характеризуют общим параметром — величиной относительного стандартного отклонения (или аналогичными статистическими величинами).

Но суть и значение воспроизводимости гораздо шире ее математического выражения. Она выступает в качестве главного критерия, позволяющего отделить зерна от плевел, агнцев от козлищ, научное знание от прочего информационного шума. Результат, полученный исследователем, это всего лишь набор цифр, рисунков и неких умозаключений. Статус научного знания эти результаты получат лишь после того, как их примет научное сообщество. И единственный надежный метод такой верификации — повторение, воспроизведение полученных результатов другими, независимыми исследователями по представленным протоколам (методикам) проведения эксперимента. Здесь недопустимы ссылки на «тайное» знание, магические ритуалы, доступные только избранным и посвященным, «секретные» компоненты и таинственное «ноу-хау», они сразу выводят рассматриваемые результаты за пределы научного знания, и там, за этими пределами, их можно квалифицировать по-разному, от шарлатанства и мошенничества до вполне работоспособных технологических регламентов.

Более мягкий вариант верификации результатов — их представление научному сообществу на научных конференциях и защитах диссертаций, в виде публикаций в научных журналах. Рассмотрение результатов, ответы на возникающие вопросы, дискуссия позволяют установить, насколько методически правильно была выполнена работа, насколько достоверны полученные результаты и обоснованы выводы. Чем выше уровень экспертов (рецензентов), тем больше доверия к результатам экспертизы.

Понятно, что наибольшее сомнение вызывают статьи в нерецензируемых журналах (притом что в них среди откровенного мусора могут присутствовать и настоящие бриллианты, которые по каким-то причинам не могут пробиться в «высокорейтинговые» издания). Но в любом случае все эти презентации лишь предварительная апробация результатов, истинное признание может принести лишь их воспроизведение другими исследователями.

Масштабы катастрофы

Но все это в теории. Все это в прошлом. Реальная жизнь отличается от теоретических схем, а современная наука далеко ушла от классических канонов. Одной из основных проблем науки стало стремительное нарастание количества невоспроизводимых результатов. Стремительное — потому что происходит буквально на наших глазах.

Во времена моей студенческо-аспирантской молодости литературные методики имели свойство воспроизводиться, и первой реакцией руководителя на сообщение, что методика не воспроизводится, были нелицеприятные предположения, откуда растут руки у исполнителя. По прошествии 30 лет первая реакция принципиально изменилась: опять эти… (неполиткорректное упоминание национальности авторов статьи) начудили. И происходит это не только в химии, но во всех дисциплинах, где существует понятие объективной истины и где воспроизводимость результатов — необходимый критерий научности.

Оценить количественно масштабы катастрофы (а это именно катастрофа) затруднительно, потому что исследований этого явления нет, и вряд ли они возможны. Но есть результаты выборочного контроля в некоторых узких областях. Так, Гленн Бигли и Ли Эллис, ведущие специалисты американской фармацевтической компании Amgen, в статье, опубликованной в журнале Nature в 2012 году (Begley C.G., Ellis L.M. Drug development: Raise standards for preclinical cancer research), рассказали о предклинических испытаниях антираковых препаратов, переданных в компанию университетскими лабораториями. Из 53 проверенных препаратов лишь 6 показали удовлетворительные результаты, данные по остальным 47, опубликованные, к слову сказать, в высокорейтинговых журналах, не воспроизвелись.

Несколько более оптимистичны специалисты компании Bayer. По их данным, опубликованным годом ранее в Nature Reviews Drug Discovery, воспроизводимость работ по онкологии, сердечно-сосудистым и женским заболеваниям составляет 20–25%. И это при том, что тестирование проводили высокопрофессиональные специалисты, заинтересованные в положительном результате испытаний — ведь таким образом компании выбирают препараты для последующей коммерческой проработки.

Эти и некоторые похожие публикации вызвали широкое обсуждение. Опросы специалистов в этих областях показали, что в среднем 55% опрошенных сталкивались с невопроизводимостью чужих результатов. Треть опрошенных сообщали об этом в научных публикациях, причем наибольшую принципиальность проявляли «старшие» научные сотрудники, а «младшие» предпочитали не высовываться. И это понятно, потому что две трети молодых смельчаков признали, что имели проблемы при попытке опубликовать опровергающие данные.

Причины невоспроизводимости

Наибольший интерес представляют мнения участников дискуссий о причинах нарастающей невоспроизводимости научных результатов. Откровенная и сознательная подтасовка данных практически не рассматривается. Конечно, мошенники есть в любом сообществе, но, согласимся, доля таких индивидуумов в науке несравненно ниже, чем в других сферах человеческой деятельности — в политике, экономике, юриспруденции etc.

Основной драйвер невоспроизводимости — торопливость, стремление утвердить свой приоритет в новой области исследований. Это имеет вполне земную подоплеку — приоритет повышает вероятность получения финансирования на дальнейшие исследования. Это раньше ученые пеклись о репутации, теперь они думают о первородстве и грантах. Что же до возможных обвинений в невоспроизводимости, то здесь авторы вполне могут следовать логике Кочкарёва из «Женитьбы» Гоголя: «Какая ж беда, если рассердятся? ...Ведь здесь самое большее, если кто-нибудь плюнет в глаза, вот и все». Когда все вскроется, грант уже будет получен, а там, глядишь, разработка будет доведена до ума, то есть до воспроизводимости.

Следующая причина публикации «сырых» результатов — погоня за числом публикаций и индексом Хирша, который ныне возведен в ранг главного индикатора качества научной деятельности. Как говорят молодые научные сотрудники, опубликуй в высокорейтинговом журнале или умри. В результате мы наблюдаем картину, немыслимую в прежние времена, — отзыв статей из журналов (в том числе рецензируемых и высокорейтинговых) как на стадии подготовки к печати, так и после публикации из-за опровержений других исследователей.

Складывается также впечатление, что многие авторы совершенно не заинтересованы в воспроизведении своих работ другими исследователями и потому вполне осознанно опускают некоторые важные экспериментальные подробности. Раньше этим грешили патенты, кто хоть раз пытался воспроизвести пример из патента, тот поймет.

Но патент на изобретение — это в первую очередь правовой документ, который устанавливает существенные признаки изобретения. А некоторые экспериментальные тонкости, ноу-хау, автор патента вполне может утаить как дополнительный козырь при продаже патента. С этой точки зрения патент вообще нельзя рассматривать как научную публикацию, и в рамках, например, диссертации патент может выступать только как свидетельство практической значимости.

Но сейчас, к сожалению, принцип ноу-хау все шире распространяется и на научные статьи. Приходится прилагать большие усилия, чтобы выявить, о чем умолчали авторы оригинальной публикации. А те, в свою очередь, получают некоторый временной гандикап, чтобы удержаться на гребне исследований и, возможно, продвинуться в сторону их коммерциализации. К сожалению, им в этом невольно подыгрывают издатели научных журналов, которые максимально сокращают место, отведенное описанию экспериментальной части работы (материалам, методикам, оборудованию).

Впрочем, большую часть опубликованных научных результатов никто не воспроизводит и тем самым не верифицирует. Это одно из следствий того громадного вала, Big Data, научных публикаций, которое производит в последние годы научное сообщество и которое оно само не может переварить. Чтобы воспроизвести результаты, представленные в какой-нибудь статье, ее нужно для начала прочитать. Сколько из опубликованных статей были прочитаны хотя бы одним человеком, не знают даже Web of Science и Scopus, тем более что они охватывают не весь массив научной информации. Но можно сделать оценку, основанную на психологии. Если исследователь по какой-то причине скачал статью и прочитал ее, то он непременно когда-нибудь на нее сошлется, в положительном или отрицательном смысле или просто «до кучи», придавая солидность списку цитированной литературы.

Теперь возьмем импакт-факторы журналов, например, российских из списка ВАК. Подавляющая часть попадает в интервал от 0,01 до 0,5. Это и будет оценка среднего числа читателей одной статьи в соответствующем журнале. Несомненно, что многие из этих статей выполнены грамотными, высококвалифицированными специалистами, изучающими узкие, специальные проблемы. Но в то же время необходимо признать, что подобное отсутствие хоть какой-то внешней экспертизы снижает внутреннюю требовательность к качеству работы и создает условия для производства и публикации недостоверных, невоспроизводимых данных.

Иллюстрация Сергея Тюнина

Что делать?

Как со всем этим бороться? Бороться тяжело, если вообще возможно, потому что все эти причины обусловлены самим строем современной науки, нацеленной на публикации и коммерческий эффект. Не случайно исследователи, принимающие участие в обсуждении этих проблем, не могут предложить ничего конструктивного, кроме создания специальных научных организаций, которые будут заниматься выборочной проверкой публикаций, хотя бы выполненных в ключевых направлениях, на воспроизводимость. Все же идея инквизиции неискоренима в умах человечества и немедленно возрождается при любом кризисе!

Еще более утопичным выглядит предложение создать индекс воспроизводимости публикаций в научных журналах по аналогии с импакт-фактором или публиковать в журналах в виде электронного приложения все полученные исследователем первичные данные.

Единственный, как нам кажется, путь решения проблемы состоит в воспитании и образовании молодого поколения ученых. Научная деятельность стала в последние десятилетия массовой профессией, невероятно выросло число научных работников, учебных заведений и исследовательских центров. Как следствие, упал средний уровень экспериментальной подготовки молодых специалистов (утверждение спорное, но, полагаю, многие с ним согласятся). Они зачастую просто не понимают, что такое воспроизводимость результатов. В лучшем случае они проводят повторные измерения характеристик образца. Получить в этом случае хорошую сходимость результатов — дело нехитрое при известном навыке. Мысль о том, что необходимо повторить всю последовательность эксперимента, включая получение образцов, даже не приходит им в голову. Кто бы им объяснил, сколько великих открытий было закрыто после того, как исследователь, исчерпав одну банку реактивов, открыл новую!

Но никакие объяснения, призывы или виртуальные эксперименты не заменят живой экспериментальной работы с неизбежными ошибками (на которых, собственно, и учатся). Только так, набив шишки, начинающий исследователь поймет, что «тупое» повторение экспериментов, стандартизация и поверка оборудования — это не прихоть руководителя, а неотъемлемая составляющая научной деятельности.

В плане же воспитания необходимо накрепко вбить в голову, что первейшая обязанность ученого — получение достоверных знаний и воспроизводимых результатов, в этом состоит один из важнейших принципов этики ученого, а не в модной ныне рефлексии по поводу ответственности ученого за последствия использования результатов его исследований. У невоспроизводимых результатов может быть только одно последствие — падение престижа науки. И вот за это придется нести ответственность.

Проблема уникальности

Все перечисленные факторы, влияющие на воспроизводимость научных исследований, можно отнести к разряду субъективных, обусловленных в значительной мере системой функционирования современной науки. Но необходимо также учитывать, что изменилась сама наука и возникли объективные факторы, играющие против воспроизводимости в ее классическом понимании.

Современная наука все чаще обращается к изучению уникальных объектов, систем, явлений, исследователи выполняют уникальные эксперименты на единственном в своем роде оборудовании. Все это вызывает законное восхищение прогрессом науки, но, с другой стороны, порождает неудобные вопросы. Возьмем, например, историю с открытием бозона Хиггса на Большом адронном коллайдере. Это открытие не было подтверждено независимыми исследованиями и с очевидностью не будет воспроизведено в обозримом будущем, потому что у мирового сообщества просто нет средств для строительства еще одного подобного циклопического сооружения.

Как тут быть: принять на веру утвердительный вердикт Нобелевского комитета или стоически следовать жесткому утверждению известного философа Карла Поппера, что «единичное невоспроизведенное сообщение ничего не значит для науки»?

Другой пример связан с высадкой зонда «Филы» на поверхность ядра кометы Чурюмова — Герасименко. Это само по себе выдающееся достижение. Теперь ученые с нетерпением ждут, когда же наконец заработает установленное на зонде научное оборудование, и они получат информацию о физических и химических характеристиках ядра кометы. Все это, конечно, безумно интересно, но ведь это будут единичные данные, невоспроизведенные и невоспроизводимые в обозримом будущем и, кроме того, нерепрезентативные. (Представьте, что некие инопланетяне высадили единственный зонд на Землю и обозрели несколько квадратных метров ее поверхности. Понятно, что их представление о Земле будет сильно зависеть от места посадки — на Северном полюсе, в пустыне Сахара или на поле аэрации в Подмосковье.) Можно ли рассматривать эти данные как истинно научное знание? (Зонд «Филы» неудачно прикометился, лег на бок, связь с ним была эпизодической и плохой. В 2016 году миссия «Филы», передавшего совсем немного данных, завершилась. — Ред.)

Классическая наука имела дело с большими ансамблями объектов и с повторяющимися процессами и научилась прекрасно разбираться с ними. Анализ результатов измерений в таких системах и понятие доверительного интервала основаны на нормальном, гауссовском распределении, при котором вероятность событий, существенно отличающих от среднего значения, пренебрежима мала.

Но в последние десятилетия наука приступила к изучению систем, в которых распределение событий отличается от гауссова, их еще называют распределениями с «тяжелыми хвостами». Они характерны, в частности, для фрактальных, безмасштабных систем. В них вероятность событий, существенно отличающихся от среднего, имеет значимую величину, которой нельзя пренебречь. Такие редкие события можно назвать уникальными, а еще во многих случаях их называют катастрофами, что по понятным причинам привлекает особый интерес.

Для изучения уникального нужна другая методология. Она в целом разработана, осталось преподать ее студентам — будущим исследователям и, что крайне желательно, донести в популярном виде до широкой общественности, чтобы ее не сбивали с толку «сенсационные разоблачения» журналистов.

Проблема уникальности и связанной с этим невоспроизводимости обострилась в связи с разворотом науки от изучения неживых объектов и создания технических устройств к исследованию живых систем. Сегодня как минимум половина публикаций в научных журналах так или иначе связана с медициной, здоровьем, экологией, а также с изучением социальных процессов. А все живые существа по сути своей разные, и к ним неприменимы методы стандартизации, используемые при работе с неживыми объектами. Даже популярные ныне клоны — и те разные.

Это доказал еще 40 лет назад советский академик В.А. Струнников. Он клонировал шелкопряда партеногенетическим, бесполым размножением. Все особи были генетически идентичны, но при этом заметно различались по величине, продуктивности и плодовитости. Что уж говорить о нас, людях, различающихся даже на генетическом уровне.

Выше мы говорили о катастрофической невоспроизводимости характеристик лекарственных препаратов и связывали это с субъективными факторами — спешкой, погоней за приоритетом, коммерциализацией, недостаточной квалификацией и ошибками в методологии. Но есть и объективные факторы. Принципиально невозможно досконально описать выборку живых объектов (мух, мышей, людей) и тем более взять ее повторно. Исследователи каждый раз имеют дело с уникальной выборкой, то есть зародыш невоспроизводимости присутствует в эксперименте изначально. Можно, конечно, улучшить сходимость за счет увеличения размера выборки, но это увеличивает и без того большие затраты, а в некоторых случаях и вовсе невозможно.

За последние десятилетия выявлена также еще одна фундаментальная причина возможной невоспроизводимости результатов. Классическая наука основана на идее детерминированности процессов, однозначности их протекания. Тут можно провести аналогию с математикой: если исходить из одних и тех же постулатов и правильно применять разрешенные логические процедуры, то с неизбежностью будет получен один и тот же результат. Можно также сказать, что воспроизводимость — оборотная сторона предсказуемости, первая относится к эксперименту, вторая — к теории.

Именно математика разрушила эту благостную картину, выявив процессы со множественными решениями. Существует обширный класс систем, развитие которых протекает через точки бифуркации, где возникают альтернативные варианты развития системы. Выбор того или иного варианта происходит под влиянием незначительных флуктуаций параметров системы и, в сущности, случайно. Конечные состояния системы (результаты измерения) могут при этом принципиально различаться.

Но в таких системах существует, по крайней мере, возможность теоретического предсказания этих множественных конечных состояний (при незначительном количестве точек бифуркации). Гораздо хуже обстоит дело с системами, чувствительными к флуктуациям параметров исходной системы. В них возникает так называемый «эффект бабочки», когда незначительное изменение исходных параметров приводит к непредсказуемым последствиям развития системы. Поведение таких систем описывают, используя различные подходы, в частности теорию динамического (детерминированного) хаоса. И это отнюдь не экзотические системы, а хорошо знакомые нам атмосферные явления, сердечные патологии, популяционная динамика, экономика, политика и другие социальные явления.

Проблема заключается в том, что a priori экспериментатор не знает, относится ли изучаемая им система к классу «хаотических». Он видит только патологическую невоспроизводимость результатов. Конечно, задним числом можно попытаться создать теоретическую модель, объясняющую эти результаты, но не каждый исследователь обладает необходимыми для этого знаниями, кроме того, он может счесть, что овчинка не стоит выделки.

Мало кто решится опубликовать такие противоречивые экспериментальные данные, еще меньше число редакторов научных журналов, которые примут подобную статью. Так что исследователи, устав от борьбы, обычно либо прекращают работу, либо публикуют наиболее сходящиеся данные, отбросив все «странные». А во втором случае всегда есть риск нарваться на обвинения в невоспроизводимости.

Объективная истина и субъективные усилия

В заключение заметим, что системы, которые изучает современная наука, невероятно усложнились. Они могут быть очень чувствительны как к исходным параметрам (что порождает проблемы со стандартизацией), так и к многочисленным параметрам проведения процесса. Задача исследователя состоит в том, чтобы выявить эти параметры, оптимизировать их и добиться максимальной повторяемости результатов.

Но вполне реальна ситуация, когда он не сможет решить эту задачу, не сможет найти параметры, критичные для изучаемого процесса. Они могут оказаться совершенно неожиданными, хотя бы потому, что не вытекают из существующего знания. Это может быть предшествием открытия, и честь и хвала исследователю, который ознакомит научное сообщество с этими «сырыми» результатами в надежде на то, что его коллеги больше преуспеют в их исследовании.

При оценке таких результатов необходимо также учитывать субъективные факторы, которые обычно игнорируют «теоретики» науки. Из своего жизненного опыта все мы знаем, что воспроизвести какое-либо действие далеко не просто даже при наличии детальной инструкции или демонстрации. Впервые сделанное блюдо или табуретка обычно очень далеки от образца. Но, повторяя раз за разом необходимые операции, мы постепенно приближаемся к совершенству. И вроде бы делаем все точно так же, но результат улучшается, это то, что называется «набить руку». Причем некоторые вещи воспроизводятся легко, на раз-два-три, а на некоторые уходят годы тренировок.

В науке все происходит точно так же. Объективная истина зависит от субъективных усилий по ее достижению. Исследователю, чтобы добиться повторяемости результатов (пусть даже не очень хорошей), тоже приходится иногда пройти очень долгий путь «набивания» руки в одном конкретном эксперименте. Существуют ли гарантии, что этот эксперимент «влёт» воспроизведется у другого исследователя? Никаких. Воспроизведение будет скорее случайностью, чем правилом. Особенно если исследователь не верит, что у него что-нибудь получится, и подсознательно настроен на опровержение, а не на подтверждение.

Речь сейчас идет об исследованиях, которые не вписываются в общепринятые представления. Тут надо с очень большой осторожностью относиться к заявлениям о невоспроизводимости результатов и тем более не спешить с навешиванием ярлыков. Ведь так легко с водой выплеснуть и ребенка. Именно «странные» результаты должны быть предметом первоочередного изучения в науке. Пусть большая часть их после детального исследования будет в конце концов опровергнута и отвергнута, но то, что останется, превратится в открытия.

Наука не может и не должна останавливаться в своем познании мира и сосредотачиваться на обслуживании утилитарных потребностей людей. Мы верим в грядущие открытия. Возможно, они уже сделаны. Их просто нужно воспроизвести.