27 ИЮН, 18:51

Истина в одной из инстанций. Об уловках научных текстов и воспроизведении чужих экспериментов

Кажется, что научная статья воплощает истину в последней инстанции. Пара абзацев про контекст и актуальность исследования во введении, исчерпывающее описание всех использованных техник, ключевые результаты с погрешностями и обязательным обсуждением всех подводных камней и возможных интерпретаций. В реальности все немного иначе. Физик и научный журналист Михаил Петров рассказывает, как в их лаборатории повторяли эксперимент статьи из журнала Nature и что из этого вышло.

У меня сдвоенный опыт. С одной стороны я физик — учился в аспирантуре, работаю в лаборатории, а с другой — я научный журналист. Конечно, это не сильно разная оптика. Скорей что-то вроде бинокулярного зрения: два глаза расположены предельно близко друг к другу и смотрят на одну и ту же картинку под немного разными ракурсами, что в сумме дает объемное изображение. Такое зрение интересно взаимодействует с чтением некоторых научных статей. 

В прошлом году нам в лаборатории нужно было повторить эксперименты из статьи Nature 2014 года, в которой гарвардские ученые рассказывают о создании нового типа аккумуляторов — экологичных, дешевых, эффективных. В общем, лучше процитировать оригинальную работу: «Кроме того, существуют натуральные продукты, которые тысячелетиями извлекаются из такого общераспространненого сырья, как корень ревеня, и могут служить возобновляемым источником для изготовления будущих электролитов на основе антрахинона» (т.е. топлива для тех самых батарей).

После такого предложения моя воля серьезно ослабляется. Возобновляемые источники энергии, тысячелетние секреты, ревень (что это вообще?). Пальцы тянутся отстукивать новость с очевидным заголовком, голова мечтает о тексте побольше, опыт экспериментальной работы будит скепсис и указывает на  уловку, наживку для журналистов (или коллег, далеких от темы). 

Читаем статью целиком и видим: во-первых, 99,9% текста не пересекается с посылом про ревень. Во-вторых, ни в этой, ни в одной из последующих работ коллектива не делается попыток экспериментально проверить чудесную возможность использования ревеня. И, в-третьих, в конце цитируемого предложения, вклинившегося между рассуждениями о влиянии различных функциональных групп на свойства топлива и словами про квантово-химические расчеты, даже нет ссылки на источник информации. 

В итоге получаем десятки научных новостей, большинство которых фокусируется именно на ревене, и более 500 цитирований в научных публикациях, часть которых наверняка пришла именно на этот трюк. Впечатляющая эффективность такой небольшой уловки.

Но дальше мы забудем про нее: нам нужно было воспроизвести другие, более проработанные и менее манипулятивные части работы. 

Калибровочные параметры

Немец Генрих Швабе родился в семье аптекарей и поначалу уверенно двигался намеченной траекторией: медицинское образование, работа в фамильном бизнесе, гарантированный и спокойный почет. Но в возрасте тридцати лет он продает аптеку и переключает все свои силы на астрономию. 

К тому времени Швабе уже несколько лет систематически наблюдает за Солнцем и считает солнечные пятна, а после продажи аптеки у него появляется больше времени, и Генрих доводит среднее количество наблюдательных дней в году до 300, то есть почти все солнечные дни в его родном городке Дессау немец проводит, приложив глаз к телескопу. 

Наблюдения длятся 17 лет. После Швабе публикует небольшую статью, в которой рассказывает о том, что сквозь цифры в его записях проступает периодический закон. 

Спустя несколько лет после публикации Швабе его данные решает углубить и хорошенько отработать уже профессиональный астроном — директор Цюрихской обсерватории Рудольф Вольф. Он организует аналогичные наблюдения, но поначалу результаты оскорбительно не сходятся. Потом Вольф понимает, что дело в технике измерений: Швабе использовал полулюбительский телескоп, а в цюрихской обсерватории имели доступ к профессиональной технике с более высоким разрешением. 

Вольф проводит наблюдения в те же дни, что и Швабе, выводит по этой статистике калибровочный параметр, и — о чудо! — результаты наблюдений, разделенные десятками лет, сходятся друг с другом. Историческое открытие периодов солнечной активности и стопроцентная повторяемость научных результатов — в контексте современного кризиса воспроизводимости психологических и других экспериментов вещь почти чудесная. 

Предмет 

Наша лаборатория в РХТУ, как и парни из Гарварда, разрабатывает проточные редокс-батареи. Работают они так. Есть два контейнера с жидкостями-электролитами, и есть сама батарея, которую называют мембранно-электродным блоком (это такой плоский бутерброд из разных материалов, составленный так, что его внутреннее пространство разбито на две половины). В одной половине на электродах окисляется (то есть химически превращается, высвобождая электроны) первый электролит, а в другой — восстанавливается (то есть, наоборот, получает электроны) второй электролит. 

Поток электронов от одной реакции к другой идет через внешнюю цепь и совершает там работу (sic, электрический ток). А внутри мембранно-электродного блока реакции разделены полупроницаемой мембраной, которая пропускает только протоны (и иногда некоторые маленькие молекулы), необходимые для балансировки реакций: в реакции на одном электроде выделяются протоны, в то время как в реакции на другом электроде они, наоборот, потребляются. 

Во время работы жидкости-электролиты непрерывно прокачиваются через мембранно-электродный блок и сливаются обратно в свои емкости. Пока батарея разряжается, топливо из одной емкости постепенно все больше окисляется, а другой — восстанавливается. В конце концов батарея полностью разряжается. Тогда ее можно подключить к внешнем источнику питания, чтобы все реакции пошли в обратную сторону (обратно в буквальном смысле: электроды меняются ролями) и батарея снова зарядилась. 

Для пользователя проточная редокс-батарея сильно похожа на такой гибрид литий-ионных аккумуляторов (ее можно разряжать и заряжать десятки или сотни раз) и топливных элементов (топливо в ней хранится отдельно от самого разрядного блока, и поэтому можно независимо менять емкость и мощность элемента, а в случае необходимости вместо долгой электрической зарядки батарею можно быстро зарядить, просто залив новую порцию топлива).  

Разные проточные батареи отличаются химией (т.е. составами электролитов), конструкцией мембранно-электродных блоков и десятками более специфических параметров. Самый разработанный вариант — это ванадиевые редокс-батареи, которые уже существуют в коммерческих приложениях. В статье Nature — той, которая ловила цитируемость на ревень, — впервые описывалась бром-антрахинонная редокс-батарея. Одним электролитом был раствор бромистого водорода HBr, а другим — раствор органического соединения антрахинон-дисульфокислота AQDS.  

Такая химия, судя по тексту гарвардской статьи, на выходе давала хорошие основные характеристики (напряжение, мощность, КПД), а также обещала низкую стоимость электролитов (по оценкам авторов, в три раза ниже ванадиевых батарей) и богатое пространство для дальнейших исследовательских фантазий. Например, AQDS можно химически модифицировать и смотреть, как будут меняться характеристики работ батарей.

До этого в лаборатории мы работали с другой химией проточных батарей, но параллельно готовили такую производственную базу, чтобы на масштабах нескольких дней можно было воспроизвести практически любую проточную батарею, будь у нас для нее топливо. Прельщенные возможностями антрахинона, мы закупились исходными реактивами для синтеза AQDS, подготовили электролит, собрали батарею и готовились к испытаниям.  

Инструкция к действию 

Кажется, что научная статья должна быть прямой инструкцией к действию — прозрачной, обоснованной, исчерпывающе запротоколированной. Идеальным кирпичиком господствующей научной парадигмы. Экстерьер гарвардской работы отлично попадает в это представление.

Во-первых, она очень плотно написана — что-то вроде набоковской прозы, но только вместо образов и метафор цифры, графики и гипотезы.

Ультракраткое введение, дислоцирующее читателя на местности. Мечты о гегемонии возобновляемой энергетики — недостатки доминирующих технологий хранения энергии — преимущества проточных батарей и, в частности, антрахинонной химии. Все укладывается в  2100 знаков и несколько минут читательского внимания — тут я испытываю чисто писательскую зависть. 

Дальше все развивается в установленном ритме. Каждый абзац — лаконичное описание измерений, сделанных с помощью разных экспериментальных методов. Никаких самоповторений, развернутых любований деталями и искусственного преувеличения важности работы. 

Большинство научных статей, по моему опыту, бесконечно воспроизводит устоявшуюся композицию колосса на глиняных ногах: сначала пространно расскажем о мировых проблемах и наметим сто четких шагов к их решению, а потом очень путано и невнятно подумаем, как можно сделать шаг №53, и покажем, как разные варианты шага №72 влияют на возможность сокращения пути с шага №95. В общем, под громкой вывеской подается что-то очень фрагментарное, смутное и неоконченное. Работа с антрахинон-бромной батареей этим не страдает.

Еще один ее плюс — это полифоничность. В статье используется много разных электрохимических методов, что дает, во-первых, объемную картину идеи, а во-вторых, оставляет точки входа для читателей с близким, но не идеально совпадающим научным бэкграундом. 

В общем, прекрасное научное чтение. Однако нам нужно было не насладиться текстом, а повторить ключевые результаты. И когда от чтения мы перешли к экспериментам, идеализированная картина начала разрушаться. За внешней гармонией всей конструкции скрывалась сложно сочлененная внутренняя жизнь. 

Между строк 

Тут мне хочется поступить в истинно европейском рациональном ключе — классифицировать все и получить список. Иначе рассказать о трудностях превращения (казалось бы) хорошей научной статьи в четкую инструкцию к действиям будет проблематично. 

Итак, при попытке воспроизвести статью абстрактный внешний разум читателя-переходящего-в-экспериментатора может столкнуться с препятствиями трех типов: фактическими ошибками, умолчаниями и уловками. 

Фактические ошибки. Ключевые компоненты мембранно-электродного блока — это электроды, на которых протекают реакции с электролитами. Чаще всего это разные углеродные бумаги, и здесь авторы протоколируют, что использовали бумагу Toray толщиной 7,5 микрона. Но такой толщины Toray в природе просто не бывает! Минимальная толщина этой бумаги — 110 микрон, и мне очень сложно представить, с какой вероятностью можно случайно перепутать на клавиатуре кнопки «1», «0» и «7», «,» и «5», особенно если ты десятки раз измерял толщину электрода штангенциркулем, чтобы подобрать другие элементы сборки батареи, а потом записывал результаты где-то на обрывках салфеток, терял их, находил снова, и так по кругу. Получается, автор текста статьи про антрахинонную батарею (во всяком случае той ее части, где упоминается толщина электрода) не очень часто собирал саму батарею. 

Умолчания. Для проточных батарей традиционно приводят ватт-амперные характеристики — это серия графиков, которые показывают, с какой максимальной мощностью может разряжаться батарея в зависимости от степени ее заряда. В статье ватт-амперные характеристики, конечно, есть, но ни слова не говорится о том, как они были получены, что несколько странно: среди электрохимиков нет особого согласия по тому, как измерять эти характеристики, а результаты, полученные разными способами, могут заметно отличаться друг от друга.  

При этом в тексте статьи есть скрытое признание того, что проблема в принципе существует, — приводятся ватт-амперные характеристики для батареи, заряженной на 10, 50 и 90%, а графика для 100% нигде нет. Потому что именно при 100% особенно явно проявляются проблемы, которые не дают ученым договориться о единой технике. 

Уловки. Антрахинон-дисульфокислоту AQDS, которую использовали в аккумуляторах, готовили из ее соли, но параллельно наметили и более дешевый путь, для которого в качестве исходного топлива нужен только антрахинон и олеум. В статье приводятся некоторые результаты предварительных электрохимических измерений с таким топливом, но в самой батарее оно не используется, в то время как оценку стоимости работы батареи авторы дают именно для случая использования дешевой топливной смеси (антрахинон стоит порядка 2000 рублей за 250 граммов, а соль антрахинон-дисульфокислоты дороже почти в 40 раз). При этом нигде в следующих работах коллектива больше не упоминалось об использовании электролитов, полученных по дешевому пути. Или тем более полученных из ревеня, принесшего этой статье столько упоминаний в прессе.  

В сухом остатке выходит, что под внешне безупречной конструкцией скрываются детали, усложняющие точное повторение работы в другой лаборатории и преувеличивающие перспективность ее результатов. 

В результате характеристики нашей антрахинон-бромной батареи оказались почти в два раза хуже заявленных в работе. На это были свои причины: мы использовали менее концентрированные электролиты, более толстые электроды, по-своему мерили вольт-амперные характеристики — в общем, немало мелких отличий от оригинала. Но скорее всего, серьезная часть наших расхождений с гарвардскими результатами объясняется именно трудностями воспроизведения. 

Так что прямой инструкцией к действию даже статью из Nature точно не назвать.   

Что (не) делать? 

В действительности ничего страшного в этом нет. Любой, кто когда-нибудь пытался делать систематические измерения, знает, какая иррациональная вещь эта воспроизводимость. И вряд ли стоит ожидать, что даже самые лучшие научные статьи смогут упаковать результаты в какие-то однозначные инструкции. А если и смогут, не удивлюсь, если для исполнения этих инструкций независимые экспериментаторы должны будут превратиться в такие киборгизированные автоматы на стыке живого и неживого — «экспериментатор универсальный повышенной точности, допустимый интервал ошибок в пределах до…», вроде культуры клеток Генриетты Лакс или дрозофил, которые десятилетиями подсознательно отбирались учеными таким образом, чтобы оставались самые предсказуемые и удобные для экспериментов особи. 

В том числе и поэтому научные статьи играют во многих других регистрах, кроме протоколирования результатов проверки гипотез: они репрезентируют идеи, умения и мечты ученых, выстраивают их взаимодействия с коллегами, выступают предметами роскоши и, конечно, помогают отчитываться за полученные деньги. В таком сложившемся подходе есть свои очевидные минусы — например, подталкивание авторов к преувеличению своих результатов и умолчанию негативных аспектов, но поиски способа борьбы с ними — отдельная большая тема, а пока вывод скупой: научиться как-то сдерживать свои восторженные порывы и искать скрытые смыслы в айсбергах научных текстов.

 Михаил Петров

Читать на tass.ru
Теги