Чат-бот помогает писать научные обзоры

С момента своего появления в ноябре 2022 года большая языковая машина ChatGPT от фирмы OpenAI непрерывно завоевывает новые сферы применения. Вопросом о том, как чат-бот может быть полезен для написания разных текстов, задаются не только студенты. Некоторые ученые применяют машину для создания научных статей для рецензируемых журналов. Правда, многие журналы не хотят, чтобы их авторы использовали ChatGPT, но ученых это не останавливает.

Разобраться в преимуществах и недостатках ChatGPT при создании научного обзора решила группа исследователей под началом профессора хирургии Медицинской школы Университета Индианы Мелиссы Касены (Melissa A. Kacena). В работе приняли участие преподаватели и студенты школы. Они взяли три разные темы для обзоров — переломы и нервная система, болезнь Альцгеймера и здоровье костной системы, COVID-19 и костная система. При этом группа использовала три разных подхода к подготовке начальных вариантов статей — только люди, только чат-бот, совместно.

При написании обзорной статьи ее авторы искали литературу по теме, составляли план, представляли первоначальный вариант, редактировали его. Черновики просматривали и поправляли научные руководители. Начальные варианты статей подвергались тщательной проверке фактов и доработке, поэтому окончательные рукописи значительно отличались от первоначальных.

На протяжении всего процесса ученые количественно оценивали преимущества и недостатки подходов. Медики также собрали данные о том, сколько времени уходит на работу у людей, у чат-бота и у руководителей на редактирование.

Оказалось, что в текстах ChatGPT до 70% ссылок были неверны. При совместном творчестве чат-бота и людей обнаружено много плагиата, особенно если на старте чат-бот выдавал много ссылок. В целом бот сокращал время работы, но постоянно требовал тщательной проверки фактов. Отдельная проблема была связана со стилем его изложения. Многие слова и фразы не соответствовали принятым в академических кругах. Фразы часто повторялись и даже напоминали ученические. У читателя это нередко вызывало сомнения в истинности информации.

Ученые отмечают, что многие исследователи, особенно плохо владеющие английским языком, регулярно используют ChatGPT при написании научных статей. Ученые могут пользоваться переводом с родного языка, могут самостоятельно писать статьи, а потом исправлять в них грамматику. Авторы работы считают это нормальным. Они уверены, что таким ученым надо помочь применять чат-бот так, чтобы это не наносило вреда их репутации и не приводило к распространению ложной информации. Мелисса Касена даже занялась разработкой руководства по этой теме для научного сообщества.

Общий вывод исследования состоит в том, что при написании обзоров ChatGPT можно использовать лишь для помощи автору и только при тщательном контроле. Статья под названием «Использование искусственного интеллекта в написании научных обзоров» опубликована в специальном выпуска издания Current Osteoporosis Reports.