Большие языковые модели на основе искусственного интеллекта, в частности Chat GPT, оказались склонны слишком упрощать результаты и выводы научных статей. При этом новые их версии справились с обобщением статей еще хуже старых. Склонность этих моделей к обобщению и упрощению может даже навредить пользователям, например, если на основе медицинской статьи искусственный интеллект посоветует неправильное лечение. Исследование опубликовали в журнале Royal Society Open Science.
Учитывая, сколько людей пользуется искусственным интеллектом для объяснения научных статей и повседневных вещей, ученые решили проверить точность 10 наиболее распространенных моделей на его основе. Среди них были обширные языковые модели ChatGPT-4o, ChatGPT-4.5, DeepSeek, LLaMA 3.3 70B и Claude 3.7 Sonnet. Эти модели попросили обобщить статьи или их аннотации по научным (Science, Nature) и медицинским журналам (The New England Journal of Medicine, Lancet).
Запросы к языковым моделям ученые меняли: одни запросы просили просто обобщить статью, вторые — подробно ее прочитать и дать обобщения согласно фактам, третьи — не отклоняться от указанной в статье информации. обобщениями, написанными другими учеными для журналов. Как выяснилось, модели искусственного интеллекта делали чрезмерные обобщения почти в пять раз чаще, чем те ученые, которые писали обобщенное содержание исследования для журнала.
Китайский искусственный интеллект DeepSeek, три модели ChatGPT и две модели LLaMA слишком обобщали и упрощали информацию в 26-73 процентах случаев. Самый маленький процент таких упрощений имела языковая модель Claude. Старые модели, такие как GPT-4 Turbo и LLaMA 2 70B, содержали чрезмерно обобщенную информацию в 2,6 раза чаще, чем аннотации статей, тогда как более новые ChatGPT-4o и LLaMA 3.3 70B содержали такую информацию уже в 9 и 39 раз чаще.
Такой результат сохранялся даже тогда, когда ученые просили искусственный интеллект не отклоняться от поданных в статье фактов и не искажать их. Так что даже правильно сформированный запрос не защищает от ошибки искусственного интеллекта, поэтому полученную от него информацию нужно проверять, отмечают ученые.
Спасибо, что вы с нами! Монобанка для поддержки редакции ЕlitЕxpert.
