Почти 50% ответов ИИ по медицине оказались неточными

ИИ часто ошибается в ответах на вопросы в области медицины и может усиливать распространение недостоверной информации, показало исследование BMJ Open. Авторы подчеркивают, что использовать такие сервисы без просвещения и контроля опасно.

Чат-боты на базе искусственного интеллекта (ИИ) почти в половине случаев дают неточные ответы на вопросы о здоровье и медицине, следует из исследования, опубликованного в журнале BMJ Open. В работе оценивали пять популярных сервисов — Gemini, DeepSeek, Meta AI (принадлежит Meta, признана в России экстремистской и запрещена), ChatGPT и Grok, которым задали по десять вопросов о раке, вакцинации, стволовых клетках, питании и спорте.

Два эксперта из каждой категории оценили ответы как «непроблемные», «отчасти проблемные» или «крайне проблемные», используя матрицу кодирования, основанную на заранее заданных критериях. Они проанализировали 250 ответов и обнаружили, что 49,6% из них содержали искажения: в 30% случаев ошибки были небольшими, еще в 19% — значительными.

Лучше всего чат-боты справлялись с темами вакцинации и онкологии, хуже всего — с вопросами питания и спорта. При этом уровень качества разных моделей оказался сопоставим, однако Grok чаще других выдавал ответы с большим количеством ошибок.

Исследователи отмечают, что чат-боты практически всегда отвечали уверенно и лишь в двух случаях отказались дать ответ, в обоих случаях — Meta AI. При этом ни одна система не смогла корректно указать источники информации: вместо реальных ссылок боты генерировали несуществующие публикации, демонстрируя так называемые галлюцинации.

Авторы работы также обратили внимание на сложность формулировок: по их оценке, ответы были написаны на уровне текстов для студентов второго и четвертого курсов, что затрудняет понимание для широкой аудитории. Они делают вывод, что текущие возможности чат-ботов неудовлетворительны для тем, где высок риск дезинформации, и их дальнейшее использование без просветительской работы и надзора может усилить распространение ложных сведений о здоровье.

Ранее «МВ» писал, что правительство РФ намерено ограничить возможности ИИ при принятии решений в ключевых социальных сферах. Норму о «решающей роли человека» при использовании нейросетей в здравоохранении, образовании, судопроизводстве и общественной безопасности планируется внести в закон о регулировании этой сферы.