ChatGPT провалил пробный экзамен по гастроэнтерологии

27.05.2023
11:19
ChatGPT-3 и ChatGPT-4 провалили тесты самооценки Американской коллегии гастроэнтерологов. Они не смогли набрать требуемый минимум правильных ответов.

Чат-боты с искусственным интеллектом (ИИ) ChatGPT-3 и ChatGPT-4 провалили тесты самооценки Американской коллегии гастроэнтерологов (ACG) 2021 и 2022 годов, которые используются, чтобы понять, справится ли тестируемый с самим экзаменом. В ходе испытания надо набрать не менее 70% правильных ответов, ИИ-сервисам не хватило 5—8% до этой отметки, пишет MobiHealthNews со ссылкой на исследование, опубликованное в The American Journal of Gastroenterology.

Тесты самооценки ACG включают по 300 вопросов с несколькими вариантами ответов. Исследователи отобрали 455 вопросов, исключив те, которые сопровождаются изображениями. Далее они скопировали их и вставили с вариантами ответов в поле «общения» с чат-ботом. По итогам испытания ChatGPT-3 дал 296 правильных ответов, а ChatGPT-4 — 284.

Исследователи отметили, что невысокий показатель ChatGPT может быть связан с отсутствием доступа к платным медицинским журналам или устаревшей информацией в его системе. По их мнению, необходимы дополнительные испытания, прежде чем данные сервисы можно будет безопасно использовать в обучении гастроэнтерологов.

Присоединяйтесь!

Самые важные новости сферы здравоохранения теперь и в нашем Telegram-канале @medpharm.

Нет комментариев

Комментариев: 0

Вы не можете оставлять комментарии
Пожалуйста, авторизуйтесь
Продолжая использовать наш сайт, вы даете согласие на обработку файлов cookie, которые обеспечивают правильную работу сайта.