🔴 Чатботы на основе искусственного интеллекта дают неполные и не вполне точные ответы на медицинские запросы, касающиеся фибрилляции предсердий и имплантируемых устройств
Чат-боты, использующие обработку естественного языка методами искусственного интеллекта (NLPC), могут использоваться для сбора и обработки медицинской информации. Однако на данном этапе развития технологии эти инструменты содержат потенциальный риск дезинформации. В журнале Europace опубликованы результаты анализа ответов, которые выдавали чатботы на запросы, касающиеся фибрилляции предсердий и имплантируемых электронных устройств.
Анализировалось три самых популярных чатбота - Google Bard, Bing Chat и ChatGPT Plus. Ответы оценивались с точки зрения целого ряда параметров – соответствия запросу, понятности, отсутствия возможности ввести в заблуждение, отсутствия релевантного содержания и наличия рекомендаций для принятия клинически значимых решений. Кроме того, легкость восприятия («читабельность») оценивалась путем расчета количества слов и оценки легкости чтения Флеша.
В каждый чат-бот вводилось по 25 вопросов на каждую тему, ответы оценивались экспертами в соответствующей области. Как уместные, соответствующие запросу были оценены 52%, 60% и 84% ответов по фибрилляции предсердий и 16%, 72% и 88% ответов по имплантируемым устройствам, данных Google Bard, Bing Chat и ChatGPT Plus, соответственно. Оценка понятности показала, что 96%, 88% и 92% ответов по ФП и 92%, 88% и 100% по девайсам были понятны для Google Bard, Bing Chat и ChatGPT Plus, соответственно. «Читабельность» различалась в разных NLPC: наибольшее количество слов и наихудшая «читабельность» была для ChatGPT Plus, зато для двух других чатботов чаще упускался из виду релевантный контент.
Авторы заключают, что ответы, генерируемые NLPC, в основном легко понять. Адекватность ответов ограничена и варьирует в зависимости от разных чатботов. Важные аспекты часто упускаются из виду. Таким образом, чат-боты следует использовать с осторожностью для сбора медицинской информации о сердечных аритмиях и имплантируемых устройствах.
По материалам:
Henrike A K Hillmann, Eleonora Angelini, Nizar Karfoul, Sebastian Feickert, Johanna Mueller- Leisse, David Duncker, Accuracy and comprehensibility of chat-based artificial intelligence for patient information on atrial fibrillation and cardiac implantable electronic devices, EP Europace, 2023;, euad369, https://doi.org/10.1093/europace/euad369
Текст: Шахматова О.О.
Больше новостей и информации о ФГБУ «НМИЦК им. ак. Е.И. Чазова» Минздрава России на: https://www.cardioweb.ru #кардиология #кардиохирургия #cardiowebru #лечениеинфаркта #акш #стентирование #аритмия #здоровье #доктор #москва #россия #телемедицина #контрольартериальногодавления #мывместе #национальныепроекты #здоровьевприоритете
Чат-боты, использующие обработку естественного языка методами искусственного интеллекта (NLPC), могут использоваться для сбора и обработки медицинской информации. Однако на данном этапе развития технологии эти инструменты содержат потенциальный риск дезинформации. В журнале Europace опубликованы результаты анализа ответов, которые выдавали чатботы на запросы, касающиеся фибрилляции предсердий и имплантируемых электронных устройств.
Анализировалось три самых популярных чатбота - Google Bard, Bing Chat и ChatGPT Plus. Ответы оценивались с точки зрения целого ряда параметров – соответствия запросу, понятности, отсутствия возможности ввести в заблуждение, отсутствия релевантного содержания и наличия рекомендаций для принятия клинически значимых решений. Кроме того, легкость восприятия («читабельность») оценивалась путем расчета количества слов и оценки легкости чтения Флеша.
В каждый чат-бот вводилось по 25 вопросов на каждую тему, ответы оценивались экспертами в соответствующей области. Как уместные, соответствующие запросу были оценены 52%, 60% и 84% ответов по фибрилляции предсердий и 16%, 72% и 88% ответов по имплантируемым устройствам, данных Google Bard, Bing Chat и ChatGPT Plus, соответственно. Оценка понятности показала, что 96%, 88% и 92% ответов по ФП и 92%, 88% и 100% по девайсам были понятны для Google Bard, Bing Chat и ChatGPT Plus, соответственно. «Читабельность» различалась в разных NLPC: наибольшее количество слов и наихудшая «читабельность» была для ChatGPT Plus, зато для двух других чатботов чаще упускался из виду релевантный контент.
Авторы заключают, что ответы, генерируемые NLPC, в основном легко понять. Адекватность ответов ограничена и варьирует в зависимости от разных чатботов. Важные аспекты часто упускаются из виду. Таким образом, чат-боты следует использовать с осторожностью для сбора медицинской информации о сердечных аритмиях и имплантируемых устройствах.
По материалам:
Henrike A K Hillmann, Eleonora Angelini, Nizar Karfoul, Sebastian Feickert, Johanna Mueller- Leisse, David Duncker, Accuracy and comprehensibility of chat-based artificial intelligence for patient information on atrial fibrillation and cardiac implantable electronic devices, EP Europace, 2023;, euad369, https://doi.org/10.1093/europace/euad369
Текст: Шахматова О.О.
Больше новостей и информации о ФГБУ «НМИЦК им. ак. Е.И. Чазова» Минздрава России на: https://www.cardioweb.ru #кардиология #кардиохирургия #cardiowebru #лечениеинфаркта #акш #стентирование #аритмия #здоровье #доктор #москва #россия #телемедицина #контрольартериальногодавления #мывместе #национальныепроекты #здоровьевприоритете
Источник: https://vk.com/wall-157229608_4290
Пост №94863, опубликован 9 янв 2024