Чоловік звернувся до чат-бота ChatGPT за порадою перед зміною свого раціону. Через три місяці, неухильно дотримуючись отриманих рекомендацій, він опинився у відділенні невідкладної допомоги з тривожними новими психіатричними симптомами, що включали параною та галюцинації. Виявилося, що у 60-річного пацієнта розвинувся бромізм — синдром, спричинений хронічним надмірним впливом хімічної сполуки броміду або його близького родича брому. У цьому випадку чоловік вживав бромід натрію, який придбав онлайн. Звіт про цей випадок був опублікований у вівторок, 5 серпня, у журналі «Annals of Internal Medicine Clinical Cases».
Компанія OpenAI, розробник ChatGPT, була повідомлена про цей випадок. Речник компанії послався на умови надання послуг, які зазначають, що їхні сервіси не призначені для діагностики або лікування будь-яких захворювань, а також на умови використання, де вказано: «Ви не повинні покладатися на результат наших Сервісів як на єдине джерело правди чи фактичної інформації, або як на заміну професійної консультації». Речник додав, що команди безпеки OpenAI прагнуть зменшити ризики використання сервісів компанії та навчати продукти спонукати користувачів звертатися за професійною порадою.
Особистий експеримент із непередбачуваними наслідками
У XIX та XX століттях бромід широко використовувався у рецептурних та безрецептурних препаратах, включаючи заспокійливі, протисудомні засоби та снодійні. Однак з часом стало зрозуміло, що хронічний вплив, наприклад, через зловживання цими ліками, викликав бромізм. Бромізм — це токсичний синдром, викликаний накопиченням токсинів в організмі. Він може спричиняти нейропсихіатричні симптоми, зокрема психоз, збудження, манію та марення, а також проблеми з пам’яттю, мисленням та координацією рухів. Бромід викликає ці симптоми через те, що при тривалому впливі він накопичується в організмі та порушує функцію нейронів, тобто нервових клітин.
У 1970-х та 1980-х роках регуляторні органи США вилучили декілька форм броміду з безрецептурних ліків, включаючи бромід натрію. Після цього показники бромізму значно знизилися, і сьогодні цей стан залишається відносно рідкісним. Проте поодинокі випадки все ще трапляються, причому деякі недавні пов’язані з дієтичними добавками, що містять бромід, придбаними онлайн.
Перед тим, як стався цей інцидент, чоловік читав про негативний вплив надмірного споживання кухонної солі, також відомої як хлорид натрію, на здоров’я. «Він був здивований, що міг знайти лише літературу, пов’язану зі зменшенням споживання натрію з раціону», на відміну від зменшення хлориду, зазначається у звіті. «Натхненний своїм досвідом вивчення харчування у коледжі, він вирішив провести особистий експеримент, щоб виключити хлорид зі свого раціону». Варто зазначити, що хлорид важливий для підтримки здорового обсягу крові та артеріального тиску, і проблеми зі здоров’ям можуть виникнути, якщо рівень хлориду в крові стає занадто низьким або занадто високим.
Пацієнт проконсультувався з ChatGPT — версії 3.5 або 4.0, виходячи з хронології випадку. Автори звіту не отримали доступу до журналу розмов пацієнта, тому точне формулювання, згенероване великою мовною моделлю (ВММ), невідоме. Проте чоловік повідомив, що ChatGPT вказав, що хлорид можна замінити бромідом, тому він замінив весь хлорид натрію у своєму раціоні на бромід натрію. Автори зазначили, що ця заміна, ймовірно, є доречною в контексті використання броміду натрію для очищення, а не для споживання.
Намагаючись імітувати те, що могло статися з їхнім пацієнтом, лікарі спробували запитати ChatGPT 3.5, чим можна замінити хлорид, і отримали відповідь, яка включала бромід. ВММ зауважила, що «контекст має значення», але вона не надала конкретного попередження про здоров’я і не запитувала додаткового контексту щодо причини запитання, «як ми припускаємо, зробив би медичний фахівець», написали автори.
Одужання та висновки щодо ШІ
Через три місяці вживання броміду натрію замість кухонної солі чоловік звернувся до відділення невідкладної допомоги, стурбований тим, що його сусід його отруює. Його аналізи на той момент показали накопичення вуглекислого газу в крові, а також підвищення лужності (протилежність кислотності).
У нього також виявили підвищений рівень хлориду в крові, але нормальний рівень натрію. Після подальшого розслідування це виявилося випадком «псевдогіперхлоремії», що означає, що лабораторний тест на хлорид дав неправдивий результат, оскільки інші сполуки в крові — а саме, велика кількість броміду — завадили вимірюванню. Після консультації з медичною літературою та Центром контролю за отруєннями лікарі чоловіка дійшли висновку, що найімовірнішим діагнозом був бромізм.
Після госпіталізації для моніторингу електролітів та їх поповнення, чоловік сказав, що відчуває сильну спрагу, але був параноїдально налаштований щодо запропонованої йому води. Через повний день перебування в лікарні його параноя посилилася, і він почав відчувати галюцинації. Потім він спробував втекти з лікарні, що призвело до примусової психіатричної госпіталізації, під час якої він почав отримувати антипсихотичні препарати.
Показники життєдіяльності чоловіка стабілізувалися після введення рідин та електролітів, і оскільки його психічний стан покращився під дією антипсихотика, він зміг повідомити лікарям про використання ChatGPT. Він також зазначив додаткові симптоми, які помітив нещодавно, такі як акне на обличчі та невеликі червоні утворення на шкірі, що могли бути реакцією гіперчутливості на бромід. Він також відзначив безсоння, втому, проблеми з координацією м’язів та надмірну спрагу, «що додатково свідчило про бромізм», написали його лікарі.
Чоловікові поступово зменшували дозу антипсихотичних препаратів протягом трьох тижнів, а потім виписали з лікарні. Його стан залишався стабільним під час контрольного огляду через два тижні.
«Хоча це інструмент з великим потенціалом для налагодження зв’язку між вченими та ненауковим населенням, ШІ також несе ризик поширення деконтекстуалізованої інформації», — підсумували автори звіту. «Малоймовірно, що медичний експерт згадав би бромід натрію, зіткнувшись з пацієнтом, який шукав життєздатну заміну хлориду натрію».
Вони підкреслили, що «зі зростанням використання інструментів ШІ, медичні працівники повинні будуть враховувати це при перевірці джерел інформації про здоров’я, яку споживають їхні пацієнти». Додаючи до занепокоєнь, порушених у цьому випадку, інша група вчених нещодавно протестувала шість ВММ, включаючи ChatGPT, запропонувавши моделям інтерпретувати клінічні нотатки, написані лікарями. Вони виявили, що ВММ «дуже сприйнятливі до атак ворожих галюцинацій», тобто вони часто генерують «неправдиві клінічні деталі, що створює ризики при використанні без запобіжних заходів». Застосування технічних виправлень може зменшити кількість помилок, але не усуває їх, виявили дослідники. Це підкреслює ще один спосіб, яким ВММ можуть створювати ризики для прийняття медичних рішень.
