Сучасні генеративні алгоритми штучного інтелекту значно спростили створення письмового контенту. Такі популярні чатботи, як ChatGPT, Gemini та Grok, можуть за лічені секунди генерувати тисячі слів на будь-яку тему. В ідеалі, ці інструменти найкраще підходять для створення неакадемічного тексту, як-от електронні листи, листи, нотатки чи швидкі повідомлення. Однак припускати, що студенти не використовуватимуть такий потужний інструмент як спосіб спрощення академічних завдань, було б надмірно оптимістично. Зростання використання ШІ студентами змусило викладачів боротися зі шквалом машинно згенерованого тексту в освітньому процесі.
Детектори контенту, створеного штучним інтелектом, пропонують вирішення цієї проблеми, заявляючи, що можуть відрізнити текст, написаний ШІ, від написаного людиною, всього за кілька кліків. Деякі з цих інструментів також пропонують послуги “олюднення” тексту, які під час тестування показали доволі невтішні результати. Детектори ШІ по суті є ймовірнісними моделями, які роблять обґрунтоване припущення щодо тексту, аналізуючи його за такими параметрами, як розгубленість (perplexity) та вибуховість (burstiness). Проте позначити контент, створений ШІ, надзвичайно важко, особливо коли вдосконалені чатботи стають дедалі кращими у своїй роботі. Були численні випадки, коли текст, написаний людиною, помилково позначався такими інструментами. З огляду на це, чи варто справді довіряти результатам, отриманим від детекторів ШІ?
Принципи роботи детекторів ШІ: ймовірнісні моделі
Генеративний штучний інтелект навчається на величезних наборах даних, що допомагає базовій моделі краще генерувати текст, зображення, аудіо і навіть відео. Замість того, щоб фактично мислити та писати як люди, моделі ШІ прогнозують найбільш доречні блоки слів, які можуть задовольнити запит користувача. Ці моделі додатково налаштовуються таким чином, щоб бути надзвичайно ввічливими та формальними, тоді як контент, який вони виробляють, є неприродно гладким і легко читається. Цікаво, що саме ця неприродність тексту, згенерованого штучним інтелектом, робить його до певної міри відстежуваним.
Серед іншого, детектори ШІ перевіряють текстовий блок на розгубленість, тобто передбачуваність думки. Наприклад, розглянемо речення “Безбарвні зелені ідеї люто сплять” (Colorless green ideas sleep furiously) — фразу, вигадану відомим американським лінгвістом, філософом та політичним діячем Ноамом Хомським, щоб продемонструвати, як граматика та семантика не завжди поєднуються. Кожне слово в цьому реченні абсолютно не пов’язане з попереднім словом, що робить його дуже “розгубленим” реченням. Моделі ШІ, з іншого боку, природно генерують контент з низькою розгубленістю. Ще одна характеристика, яка робить контент, згенерований ШІ, унікальним, — це загальна однорідність довжини речень, що вимірюється у вибуховості. Речення, написані людиною, можуть значно відрізнятися за довжиною, що відрізняє їх від роботизованого контенту.
Неточність детекторів ШІ
Ви, можливо, помітили, що низька розгубленість і, певною мірою, висока вибуховість є ознаками якісного письма. І хоча люди рідко пишуть так неприродно, як ШІ, детектори можуть позначати деякі тексти, написані людиною, як створені штучним інтелектом. Щоб перевірити точність детекторів ШІ, ми пропустили Геттісбурзьку промову Авраама Лінкольна — одного з найвидатніших президентів Сполучених Штатів, яка була написана задовго до появи концепції штучного інтелекту, через три найефективніші інструменти для виявлення ШІ. Під час тестування ми використали три відомі інструменти для виявлення ШІ: QuillBot, Copyleaks AI та ZeroGPT. У той час як QuillBot і Copyleaks AI правильно позначили її як написану людиною, детектор ZeroGPT визначив промову Лінкольна як на 96,4% згенеровану штучним інтелектом. Користувачі на онлайн-форумах, таких як Reddit, де мільйони людей обмінюються інформацією та досвідом, повідомляють про подібні проблеми з хибними спрацьовуваннями детекторів ШІ.
Хоча прогонка тексту через кілька інструментів може дати певне уявлення про його походження, не можна їм сліпо довіряти. Варто власноруч перечитати текст і шукати підказки, пов’язані з контентом, створеним штучним інтелектом, такі як надмірно ввічлива граматика та неприродна розгубленість. Крім того, моделі ШІ налаштовані так, щоб уникати прямих тверджень і часто використовують ухильну термінологію, наприклад: “Загальноприйнято вважати…”, “Дехто може вважати…”, тощо. Якщо ви викладач і маєте доступ до історії документа, ви можете перевірити наявність будь-яких незвично великих збільшень кількості слів, що може свідчити про використання ШІ.
