Надійно перевірити, чи текст написав ШІ, неможливо: детектори дають лише ймовірність і регулярно помиляються в обидва боки. Сама OpenAI закрила свій класифікатор у 2023 році через низьку точність, а дослідження Стенфорда показало, що детектори масово позначають як «згенеровані» тексти людей, для яких мова не рідна. Результат детектора — привід поставити питання, а не доказ.
Як працюють детектори ШІ-тексту
Більшість сервісів оцінює, наскільки «передбачуваний» текст для мовної моделі: рівні речення, частотні слова й однорідна структура дають високий бал «ШІ». Деякі додатково шукають характерні звороти чатботів. Звідси головна проблема — так само передбачувано пишуть і люди: у шаблонних документах, у навчальних есе, у перекладах і в текстах, написаних не рідною мовою.
Детектори навчають переважно на англійських текстах. Для української вибірки менші, тож помилок більше, а короткі фрагменти (кілька речень) майже неможливо оцінити.
Чому детектори помиляються
- Хибні спрацювання на людських текстах. У дослідженні Стенфорда (Liang та ін., 2023) сім популярних детекторів у середньому позначили як ШІ понад половину есе іспиту TOEFL, написаних людьми, тоді як есе носіїв мови оцінили майже без помилок.
- Пропуски згенерованого тексту. Класифікатор OpenAI на момент запуску розпізнавав лише 26 % ШІ-текстів і помилково позначав 9 % людських; у липні 2023 року компанія його закрила «через низьку точність».
- Легке обхідне редагування. Перефразування, зміна порядку речень або прохання до моделі «пиши різноманітніше» помітно знижують бал детектора — це показало те саме дослідження Стенфорда.
- Змішані тексти. Людина пише чернетку, ШІ виправляє граматику — такий текст детектор може оцінити і так, і так.
Як перевіряти текст на практиці
- Порівняйте кілька детекторів. Якщо сервіси розходяться в оцінках, вірити жодному не варто. Звертайте увагу на виділені фрагменти, а не на загальний відсоток.
- Перевірте факти й джерела. Згенеровані тексти часто містять вигадані цитати, посилання на неіснуючі статті й неточні дати — це надійніша ознака, ніж стиль.
- Подивіться історію документа. У Google Docs і Microsoft Word є історія версій: живий текст зазвичай з'являється поступово, з правками, а не одним вставленим блоком.
- Поговоріть з автором. Для навчальних робіт найкраща перевірка — попросити пояснити своїми словами ключові тези або дописати фрагмент при вас.
- Перевірте зображення окремо. Для картинок деякі генератори додають невидимі водяні знаки й метадані Content Credentials (C2PA) — їх читають спеціальні сервіси, а не текстові детектори.
Запити для перевірки тексту без детектора
Випиши українською всі факти, числа, дати й цитати з тексту нижче. Для кожного вкажи, як його перевірити, і познач ті, що виглядають вигаданими або не мають джерела. [текст]
Перелічи всі джерела, на які посилається текст нижче. Для кожного напиши, чи існує така публікація, хто автор і рік, або що знайти її не вдалося. [текст]
Склади 5 запитань українською, які допоможуть перевірити, чи автор розуміє ключові тези тексту нижче. Запитання мають вимагати пояснення своїми словами, а не переказу. [текст]
Якщо ваш текст помилково визнали згенерованим
- Збережіть чернетки, нотатки й історію версій документа — це найкращий доказ авторства.
- Попросіть показати, яким детектором і з якими налаштуваннями перевіряли текст, та послайтеся на офіційну позицію OpenAI й дослідження про упередженість детекторів (посилання нижче в джерелах).
- Запропонуйте усний захист роботи або перевірку знань у присутності викладача.
Хочете зрозуміти, як працюють самі моделі й чим вони відрізняються? Почніть зі словника термінів ШІ-моделей і рейтингу моделей для текстів.
Часті питання
Чи можна точно визначити, що текст написав ChatGPT?
Ні. Детектор видає ймовірність, а не факт. Навіть OpenAI, розробник ChatGPT, відмовилася від власного детектора через низьку точність.
Чи працюють детектори з українськими текстами?
Частина сервісів приймає українську, але точність нижча, ніж для англійської, особливо на коротких текстах. Результат варто перевіряти іншими способами.
Скільки тексту потрібно для перевірки?
Чим довший текст, тим стабільніша оцінка. Фрагменти з кількох речень детектори оцінюють майже навмання; OpenAI вважала свій класифікатор ненадійним для текстів коротших за 1000 символів.
Чи можна перевірити текст на ШІ безкоштовно?
Так, більшість детекторів мають безкоштовну перевірку з обмеженням обсягу. Але через ті самі помилки результат безкоштовного й платного сервісу варто сприймати лише як підказку.