Виявлення ідей ШІ, а не тексту ШІ

А що, якби існував детектор тексту ШІ, який міг би розпізнати, що ви написали щось, спираючись на ідею, яку вам надало ШІ, — навіть якщо весь фактичний текст (тобто написане) був вашим оригінальним твором?

Ми всі знаємо про детектори тексту ШІ, які ставлять у незручне становище знаменитостей і політиків, серед інших — алгоритми, які вивчали характеристики створеного ШІ тексту і можуть розпізнавати ці шаблони, коли вони з’являються.

Ці випадки представляють просте делегування комунікаційного завдання, у якому мовні моделі, такі як ChatGPT і Google Gemini, прогнозують наступний ймовірний токен у відповіді на запит користувача — не роблячи крок назад і розглядаючи широку картину проблеми чи пропозиції спочатку, а лише вгадуючи наступне найймовірніше слово.

Проте, цей лоскутний килимок передбачень зрештою формує підґрунтову структуру, згідно з останніми дослідженнями: необхідність того, щоб суміжні текстові розділи були послідовними та релевантними один до одного, створює унікальний підпис у «структурі» або високорозмірності роботи — те, що може розпізнати руку ШІ навіть коли текст суттєво переписаний, щоб «гуманізувати» його:

Відмінна багатовимірна «форма» письма під різними LLM, і — ліворуч — чисто людське письмо. Джерело

Цілеспрямоване генерування ідей ШІ

Нова академічна співпраця, яку очолює Університет Меріленду, робить ще один крок уперед, пропонуючи методологію, що може виявити, чи самі ідеї походять від ШІ, незалежно від того, хто в кінцевому підсумку написав слова.

Підхід, названий IdeaLens і навчений на мільйоні контурів, витягнутих з веб‑документів, зосереджений на зведенні кожного документа до контуру, який зберігає його ідеї, одночасно видаляючи формулювання, — і супроводжується онлайн‑демо:

Зліва одна з моїх власних статей проходить як людська у онлайн‑демо, тоді як інша стаття, яку я подав (написана іншим автором), здається, має значний внесок ШІ. Джерело

Як видно з наведених вище результатів демонстрації, використані методи виявлення можуть розрізняти людські ідеї та людську прозу, а також ідеї ШІ та прозу ШІ, і оцінювати їх детально та окремо — навіть якщо обидва детектори були навчені на тих самих документах, мітках і базовій архітектурі моделі, при цьому їхня мета — виявляти взагалі протилежні речі: походження ідей і походження прози.

Цей тип виявлення, як підозрюють, може викликати занепокоєння у багатьох категорій письменників, від політичних спічрайтерів до романістів і колумністів, а також у інших, які до сьогодні цінували свій власний стиль письма, проте дозволяли ШІ підживлювати їхні теми.

Однією з причин, чому LLM, ймовірно, генерують впізнавані (а отже простежувані) ідеї, є не лише те, що певні концепції та тексти статистично домінували у недостатньо відібраних навчальних даних моделі, роблячи їх більш імовірними для появи у ширшому спектрі запитів; а й тому, що LLM мають таємничі та повторювані одержимості, які навіть не здаються пов’язаними з конкретними навчальними даними, і все ж часто з’являються без запиту.

Автори стверджують*:

‘Хоча сучасні детектори ШІ визначають хто написав слова, нові політики щодо використання ШІ все більше орієнтуються на інше питання: хто придумав ідеї? Ми представляємо IdeaLens, детектор, який визначає, чи ідеї документа походять від людини чи ШІ (походження ідей), незалежно від того, хто написав його слова.’

‘Щоб зосередити IdeaLens на ідеях, а не на прозі, ми представляємо документи у вигляді контурів: списки елементів, які кожен поєднує роль дискурсу з коротким, перефразованим описом змісту, мінімізуючи перекриття на рівні слів з оригінальним текстом.’

Дані та методи

У статті стверджується, що новий метод може виявляти людські ідеї в документах, згенерованих ШІ (тобто хтось сказав ШІ ‘Напиши мені есе на цю тему‘); а також може виявляти ідеї ШІ у людському письмі (тобто хтось сказав ШІ ‘Запропонуй щось, про що я можу написати’).

Результати тестів за чотирма комбінаціями людських та ШІ‑ідей і прози. Усі чотири детектори працюють ефективно, коли ідеї та проза мають спільне походження, але різко розходяться, коли походження змішане: IdeaLens правильно розпізнає 94,7 % документів, написаних ШІ на основі людських ідей, як людського походження, і виявляє ШІ‑ідеї у 68 % історій, написаних людьми, порівняно лише з 8 % для Pangram 4 та 0 % для ProseLens і EditLens‑3B. Source

Виявлення найпростішe, коли походження найчіткіше — наприклад, коли людський текст базується на ідеях, згенерованих ШІ, або коли вихід ШІ‑виходу походить від людської ідеї. Коли ці сильні сторони походження варіюються, виявлення стає складнішим.

Дослідники перевірили це розрізнення, поступово змінюючи, яку частину плану документа створює людина. В одному експерименті ШІ‑моделям подавали все більш деталізовані людські плани, починаючи від простого теми і закінчуючи повним планом.

Зі збільшенням внеску людини частка позначень AI у IdeaLens падала з 94,9 % до 6,8 %; а традиційні детектори прози й надалі майже виключно класифікували отриманий текст як ШІ:

Результати тесту, що показують, що відбувається, коли поступово більше плану AI‑написаного документа забезпечується людиною. IdeaLens все частіше розпізнає людське походження ідей, при цьому частка позначень AI падає з 94,9 % для запиту лише з темою до 6,8 % для повного людського плану; традиційні детектори тексту ProseLens і Pangram все ще класифікують більшість отриманого тексту як ШІ.

Оскільки ідеї потрібно відокремити від мови, якою вони виражені, і немає великого набору даних, що фіксує, хто фактично створив ідеї в документі, дослідники натомість навчали IdeaLens на існуючих AI‑письмових мітках — але видалили більшість самого тексту:

Як IdeaLens розділяє ідеї та прозу під час навчання та тестування, у порівнянні з традиційним детектором тексту ProseLens. Зразок статті‑думки обсягом 1 321 слово зводиться до плану з позначенням ролей, де пункти категоризуються за їх функцією, наприклад, опис події чи оцінка. Під час навчання ці плани додатково перефразовувалися, щоб видалити формулювання, успадковані від вихідних документів, перед тим як IdeaLens вивчав існуючі AI‑мітки Pangram. Для нових документів отриманий план можна безпосередньо передати IdeaLens для оцінки ймовірності, що ідеї походять від ШІ. Нижня частина рисунка показує другий детектор — «ProseLens», який використовували дослідники для порівняння; він отримує повний текст і оцінює, чи сама проза згенерована ШІ.

Як показано вище, кожен документ був зведений до плану, що описує, що саме сказано, і роль, яку кожен пункт виконує в документі. Під час навчання ці плани перефразовувалися, щоб ще більше видалити сліди оригінальної формулювання авторів. IdeaLens може тому робити свої прогнози в основному на ідеях, що залишаються, а не на характерних ознаках самої прози.

Для проєкту було створено три набори даних: IdeaShift; IdeaShift-X; і TwiceTold. IdeaShift було створено на основі 500 документів‑зразків, написаних людьми та створених ШІ, відібраних з існуючого тестового корпусу дослідників. GPT-5.6 Sol, щоб перетворити кожен у поступово більш деталізовані підказки, від «лише тема», до повного плану. GPT-5.6 потім був використаний для створення нових документів.

IdeaShift-X, навпаки, використав 10 000 документів, написаних людьми у FineWeb2, охоплюючи 24 мови, застосовуючи вищезгаданий протокол IdeaShift для створення ШІ‑версій кожною мовою.

Третій набір даних, TwiceTold, був написаний студентами‑академіками під керівництвом авторів, щоб уникнути можливого використання ШІ вбудованих у краудсорсингу таких даних. П’ятдесят історій були написані з нуля, але з використанням 500‑словного плану, наданого ChatGPT-5.6 Sol.

Тести

Власні детектори дослідників включали IdeaLens у формі контуру та документа; згаданий вище ProseLens; ModernBERT-L версії обох систем; Qwen3.5-9B версії IdeaLens; та варіант IdeaLens logistic-classifier.

Їх порівнювали з Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; та Rank.

Для тестів точність вимірювали за тим, чи збігається передбачена мітка AI або людини з джерелом ідей. IdeaLens, ProseLens та EditLens використовували глобальний поріг 1 % FPR; мітки AI, AI‑асистовані та людські у Pangram 4 були бінаризовані; а Fast-DetectGPT, Binoculars, MELD та Desklib застосовували свої типові пороги.

Ширша оцінка використовувала 19 зовнішніх еталонів, включаючи 14, що охоплювали повністю людський або повністю AI‑матеріал, та 10, що містили людське письмо, яке згодом було відредаговано ШІ. Додатково було протестовано 50 000 документів у межах домену, а 10 000 документів до епохи ChatGPT C4 використали для оцінки хибнопозитивних результатів:

Результати тесту, що порівнюють точність детекторів, коли ідеї та проза мають однакове або різне походження. IdeaLens зберігає високу точність у обох випадках, 95,3 % при спільному походженні та 81,3 % при змішаному походженні; конкуренти значно гірше працюють, коли джерело ідей відрізняється від джерела прози.

За результатами 51 тесту, взятих із 22 еталонів, IdeaLens був єдиним детектором, який показав високу ефективність, коли ідеї та проза походили як з одного, так і з різних джерел, отримавши 95,3 % та 81,3 % відповідно.

Для порівняння, ProseLens та Pangram 4 досягли понад 98 % коли ідеї та проза мали спільне джерело, але впали до приблизно 25 % коли це не так.

Автори зазначають щодо цих результатів*:

‘Оскільки ProseLens має ту ж саму архітектуру, навчальні документи та мітки навчання, що й IdeaLens, це підкреслює вплив нашого представлення контуру, яке ModernBERT-based pair відтворює з іншою архітектурою.

‘IdeaLens також несподівано добре переноситься на необроблені текстові входи під час тестування, демонструючи високу точність при спільному походженні та значно вищу точність при змішаному походженні, ніж ProseLens.’

Усі три детектори успішно ідентифікували майже всі оригінальні історії, написані ШІ. У наборі TwiceTold IdeaLens виявив ідеї, походженням з ШІ, у 68 % людських історій, у порівнянні з 0 % для ProseLens та 8 % для Pangram 4:

IdeaLens присвоює схожі ймовірності AI оригінальним історіям, написаним ШІ, і людським версіям TwiceTold, що базуються на тих самих AI‑згенерованих контурах, тоді як ймовірності AI у ProseLens різко падають, коли проза переписується людьми.

Незважаючи на те, що було навчено англійською, IdeaLens узагальнив результати на 24 мови IdeaShift‑X, позначаючи 95,3 % документів на основі AI‑ідей, але лише 0,7 % коли ідеї постачав детальний людський план. На 10 000 людських документів до епохи ChatGPT, у тих самих мовах, рівень хибнопозитивних результатів склав лише 0,1 %.

Автори визнають, що у майбутніх дослідженнях бажаним був би більший набір даних, і що шумність міток набору даних може потребувати виправлення. Проте ті, хто хоче розвивати цей цікавий початковий результат, можуть скористатися GitHub repository, який автори статті надали; а просто зацікавлені можуть вставити «підозрілі» тести на demo site проєкту і самостійно оцінити, чи метод відповідає їхнім власним оцінкам або оцінкам інших підходів.

Висновок

Те, чи має значення метод виявлення такого типу має значення, залежить від того, як розвиватиметься прийняття, інтеграція або відхилення ШІ (безсумнівно, по‑різному у різних секторах та обставинах) протягом наступних 6–12 місяців.

Можливо, що громадськість політика більш схильна пробачати його використання ШІ для поліпшення та представлення власних оригінальних ідей, ніж вона була б до гладкої презентації ідей, згенерованих LLM (зрештою, статистично аудиторія ймовірно буде схильною до використання ШІ лише як інструменту презентації).

Проте, одночасно, чого ми очікуємо від ШІ, якщо не того, що вона створюватиме кути, ідеї та альтернативи, які ми самі могли б пропустити чи ніколи не розглянути; і з цієї точки зору, чи є такою поганою ідеєю дати машинному інтелекту кермо?

Що стосується зовнішнього вигляду, і враховуючи відому та зростаючу схильність ШІ до помилок і – останнім часом – неправильна поведінка, можливо, ще зарано дозволяти LLM генерувати пропозиції щодо політики або взагалі стати рушійною силою в ідеації.

*Авторські наголоси, не мої, а моє перетворення вбудованих цитат авторів у гіперпосилання, за потреби.*

Вперше опубліковано у вівторок, 6 жовтня 2026 року