AI-ideoiden tunnistaminen, ei AI-tekstiä

Entä jos olisi AI-tekstintunnistin, joka voisi tunnistaa, että kirjoitit jotain perustuen ideaan, jonka AI antoi sinulle – vaikka kaikki varsinainen kirjoitus (eli teksti) olisi omaa alkuperäistä työtäsi?

Me kaikki tiedämme AI-tekstintunnistimista, jotka nolaavat julkkiksia ja poliitikkoja sekä muita – algoritmeja, jotka ovat tutkineet AI:n luoman tekstin ominaisuuksia ja voivat havaitse nämä kuviot, kun ne ilmestyvät.

Nämä tapaukset edustavat yksinkertaista viestintätehtävän ulkoistamista, jossa kielimallit kuten ChatGPT ja Google Gemini ennustavat seuraavan todennäköisen tokenin käyttäjän kehotteeseen vastatessa – eivät ottamalla askeleen taaksepäin tarkastellakseen ongelman tai väitteen laajaa kokonaiskuvaa, vaan ainoastaan arvaamalla seuraavan todennäköisimmän sanan.

Kuitenkin tämä ennusteiden sekakudos lopulta tuottaa taustarakenteen, tuoreiden tutkimusten mukaan: tarve, että peräkkäisten tekstiosioiden on oltava johdonmukaisia ja toisiaan koskevia, aiheuttaa ainutlaatuisen allekirjoituksen kehittymisen työn ‘luonnoksessa’ tai korkeamman ulottuvuuden tasossa – joka pystyy havaitsemaan AI:n käden vaikka teksti onkin laajasti uudelleenkirjoitettu ‘ihmisistämiseksi’:

Erilainen korkeamman ulottuvuuden ‘muoto’ kirjoittamisessa eri LLM-malleilla, ja – vasemmalla – puhdas ihmisen kirjoitus. Lähde

Kohdistettu AI-ideoiden luominen

Uusi akateeminen yhteistyö, jota johtaa University of Maryland, menee askeleen pidemmälle tarjoamalla menetelmän, joka voi havaita, olivatko ideat itse peräisin AI:sta, riippumatta siitä, kuka lopulta kirjoitti sanat.

Lähestymistapa, nimeltään IdeaLens ja koulutettu yhdellä miljoonalla verkko-dokumenteista poimituilla luonnoksilla, keskittyy vähentämään jokaisen dokumentin luonnokseksi, joka säilyttää sen ideat samalla kun poistetaan sanamuoto – ja siihen sisältyy verkkodemot:

Vasemmalla yksi omista artikkeleistani läpäisee ihmisenä verkkodemossa, kun taas toinen lähettämäni (toisen kirjoittajan kirjoittama) artikkeli näyttää saaneen merkittävää AI-syötettä. Lähde

Kuten yllä olevissa esimerkkidemon tuloksissa nähdään, käytetyt havaitsemismenetelmät voivat erottaa ihmisen ideat ja ihmisen proosan sekä AI-ideat ja AI-proosan, ja arvioida ne tarkasti ja erottuvasti – vaikka kaksi tunnistinta koulutettiin samoilla dokumenteilla, tunnisteilla ja taustalla olevalla mallirakenteella, ja ne on suunniteltu havaitsemaan periaatteessa vastakkaisia asioita: ideoiden alkuperä ja proosan alkuperä.

Tämän tyyppinen havaitsemisen alue, arveltaisiin, saattaa hermostuttaa useita kirjoittajaryhmiä, poliittisten puheiden kirjoittajista kirjailijoihin ja kolumnisteihin, sekä muita, jotka ovat tähän mennessä arvostaneet omaa kirjoitustyyliään, mutta ovat antaneet AI:n ruokkia heidän aiheitaan.

Yksi syy siihen, miksi LLM:t todennäköisesti tuottavat tunnistettavia (ja siten jäljitettävissä olevia) ideoita, ei ole vain se, että tietyt käsitteet ja tekstit ovat tilastollisesti hallinneet mallin huonosti kuratoitua koulutusdataa, mikä tekee niistä todennäköisempiä nousemaan esiin laajemmassa pyyntövalikoimassa; vaan myös siksi, että LLM:illä on salaperäisiä ja toistuvia pakkomielleitä, jotka eivät vaikuta liittyvän tiettyyn koulutusdataan, ja silti usein ilmestyvät ilman kutsua.

Kirjoittajat toteavat*:

‘Vaikka nykyaikaiset AI-tunnistimet tunnistavat kuka kirjoitti sanat, nousevat AI:n käyttöön liittyvät politiikat yhä enemmän perustuvat toiseen kysymykseen: kuka keksi ideat? Esittelemme IdeaLensin, tunnistimen, joka määrittelee, ovatko asiakirjan ideat peräisin ihmiseltä vai AI:lta (ideoiden alkuperä), riippumatta siitä, kuka kirjoitti sen sanat.’

‘Keskittyäksemme IdeaLensin ideoihin proosan sijaan, esitämme dokumentit luonnoksina: luetteloina, joissa jokainen kohde yhdistää diskurssin roolin lyhyeen, parafraasattuun sisällön kuvaukseen, minimoiden sanatasoisen päällekkäisyyden raakatekstiin.’

Aineisto ja menetelmät

Artikkeli väittää, että uusi menetelmä voi tunnistaa ihmisen ideat AI:n tuottamista dokumenteista (eli joku sanoi AI:lle ‘Kirjoita minulle essee tästä aiheesta‘); ja se voi myös tunnistaa AI-ideat ihmisen kirjoituksista (eli joku sanoi AI:lle Ehdota jotain, mistä voisin kirjoittaa).

Testitulokset neljässä ihmisen ja tekoälyn ideoiden ja proosan yhdistelmässä. Kaikki neljä tunnistajaa toimivat vahvasti, kun ideat ja proosa jakavat saman alkuperän, mutta poikkeavat jyrkästi, kun alkuperä on sekoitettu: IdeaLens tunnistaa oikein 94.7% tekoälyn kirjoittamia asiakirjoja, jotka perustuvat ihmisen ideoihin, ihmisen alkuperäisiksi, ja havaitsee tekoälyideat 68% ihmisen kirjoittamista tarinoista, verrattuna vain 8%:iin Pangram 4:ssä ja 0%:iin ProseLensissä ja EditLens-3B:ssa. Lähde

Tunnistaminen on helpointa, kun alkuperä on selkein – esimerkiksi kun ihmisen kirjoittama teksti perustuu tekoälyn tuottamiin ideoihin tai kun tekoälyn tuottama tulos perustuu ihmisen ideaan. Kun nämä alkuperän vahvuudet vaihtelevat, tunnistaminen vaikeutuu.

Tutkijat testasivat tätä eroa muuttamalla asteittain, kuinka suuri osa asiakirjan taustasuunnitelmasta tulee henkilöltä. Yhdessä kokeessa tekoälymalleille annettiin yhä tarkempia ihmisen laatimia suunnitelmia, alkaen vain aiheesta vähäisesti, päättyen täydelliseen hahmotelmaan.

Kun ihmisen panos kasvoi, IdeaLensin tekoälylippujen osuus laski 94.9%:sta 6.8%:iin; ja perinteiset proosatunnistajat jatkoivat yhä ylivoimaisesti tekstin luokittelemista tekoälyn tuottamaksi:

Testitulokset, jotka osoittavat, mitä tapahtuu, kun yhä enemmän tekoälyn kirjoittaman asiakirjan taustasuunnitelmasta annetaan ihmiselle. IdeaLens tunnistaa yhä paremmin ideoiden ihmisen alkuperän, ja sen tekoälylippujen osuus laskee 94.9%:sta aihepohjaisesta kehotteesta 6.8%:iin täydellisessä ihmisen hahmotelmassa; perinteiset tekstintunnistajat ProseLens ja Pangram luokittelevat edelleen suurimman osan syntyneestä tekstistä tekoälyn tuottamaksi.

Koska ideat on erotettava niiden ilmaisemiseen käytetystä kielestä, eikä ole suurta aineistoa, joka kirjaa, kuka todellisuudessa on alun perin luonut ideat asiakirjassa, tutkijat sen sijaan kouluttivat IdeaLensin olemassa oleviin tekoälyn kirjoittamiin tunnisteet – mutta poistivat suurimman osan itse kirjoituksesta:

Miten IdeaLens erottaa ideat proosasta koulutuksen ja testauksen aikana verrattuna perinteiseen tekstintunnistajaan ProseLens. Esimerkkinä on 1 321 sanan mielipideartikkeli, joka tiivistetään roolille merkittyyn hahmotelmaan, jossa kohdat luokitellaan niiden toiminnon mukaan, kuten tapahtumakertomukseksi tai arvioinniksi. Koulutuksen aikana nämä hahmotelmat parafraasattiin lisäisesti poistamaan lähdokumenteista periytyvät ilmaukset ennen kuin IdeaLens oppi olemassa olevista Pangram AI -tunnisteista. Uusille asiakirjoille purettu hahmotelma voidaan sitten syöttää suoraan IdeaLensille arvioimaan, kuinka todennäköisesti ideat ovat tekoälyn tuottamia. Kuvan alaosa näyttää toisen tunnistajan – ‘ProseLens’ – jonka tutkijat käyttivät vertailuun; se puolestaan vastaanottaa koko tekstin ja arvioi, onko proosa itse tekoälyn tuottamaa.

Kuten yllä on osoitettu, jokainen asiakirja tiivistettiin hahmotelmaksi, joka kuvaa, mitä sanotaan, ja kunkin kohdan roolia asiakirjassa. Koulutuksen aikana nämä hahmotelmat parafraasattiin poistamaan entisestään tekijöiden alkuperäisen sanaston jälkiä. IdeaLens voi siis tehdä ennusteensa pääosin ideoista, jotka jäävät, sen sijaan että perustuisi proosan tunnusmerkkeihin.

Projektia varten luotiin kolme aineistoa: IdeaShift; IdeaShift-X; ja TwiceTold. IdeaShift rakennettiin 500 ihmisen kirjoittamasta ja tekoälyn tuottamasta siemenasiakirjasta, jotka otettiin tutkijoiden olemassa olevasta testikorpuksesta. GPT-5.6 Sol muutti jokaisen yhä tarkemmiksi kehotteiksi, alkaen ‘vain aiheesta’ täyteen hahmotelmaan. GPT-5.6 käytettiin sitten uusien asiakirjojen luomiseen.

IdeaShift-X sen sijaan käytti 10 000 ihmisen kirjoittamaa FineWeb2-asiakirjaa 24 kielessä, soveltaen edellä mainittua IdeaShift-protokollaa tekoälyversioiden luomiseen kussakin kielessä.

Kolmas aineisto, TwiceTold, kirjoitettiin akateemisten opiskelijoiden toimesta kirjoittajien valvonnassa, jotta vältettäisiin tekoälyn luontainen käyttö täysikokouksessa tällaisen aineiston keräämisessä. Viisikymmentä tarinaa kirjoitettiin alusta alkaen, mutta käyttäen 500 sanan hahmotelmaa, jonka toimitti ChatGPT-5.6 Sol.

Testit

Tutkijoiden omat tunnistimet koostuivat IdeaLensistä luonnos- ja asiakirjamuodossa; edellä mainitusta ProseLensistä; ModernBERT-L-versioista molemmista järjestelmistä; Qwen3.5-9B-versioista IdeaLensistä; ja IdeaLensin logistic-classifier-variantista.

Näitä verrattiin Pangram 4:ään; EditLens-Llama-3B:hen; Binoculars:iin; EditLens-RoBERTa:an; MELD:iin; Desklib-academic:iin; Desklib:iin; Entropy:iin; Fast-DetectGPT:hen; Likelihood:iin; Log-rank:iin; LRR:iin; MAGE:iin; OpenAI-RoBERTa-base:een; OpenAI-RoBERTa-large:een; RADAR:iin; ja Rank:iin.

Testeissä tarkkuus mitattiin sen perusteella, täsmääkö ennustettu AI- tai ihmislappu ideoiden lähteeseen. IdeaLens, ProseLens ja EditLens käyttivät globaalia 1 % FPR‑kynnystä; Pangram 4:n AI-, AI-avusteiset ja ihmislaput binäärisoitiin; ja Fast-DetectGPT, Binoculars, MELD sekä Desklib käyttivät oletuskynnysarvojaan.

Laajemmassa arvioinnissa käytettiin 19 ulkoista vertailua, joista 14 kattoi täysin ihmisen tai täysin AI:n tuottaman materiaalin, ja 10 sisälsi ihmisen kirjoittamaa tekstiä, jonka AI oli myöhemmin muokannut. Lisäksi testattiin 50 000 toimialaan kuuluvia asiakirjoja, kun taas 10 000 ennen ChatGPT:n C4-dokumenttia käytettiin väärien positiivisten arviointiin:

Testitulokset, jotka vertaavat tunnistimien tarkkuutta, kun ideoiden ja proosan alkuperä on sama tai erilainen. IdeaLens säilyttää korkean tarkkuuden molemmissa tilanteissa, 95,3 % yhteisessä alkuperässä ja 81,3 % sekoitetussa alkuperässä; kilpailijat suoriutuvat merkittävästi heikommin, kun ideoiden lähde poikkeaa proosan lähteestä.

51 testissä, jotka on otettu 22 vertailusta, IdeaLens oli ainoa tunnistin, joka suoriutui vahvasti sekä silloin, kun ideat ja proosa olivat peräisin samasta että eri lähteistä, saavuttaen 95,3 % ja 81,3 % tarkkuuden vastaavasti.

Vertailun vuoksi ProseLens ja Pangram 4 saavuttivat yli 98 % tarkkuuden, kun ideat ja proosa jakoivat lähteen, mutta laskivat noin 25 %:iin, kun ne eivät jakaneet lähdettä.

Kirjoittajat kommentoivat näitä tuloksia*:

‘Koska ProseLensilla on sama runko, koulutusasiakirjat ja koulutuslaput kuin IdeaLensilla, tämä korostaa luonnosrepresentaatiomme vaikutusta, jonka ModernBERT-based pair toistaa eri rungolla.’

‘IdeaLens siirtyy odottamattoman hyvin raakatekstiin testiaikana, osoittaen korkean tarkkuuden yhteisessä alkuperässä ja merkittävästi korkeamman tarkkuuden sekoitetussa alkuperässä kuin ProseLens.’

Kaikki kolme tunnistinta tunnistivat lähes kaikki alkuperäiset AI:n kirjoittamat tarinat. TwiceToldissa IdeaLens tunnisti AI:n alkuperäiset ideat 68 %:ssa ihmisten kirjoittamista tarinoista, kun ProseLens oli 0 % ja Pangram 4 8 %:

IdeaLens antaa samankaltaiset AI‑todennäköisyydet alkuperäisille AI:n kirjoittamille tarinoille ja ihmisten kirjoittamille TwiceTold-versioille, jotka perustuvat samoihin AI:n luomiin luonnoksiin, kun taas ProseLensin AI‑todennäköisyydet laskevat jyrkästi, kun proosa on ihmisten uudelleenkirjoittama.

Vaikka IdeaLens on koulutettu englanniksi, se yleistyi IdeaShift-X:n 24 kieleen, merkitsemällä 95,3 % asiakirjoista AI‑ideoiden perusteella – mutta vain 0,7 %:ssa, kun yksityiskohtainen ihmisen laatima suunnitelma toimitti ideat. 10 000 ennen ChatGPT:n ihmisen kirjoittamaa asiakirjaa samoilla kielillä tuotti väärien positiivisten määrän vain 0,1 %.

Kirjoittajat myöntävät, että laajempi aineisto olisi toivottavaa tulevassa työssä, ja että aineiston merkintöjen kohinallisuus saattaa vaatia korjausta. Siitä huolimatta ne, jotka haluavat jatkaa tätä mielenkiintoista aloitusta, voivat turvautua GitHub repositoryiin, jonka paperin tekijät ovat julkaisseet; ja pelkkä uteliaisuus voi liittää “epäilyttävät” testit projektin demo site:iin ja arvioida itse, sopiiko menetelmä heidän omiin arvioihinsa tai muiden lähestymistapojen arvioihin.

Johtopäätös

Riippuu siitä, onko tällainen tunnistusmenetelmä merkityksellinen, miten AI:n hyväksyminen, integrointi tai hylkääminen kehittyy (epäilemättä eri tavoin eri sektoreilla ja olosuhteissa) seuraavan 6–12 kuukauden aikana.

Saattaa olla, että poliitikon yleisö on armollisempi hänen AI:n käyttöönsä omien ideoidensa hiomiseen ja esittämiseen kuin he olisivat armollisia sujuvalle LLM:n tuottamien ideoiden esittelylle (sillä tilastollisesti yleisö on todennäköisesti myötämielinen AI:n käyttöön pelkkänä esitystyökaluna).

Kuitenkin samaan aikaan, mitä me toivomme AI:lta, ellei se tuottaisi kulmia, ideoita ja vaihtoehtoja, jotka me itse olisimme saattaneet ohittaa tai eivät olisi koskaan tulleet mieleemme; ja tästä näkökulmasta, onko se niin huono ajatus antaa koneälyn ottaa ohjaus?

No, optiikan näkökulmasta ja ottaen huomioon tekoälyn tunnetun ja kasvavan taipumuksen virheisiin sekä – viime aikoina – virheellinen käyttäytyminen, saattaa olla vielä liian aikaista antaa LLM:ien laatia politiikkasuosituksia tai ylipäätään toimia ideoinnin vetovoimana.

*Kirjoittajien painotuksia, ei omiani, mutta muunnokseni kirjoittajien sisäisistä viitteistä hyperlinkeiksi, tarvittaessa.*

Ensimmäisen kerran julkaistu tiistaina 6. lokakuuta 2026