LLM-merkintä, joka integroi havaitsemattomia mutta havaittavissa olevia signaaleja mallin tulosteisiin LLM:ien tuottamisen tunnistamiseksi, on olennainen estämään suurten kielen mallien väärinkäyttö. Nämä merkintätekniikat voidaan pääasiassa jakaa kahteen luokkaan: KGW-perhe ja Kristus-perhe. KGW-perhe muuttaa LLM:n tuottamia logitteja luodakseen merkittyjä tulosteita, joissa sanastoa jaetaan vihreään ja punaiseen luetteloon edeltävän tokenin perusteella. Viherlistan tokenien logitteihin lisätään bias tekstien generoinnin aikana, jolloin nämä tokenit suositaan tuotetuissa teksteissä. Tilastollinen mittari lasketaan vihreiden sanojen osuudesta, ja kynnysarvo määritetään erottamaan merkityt ja merkittömät tekstit. KGW-metodin parannukset käsittävät parannettua listojen jakoa, parempaa logittien manipulaatiota, lisääntynyttä merkintätiedon kapasiteettia, vastustuskykyä merkintäpoistoon ja kykyä havaita julkisesti merkintöjä.

Toisaalta Kristus-perhe muuttaa näytteenottoprosessia LLM-tekstien generoinnin aikana ja upottaa merkinnän muuttamalla tokenien valintatapaa. Molemmat merkintäperheet pyrkivät tasapainottamaan merkintäilyttävyyden ja tekstin laadun, ja ne käsittelevät haasteita, kuten robustisuutta vaihtelevissa entropiatilanteissa, merkintätiedon kapasiteetin lisäämistä ja suojelua poistoyrityksiä vastaan. Viimeaikaiset tutkimukset ovat keskittyneet listojen jakamisen ja logittien manipulaation parantamiseen, merkintätiedon kapasiteetin lisäämiseen, keinojen kehittämiseen merkintäpoiston estämiseksi ja julkisen havainnon mahdollistamiseen. Lopulta LLM-merkintä on olennainen suurten kielen mallien eettisessä ja vastuullisessa käytössä, ja se tarjoaa menetelmän jäljittää ja vahvistaa LLM:ien tuottamia tekstejä. KGW- ja Kristus-perheet tarjoavat kaksi erilaista lähestymistapaa, joilla on omat vahvuutensa ja sovelluksensa, ja ne kehittyvät jatkuvasti tutkimuksen ja innovaation kautta.

LLM-merkintäkehykset pystyvät upottamaan algoritmien havaittavissa olevat signaalit mallin tulosteisiin LLM:n tuottamisen tunnistamiseksi, ja ne ovat tärkeitä suurten kielen mallien väärinkäytön riskien vähentämisessä. Kuitenkin on olemassa runsaasti LLM-merkintäkehyksiä markkinoilla, joilla on omat näkökulmansa ja arviointimenetelmänsä, mikä tekee tutkijoille vaikeaksi kokeilla näitä kehyksiä helposti. Tähän ongelmaan vastaamaan MarkLLM, avoin lähdekoodin työkalupakki merkinnälle, tarjoaa laajennettavan ja yhdenmukaisen kehyksen LLM-merkintäalgoritmien toteuttamiseen ja käyttäjäystävällisiä käyttöliittymiä helppokäyttöisyyden ja saavutettavuuden varmistamiseksi. Lisäksi MarkLLM-kehyksen tuki automaattiselle visualisoinnille näiden kehysten mekanismeista parantaa näiden mallien ymmärrettävyyttä. MarkLLM-kehyksessä on kattava valikoima 12 työkalua, jotka kattavat kolme näkökulmaa ja kaksi automaattista arviointiputkea suorituskyvyn arviointiin. Tämä artikkeli pyrkii kattamaan MarkLLM-kehyksen yksityiskohtaisesti, ja tutkimme kehyksen mekanismia, metodologiaa, arkkitehtuuria ja vertaamme sitä nykyisiin kehyksiin.

MarkLLM: Avoin lähdekoodin työkalupakki LLM-merkintää varten

Suurten kielen mallikehykset, kuten LLaMA, GPT-4, ChatGPT ja monet muut, ovat edistäneet merkittävästi tekoälymallien kykyä suorittaa tiettyjä tehtäviä, kuten luovaa kirjoittamista, sisällön ymmärtämistä, muodon hakua ja paljon muuta. Kuitenkin suurten kielen mallien poikkeuksellisen taitavan kyvyn lisäksi on ilmennyt tiettyjä riskejä, kuten akateemisen paperin haamukirjoittamista, LLM:ien tuottamia väärennettyjä uutisia ja kuvausta, ja yksilöiden henkilöllisyyden varastamista. Ottaen huomioon näihin ongelmiin liittyvät riskit, on olennaisen tärkeää kehittää luotettavia menetelmiä, joilla voidaan erottaa LLM:ien tuottamat tekstit ihmisten tuottamista teksteistä, ja varmistaa digitaalisen viestinnän aitoutta ja estää virheellisen tiedon leviämisen. Viime vuosina LLM-merkintä on suositeltu yhtenä lupaavista ratkaisuista LLM:ien tuottamien tekstien ja ihmisten tuottamien tekstien erottamiseksi, ja sisällyttämällä erityisiä ominaisuuksia tekstien generoinnin aikana, LLM:ien tulosteet voidaan yksilöidä erityisillä havainnoitsijoilla.

Tässä kuussa, MarkLLM-kehyksen pyrkimyksenä on täyttää seuraavat vaatimukset. MarkLLM tarjoaa yhdenmukaiset ja käyttäjäystävälliset käyttöliittymät algoritmien lataamiseen, merkittyjen tekstien generointiin, havaintoprosessien suorittamiseen ja datan keräämiseen visualisointia varten. Se tarjoaa mukautettuja visualisointiratkaisuja molemmille merkintäalgoritmien perheille, jolloin käyttäjät voivat nähdä, miten eri algoritmit toimivat eri konfiguraatioissa oikeilla esimerkeillä. Työkalupaketti sisältää kattavan arviointimoduulin, jossa on 12 työkalua, jotka käsittelevät havaittavuutta, robustisuutta ja tekstin laatuvaikutusta. Lisäksi se sisältää kaksi automaattista arviointiputkea, jotka tukevat käyttäjän mukauttamista aineistoista, malleista, arviointimittareista ja hyökkäyksistä, jolloin voidaan tehdä joustavia ja perusteellisia arviointeja. MarkLLM on suunniteltu modulaarisella, löyhästi kytketyllä arkkitehtuurilla, joka parantaa skaalautuvuutta ja joustavuutta. Tämä suunnitteluratkaisu tukee uusien algoritmien, innovatiivisten visualisointitekniikoiden ja arviointityökalupakin laajentamista tulevaisuuden kehittäjien toimesta.

Useita merkintäalgoritmeja on ehdotettu, mutta niiden yksilölliset toteutuslähestymistavat usein priorisoivat tiettyjä vaatimuksia yleistettävyyden sijaan, mikä johtaa useisiin ongelmiin

1. Luokkien suunnittelun standardisoinnin puute: Tämä edellyttää merkittävää työtä olemassa olevien menetelmien optimointiin tai laajentamiseen johtuen riittämättömästi standardisoiduista luokkasuunnittelusta.
2. Yhdenmukaisuuden puute ylempien tason kutsu-liittymissä: Epäjohdonmukaiset liittymät tekevät eri algoritmien batch-käsittelyn ja toistamisen vaativaksi ja työlääksi.
3. Koodin standardiongelmia: Haasteita ovat muun muassa asetusten muuttaminen useissa koodin osissa ja epäjohdonmukainen dokumentaatio, mikä hankaloittaa mukauttamista ja tehokasta käyttöä. Kovakoodatut arvot ja epäjohdonmukainen virheenkäsittely haittaavat sopeutumista ja virheenkorjauspyrkimyksiä.

Tässä työkalupaketti tarjoaa yhdenmukaisen toteutuskehyksen, joka mahdollistaa eri algoritmien helpon kutsumisen joustavissa konfiguraatioissa. Lisäksi huolellisesti suunniteltu luokkarakenne mahdollistaa tulevaisuuden laajennukset. Seuraava kuva havainnollistaa tämän yhdenmukaisen toteutuskehyksen suunnittelua.

Kehyksen jakautuneen suunnittelun ansiosta on kehittäjille helppoa lisätä lisäliittymiä mihin tahansa merkintäalgoritmiin ilman huolta siitä, että se vaikuttaa muihin algoritmeihin.

MarkLLM: Arkkitehtuuri ja Metodologia

LLM-merkintätekniikat voidaan pääasiassa jakaa kahteen luokkaan: KGW-perhe ja Kristus-perhe. KGW-perhe muuttaa LLM:n tuottamia logitteja luodakseen merkittyjä tulosteita, joissa sanastoa jaetaan vihreään ja punaiseen luetteloon edeltävän tokenin perusteella. Viherlistan tokenien logitteihin lisätään bias tekstien generoinnin aikana, jolloin nämä tokenit suositaan tuotetuissa teksteissä. Tilastollinen mittari lasketaan vihreiden sanojen osuudesta, ja kynnysarvo määritetään erottamaan merkityt ja merkittömät tekstit. KGW-metodin parannukset käsittävät parannettua listojen jakoa, parempaa logittien manipulaatiota, lisääntynyttä merkintätiedon kapasiteettia, vastustuskykyä merkintäpoistoon ja kykyä havaita julkisesti merkintöjä.

Toisaalta Kristus-perhe muuttaa näytteenottoprosessia LLM-tekstien generoinnin aikana ja upottaa merkinnän muuttamalla tokenien valintatapaa. Molemmat merkintäperheet pyrkivät tasapainottamaan merkintäilyttävyyden ja tekstin laadun, ja ne käsittelevät haasteita, kuten robustisuutta vaihtelevissa entropiatilanteissa, merkintätiedon kapasiteetin lisäämistä ja suojelua poistoyrityksiä vastaan. Viimeaikaiset tutkimukset ovat keskittyneet listojen jakamisen ja logittien manipulaation parantamiseen, merkintätiedon kapasiteetin lisäämiseen, keinojen kehittämiseen merkintäpoiston estämiseksi ja julkisen havainnon mahdollistamiseen. Lopulta LLM-merkintä on olennainen suurten kielen mallien eettisessä ja vastuullisessa käytössä, ja se tarjoaa menetelmän jäljittää ja vahvistaa LLM:ien tuottamia tekstejä. KGW- ja Kristus-perheet tarjoavat kaksi erilaista lähestymistapaa, joilla on omat vahvuutensa ja sovelluksensa, ja ne kehittyvät jatkuvasti tutkimuksen ja innovaation kautta.

Automaattinen Kattava Arviointi

LLM-merkintäalgoritmien arviointi on monimutkainen tehtävä. Ensinnäkin se edellyttää useiden näkökulmien huomioon ottamista, kuten merkintäilyttävyyttä, robustisuutta ja tekstin laatuvaikutusta. Toiseksi arviointi kustakin näkökulmasta voi edellyttää eri mittareita, hyökkäyskuvioita ja tehtäviä. Lisäksi arviointiin liittyy useita vaiheita, kuten mallin ja aineiston valinta, merkittyjen tekstien generointi, jälkikäsittely, merkintähavainnontekniikat, tekstin manipulointi ja mittareiden laskenta. Helpottamaan LLM-merkintäalgoritmien arviointia, MarkLLM tarjoaa kaksitoista käyttäjäystävällistä työkalua, mukaan lukien erilaiset mittareiden laskijat ja hyökkäykset, jotka kattavat kolme edellä mainittua arviointinäkökulmaa. Lisäksi MarkLLM tarjoaa kaksi automaattista demo-putkea, joiden moduulit voidaan mukauttaa ja koota joustavasti, jolloin voidaan helposti konfiguroida ja käyttää.

Havaittavuuden osalta useimmat merkintäalgoritmit vaativat lopulta kynnyksen määrittämistä merkittyjen ja merkittömien tekstien erottamiseksi. Tarjoamme perusonnistumisprosentin laskijan, joka perustuu kiinteään kynnykseen. Lisäksi vähentämään kynnyksen valinnan vaikutusta havaittavuuteen, tarjoamme laskijan, joka tukee dynaamista kynnyksen valintaa. Tämä työkalu voi määrittää kynnyksen, joka antaa parhaan F1-lukeman tai valita kynnyksen käyttäjän määrittelemän kohdeluvun perusteella (FPR).

Robustisuuden osalta MarkLLM tarjoaa kolme sanatasolla tapahtuvaa tekstimanipulaatiota: satunnainen sanan poisto määritellyllä suhteella, satunnainen synonymien korvaus WordNetin synonymisanastoa käyttäen ja kontekstiin perustuva synonymien korvaus BERT:in sisäänrakennetta käyttäen. Lisäksi tarjoamme kaksi asiakirjatasolla tapahtuvaa tekstimanipulaatiota: kontekstin parafrasia OpenAI API:lla tai Dipper-mallilla. Tekstin laadun osalta MarkLLM tarjoaa kaksi suoraa analyysityökalua: hämmennyskalkulaattorin, joka arvioi sujuvuutta, ja monimuotoisuuskalkulaattorin, joka arvioi tekstin vaihtelevuutta. Arvioidakseen merkintävaikutusta tekstin hyödyllisyyteen tietyissä jatko-tehtävissä, tarjoamme BLEU-kalkulaattorin konekäännöstehtävissä ja läpäisevän tuomarin koodigenerointitehtävissä. Lisäksi, ottaen huomioon nykyiset menetelmät vahingoittuneen ja vahingoittamattoman tekstin laadun vertailuun, joissa käytetään vahvempaa LLM:ia tuomarina, MarkLLM tarjoaa myös GPT-tuomarin, joka käyttää GPT-4:ää tekstin laadun vertailuun.

Arviointiputket

Automaattisen LLM-merkintäalgoritmien arviointia varten MarkLLM tarjoaa kaksi arviointiputkea: yhden havaittavuuden arviointiin ilman ja hyökkäyksillä, ja toisen tekstin laadun analyysiin. Seuraamalla tätä prosessia, olemme toteuttaneet kaksi putkea: WMDetect3 ja UWMDetect4. Pääasiallinen ero niiden välillä on tekstien generoinnin vaiheessa. Ensimmäinen edellyttää generate_watermarked_text-metodin käyttöä merkintäalgoritmista, kun taas jälkimmäinen riippuu text_source-parametrista, joka määrittää, haetaanko luonnollista tekstiä suoraan aineistosta vai kutsutaan generate_unwatermarked_text-metodia.

Merkintävaikutuksen arviointiin tekstin laadussa luodaan parit merkittyjä ja merkittömiä tekstejä. Tekstit ja muut tarvittavat syötteet käsitellään ja syötetään määrättyyn tekstin laatu -analyysiin, josta saadaan yksityiskohtainen analyysi ja vertailutulokset. Seuraamalla tätä prosessia, olemme toteuttaneet kolme putkea eri arviointitilanteita varten:

1. DirectQual.5: Tämä putki on suunniteltu analysoimaan tekstin laatuja vertaamalla suoraan merkittyjen tekstien ominaisuuksia merkittömien tekstien ominaisuuksiin. Se arvioi mittareita, kuten hämmennystä (PPL) ja log-monimuotoisuutta, ilman ulkoisia viitekappaleita.
2. RefQual.6: Tämä putki arvioi tekstin laatua vertaamalla sekä merkittyjä että merkittömiä tekstejä yhteiseen viitekappaleeseen. Se mittailee samankaltaisuuden tai poikkeamisen viitekappaleesta, mikä tekee siitä sopivan tilanteisiin, joissa vaaditaan tiettyjä jatko-tehtäviä tekstin laadun arviointiin, kuten konekäännös ja koodigenerointi.
3. ExDisQual.7: Tämä putki käyttää ulkoista tuomaria, kuten GPT-4 (OpenAI, 2023), arvioidakseen sekä merkittyjen että merkittömien tekstien laatua. Tuomari arvioi tekstejä käyttäjän antamien tehtävakuvausten perusteella, tunnistaa mahdollisen laadun heikentymisen tai säilymisen merkinnän seurauksena. Tämä menetelmä on erityisen arvokas, kun tarvitaan edistynyttä, tekoälypohjaista analyysiä merkintävaikutuksista.

MarkLLM: Kokeet ja Tulokset

Arvioidakseen suorituskykyään, MarkLLM-kehyksen suorittaa arviointeja yhdeksällä eri algoritmilla ja arvioi niiden vaikutusta, robustisuutta ja havaittavuutta tekstin laatuun.

Yllä oleva taulukko sisältää yhdeksän MarkLLM:ssä tuetun algoritmin havaittavuuden arviointitulokset. Dynaaminen kynnyksen säätö käytetään havaittavuuden arviointiin, ja siinä on kolme asetusta: 10%:n kohdalla, 1%:n kohdalla ja optimaalisen F1-suorituskyvyn ehdolla. 200 merkittyä tekstiä generoidaan, ja 200 merkittöntä tekstiä toimii negatiivisina esimerkkeinä. Tarjoamme TPR:n ja F1-lukeman dynaamisella kynnyksellä 10%:n ja 1%:n FPR:lle, sekä TPR:n, TNR:n, FPR:n, FNR:n, P:n, R:n, F1:n ja ACC:n optimaalisella suorituskyvyllä.

Lopputulet

Tässä artikkelissa olemme käyneet läpi MarkLLM:ia, avoimen lähdekoodin työkalupakettia LLM-merkinnälle, joka tarjoaa laajennettavan ja yhdenmukaisen kehyksen LLM-merkintäalgoritmien toteuttamiseen ja käyttäjäystävällisiä käyttöliittymiä helppokäyttöisyyden ja saavutettavuuden varmistamiseksi. Lisäksi MarkLLM-kehyksen tuki automaattiselle visualisoinnille näiden kehyksen mekanismeista parantaa näiden mallien ymmärrettävyyttä. MarkLLM-kehyksessä on kattava valikoima 12 työkalua, jotka kattavat kolme näkökulmaa ja kaksi automaattista arviointiputkea suorituskyvyn arviointiin.