Sanamuksen vähentäminen parantaa suuren kielen mallien tarkkuutta

Uusi tutkimus osoittaa, että suurten kielen mallien pakottaminen antamaan lyhyempiä vastauksia parantaa merkittävästi vastausten tarkkuutta ja laatua.

Kuka tahansa, joka on yrittänyt estää chatbottia “pötyä” tunnistaa uuden tutkimuksen johtopäätökset: pakottaminen AI:ta antamaan lyhyempiä vastauksia tekee siitä tarkemman.

Tutkittaessa syitä, miksi suuremmat AI-chatbotit suorittavat huonommin tiettyjen tehtävien suhteen kuin pienemmät, (jotka tunnetaan käänteisen mittakaavan nimellä), tutkimus osoitti, että 31 suositun suuren kielen mallin (LLM) pakottaminen antamaan lyhyempiä vastauksia johti jopa 26,3 prosentin parantumiseen vastausten tarkkuudessa:

‘Tulokset tarjoavat vakuuttavan kausaalisen näytön: sanamuksen vähentäminen paransi suurten mallien tarkkuutta 26,3 prosenttiyksiköllä ja vähensi käänteisen mittakaavan aukkoa 67 prosentilla (44,2 prosentista 14,8 prosenttiin, parittainen t-testi: t = 7,80, p < 0,0001).'

Liiallinen sanamuksen käyttö on yleinen valitus asiakkailta, etenkin niiltä, jotka käyttävät kaupallisia malleja, kuten ChatGPT:ta, joiden tukifoorumit sisältävät tämän aiheen usein.

Alue, joka on eniten vaikuttunut sanamuksen vähentämisestä, on matematiikka, jossa testatut AI-mallit oli rajoitettu vastaamaan 50 sanalla tai vähemmällä. Lukemiskyky -tehtävissä ne oli rajoitettu vastaamaan vain 10 sanalla.

Tutkimus määrittelee AI:n taipumuksen sanamuksen käyttöön ylianalysointina, jossa keskiviesti ei ole vain peitetty sanamuksella, vaan joskus jopa haitallisesti vaikuttunut siitä. Tutkimus huomauttaa, että mitä pienempi malli on, sitä vähemmän tämä korjaus on tarpeen tai toimii.

Tutkimus johtaa siihen, että ei ole arkkitehtonista asiaa, joka vaatisi korjausta, jotta tämä ratkaisu voidaan soveltaa järjestelmällisesti. Kuitenkin käyttäjän chat-istunnossa ohje sanamuksen vähentämiseksi vaatisi toistamista, kun taas globaalisti sovellettava järjestelmäohje – joka vaatisi toteutuksen insinöörien oletusarvoisena ominaisuutena alustoilla, kuten ChatGPT – voisi tehdä lyhyemmät vastaukset oletusarvoiseksi käyttäytymiseksi.

Tuulet

Tämä ei selitä tarkalleen, miksi suuremmat mallit taipuvat sanamuksen käyttöön, koska tämä on jotain, joka vaikuttaa myös avoimen lähdekoodin malleihin. Tutkimus ehdottaa, että palkitsemisprotokollat ja yleiset käytännöt Ihmisäänen palautteen vahvistamisesta (RLHF) -tekniikoissa voivat tarjota selityksen*:

‘Uskottava alkuperä on RLHF-sopimussuunnittelun koulutus, jossa ihmiset palkitsevat perusteellisuutta epäsuhteellisesti suuremmilla malleilla, joilla on suurempi kapasiteetti toimia pituuspalkkio-signaaleilla – yhdenmukainen sanamuksen erojen ollessa suurempia ohjeistuksen säätömalliversioissa kuin perusmalliversioissa. ‘

‘Aiempi tutkimus osoittaa järjestelmällisen pituusvian palkkiomalleissa, joissa annotaattorit sekoittavat pituuden laadun kanssa. ‘

‘Suuremmat mallit, joilla on suurempi kapasiteetti tyytyä pituuspalkkio-signaaleille, voivat sisäistää sanamuksellisen tuotannon syvemmin kuin pienemmät mallit, tuottaen mittakaavan riippuvan ylianalysoinnin, jonka havaitsemme.’

Ihmisillä sanamuksen käyttö voi johtua hiljaisuuden täyttämisestä, tai maskiin tunteita epämukavuutta, johtuen mielenterveyden ongelmista, tai peittääkseen tietämättömyyttä. Vaikutukset voivat ilmetä ainoastaan koulutusdataan, joka heijastaa/manifestoi näitä piirteitä.

Tietokantojen korpusissa on muita motivaatioita pitkille vastauksille, kuten SEO-kannustus tuottaa pidempää tekstisisältöä, esimerkiksi reseptiposteissa, joissa pituus liitetään usein virheellisesti auktoriteettiin.

Mikä ei voida täysin sulkea pois, on se, että API-pohjaiset alustat, jotka kannustavat käyttäjiä korkeampaan ja kalliimpaan tilausportaaseen, joko rohkaisevat tai eivät valvo sanamuksen käyttöä, koska se lisää tokenin käyttöä varsin edullisesti, ilman tarvetta liialliselle päätöksentekoon tai RAG-kutsuihin^†.

Uusi tutkimus on nimeltään Sanamuksen rajoitukset kääntävät suorituskykyhierarkiat kielen malleissa, ja se on peräisin Ruotsin polyteknisen instituutin tietotekniikan osastolta Chattogramissa, Bangladeshissa.

Menetelmä

Tutkimuksen teorioiden testaamiseksi 31 kielen mallia arvioitiin – liian monia mainita tekstimuodossa tässä, mutta neuvottelu kuvaan alla;

Suuret kielen mallit (LLM), jotka testattiin eri osissa kokeita uudessa tutkimuksessa.

Malleja arvioitiin viiden benchmark-kokoelman suhteen: GSM8K, matemaattisen päättelyn osalta; BoolQ, lukemiskyvyn osalta; CommonsenseQA, arkisen päättelyn osalta; ARC-Easy, tieteellisten kysymysten osalta; ja MMLU-STEM, myös tieteellisen tiedon osalta.

Vastaukset generoitiin ahnean dekoodauksen avulla, jotta määrätty tulokset voidaan varmistaa, ja ne poistettiin tehtäväkohtaisilla säännöillä, ja tarkkuus mitattiin oikeiden vastausten osuutena todellisen tiedon suhteen.

Malleja jaettiin kokoonsa, ja ne, jotka olivat alle kymmenen miljardin parametrin kokoisia, käsiteltiin “pieninä”, ja ne, jotka olivat yli 70 miljardin parametrin kokoisia, olivat “suuria”, perustuen havaittuun suorituskykyeroon.

Käänteinen mittakaava mitattiin vertaamalla näiden ryhmien suorituskykyä kussakin ongelmassa, ja merkitsemällä tapaukset, joissa pienemmät mallit suorittivat paremmin kuin suuremmat; tilastollinen vaikutus mitattiin, jotta voidaan vahvistaa, että nämä aukot heijastavat johdonmukaisia, merkityksellisiä eroja eikä melua.

Poissulkeva muisti

Mahdollisuuden poissulkeville, että mallit vain muistavat koulutusdataa, tehtiin kolme erillistä tarkastelua, jotka tarkastelivat, miten vaihtelevia vastaukset olivat; miten paljon niiden pituus vaihteli; ja miten virheitä tehtiin. Jos mallit olisivat riippuvaisia muistitunnettujen mallien mukaisista vastauksista, ne seuraisivat tiettyjä malleja tai seuraisivat kiinteitä temppuja; sen sijaan vastaukset osoittautuivat pääosin yksilöllisiksi mallikohtaisesti, ja niiden pituudessa havaittiin merkittävää vaihtelua yhdestä vastauksesta toiseen.

Virheitä tarkasteltiin myös suoraan, ja useimmat virheet olivat pitkiä, virheellisiä selityksiä, eivätkä lyhyitä, väistövastauksia – osoittaen, että mallit tuottivat todellista päättelyä eikä pelkästään haettu tallennettuja vastauksia.

Data ja testit

Testaamalla yksittäisiä kysymyksiä eikä yleisiä tuloksia, suuri osa benchmark-tehtävistä osoittautui tietämättömäksi, ja 27,1 prosenttia epäonnistui erottamaan malleja lainkaan, koska joko kaikki järjestelmät onnistuivat tai kaikki järjestelmät epäonnistuivat, jättäen olematta todellista signaalia suhteellisesta suorituskyvystä:

Ongelman tasolla tapahtuva jakautuminen viidessä benchmarkissa osoitti, että merkittävä osa tehtävistä ei erottanut malleja, kun taas pienempi, mutta johdonmukainen osa osoitti käänteisen mittakaavan, jossa pienemmät mallit suorittivat paremmin kuin suuremmat. Kokonaisjakauma 1 485 ongelmassa osoittaa, että 7,7 prosenttia niistä osoittaa käänteisen mittakaavan. Lähde

Tehtävistä, jotka erottivat malleja, useimmat suorittivat odotetusti, ja suuremmat järjestelmät suorittivat paremmin, mutta pienempi ryhmä osoitti vastakkaisen mallin, jossa pienemmät mallit menestyivät paremmin. Kaikkien ongelmien kohdalla käänteinen mittakaava ilmestyi 7,7 prosentissa tapauksista, osoittaen, että vaikutus ei ole marginaalinen.

Käänteisen mittakaavan ilmeneminen

Viidessä benchmarkissa 115 ongelmaa havaittiin, joissa pienemmät mallit suorittivat paremmin kuin suuremmat, ja ne muodostivat 7,7 prosenttia kaikista 1 485 tehtävästä, osoittaen, että käänteinen mittakaava ei ole harvinainen ilmiö tässä asiayhteydessä.

Tosiasiallisesti vaikutus ilmestyi jokaisessa tietokannassa: voimakkaimmin BoolQ:ssa ja heikommin CommonsenseQA:ssa, ARC-Easyssa, GSM8K:ssa ja MMLU-STEM:ssa, osoittaen, että se on laajalle levinnyt, mutta vaihtelee tehtävittäin:

Käänteinen mittakaava ilmestyi kaikissa benchmarkissa, vaihdellen 3,9 prosentista MMLU-STEM:ssa 11,3 prosenttiin BoolQ:ssa, ja 115 ongelmaa yhteensä. Suorituskykyerot suosivat pienempiä malleja keskimäärin 28,4 prosenttiyksiköllä. Tarkkuus laski, kun mallin koko kasvoi, ja pienet mallit saavuttivat 66,1 prosentin, kun suuremmat mallit saavuttivat 41,5 prosentin.

Suorituskykyeron koko osoittautui merkittäväksi, ja pienemmät mallit olivat edellä keskimäärin 28,4 prosenttiyksiköllä, ja jokainen tapaus osoitti saman suunnan etua, osoittaen johdonmukaisen suorituskyvyn laskun eikä satunnaisia tai ad hoc -virheitä.

Sama malli säilyi eri malliperheiden yli, mukaan lukien Llama, Qwen, Gemma ja Mistral, joissa suuremmat versiot suorittivat huonommin kuin pienemmät, ja tarkkuus taipui laskevaan, kun mallin koko kasvoi näissä ongelmissa.

Eroneurojen koko oli tarpeeksi suuri, jotta sattuma ei voisi selittää sitä; ja koska sama malli ilmestyi eri benchmarkissa, tehtävissä ja malliperheissä, käänteinen mittakaava ilmestyi johdonmukaisena vaikutuksena eikä satunnaisena.

Katsoessaan jokaisen malliperheen sisällä, suuremmat versiot suorittivat toistuvasti huonommin kuin pienemmät näissä ongelmissa, osoittaen, että lasku voi olla sidottu itse mittakaavaan eikä suunnittelueroihin.

Tulokset osoittavat myös, että jokaisella tehtävällä on raja, jossa mallin kokoon kasvattaminen alkaa heikentää suorituskykyä, osoittaen, että suuremmat mallit eivät aina johtaa parempiin tuloksiin.

Ylianalysointi

Kun suuremmat mallit osoittautuivat joissakin tapauksissa heikommiksi, analyysi kääntyi siihen, miksi tämä tapahtuu, ja ehdotti, että ongelma ei ole kyvyttömyys, vaan liiallinen selittäminen – eli tapauksia, joissa pidemmät vastaukset alkavat peittää oikean päättelyn.

Tietojen perusteella pidemmät vastaukset liittyivät alempaan tarkkuuteen näissä haastavissa tehtävissä, vaikka suuret ja pienet mallit tuottivat suunnilleen saman määrän päättelyaskelia, osoittaen, että ongelma ei ole siinä, miten paljon päättelyä tehdään, vaan miten se ilmenee:

Lyhyemmät vastaukset paransivat suurten mallien suorituskykyä ja vähensivät eroa pienempiin malleihin, vähentäen eroa 44,2 prosenttiyksiköstä 14,8 prosenttiyksikköön (ja joissakin tapauksissa kääntäen sen täysin), kun taas suoran vastausmuodon kautta se kavensi sitä edelleen. Voimakkaimmat hyödyt ilmestyivät GSM8K:ssa ja MMLU-STEM:ssa, joissa luokittelut kääntyivät suurempien mallien eduksi, ja vastauspituuden tarkistukset vahvistivat, että interventio toimi, ja tulokset laskivat noin 197 tokenista alle 80 tokeniin, osoittaen, että vähentynyt sanamuksellisuus liittyi parantuneeseen tarkkuuteen.

Kun vastaukset pakotettiin lyhyemmiksi, suuret mallit paransivat terävästi, vähentäen merkittävää suorituskykyeroa, ja joissakin tapauksissa lähes poistivat sen. Pienemmät mallit muuttuivat vain vähän, osoittaen, että sanamuksellisuus aktiivisesti heikensi suurempia järjestelmiä.

Vaikutus vaihteli tehtävittäin, ja joissakin tapauksissa lyhyemmät vastaukset hyödyttivät voimakkaasti, kun taas toisissa vaadittiin tiettyä selitystä; mutta joissakin tapauksissa suurempien ja pienempien mallien luokittelu kääntyi täysin, kun sanamuksellisuus rajoitettiin, paljastaen, että suuremmat mallit olivat piilottaneet maskiin ylianalysoinnin.

Lisätutkimus osoitti, että suuret mallit tuottivat yleensä pidemmät tulokset, vaikka ne käyttivät hieman vähemmän eksplisiittisiä päättelyaskelia, osoittaen, että päättelyn tyyli, miten se ilmenee, ajaa suorituskyvyn laskun, eikä itse päättelyn määrä.

Pienemmät mallit antoivat lyhyempiä, suorempia vastauksia, osoittaen, että päättelyn ilmeneminen ajaa suorituskyvyn laskun, eikä päättelyn määrä itsessään.

Tutkijat johtavat yleisesti, että sanamuksen vähentäminen tuo tarkkuuden hyötyjä, ja he katsovat, että tämä voisi tulla perusrakenteeksi kielen malleissa, eikä toistuvana, käyttäjän soveltamana rajoituksena, joka ei kestä istuntoja yli; ja he toteavat:

‘[Sanamuksen vähentäminen] auttaa suuria malleja dramaattisesti, mutta vaikuttaa vain vähän pieniin malleihin. ‘

‘Jos sanamuksellisuus olisi sattumanvarainen eikä kausaalinen, yhdenmukaiset tarkkuuden muutokset odottaisivin molemmissa kokoluokissa. Erovaikutus vahvistaa, että ylianalysointi on mittakaavariippuva epäonnistumisen muoto, eikä tehtävän vaikeusvaikutus.’

Johtopäätös

Avoin lähdekoodin versioiden ulkopuolella, joita tutkijat testasivat, sanamuksen ongelma näyttää ilmenevän anekdoottisesti useissa suurissa malleissa, mukaan lukien Claude, Gemini ja Grok.

Onko nämä alustat ohittamassa sanamuksen ongelman, koska se lisää tokenin käyttöä ja kannustaa korkeampiin ja kalliimpiin tilausportaaseen, ei vaikuta kohtuulliselta, että he hyväksyisivät tarkkuuden laskun, joka seuraa tästä “ohjaamisesta”.

Olisi mielenkiintoista nähdä, voitaisiinko kehittää empiirinen menetelmä, jolla voidaan määrittää varmasti, mistä sanamuksen taipumus johtuu. Kuka tahansa, joka on yrittänyt saada chatbottia “keskustelemaan” sen sijaan, että se “blogittaisi” sanamuksellisia, monivaiheisia vastauksia, on tajunnut, että malli on voimakkaasti vaikuttunut “kaikki-yhdessä” -käyttöohjeista ja “hyväksyttyjen ratkaisujen” koulutusdatasta.

Olisi erittäin mielenkiintoista nähdä, voitaisiinko kehittää malli, joka on koulutettu askelkohtaisiin keskusteluihin, ja joka voi välttää sanamuksellisen tiivistämisen. On kuitenkin todennäköistä, että joihinkin rajoituksiin tai suodattimiin olisi asetettava painoarvoa, jotta malli koulutettaisiin suoraan myös edeltävään aineistoon – eli eksplisiittiseen päättelyyn askelkohtaisissa keskusteluissa.

Koska tällaista aineistoa näyttää olevan harvassa, ehkä ainoa tapa edetä tämän lähestymistavan kanssa olisi synthetic data, jossa “yhdistetyt” lopputulokset puretaan keskustelumaisesti – ironisesti, samalla tavalla kuin Google NotebookLM voi tulkita AI-podcasteja pelkästä tekstisyötteen perusteella.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

^† Mutta olemme rehellisiä, sanamuksen ja todellisen AI-palvelun kustannusten ja tilausmaksujen välinen kuilu on tällä hetkellä niin suuri, että tämä vahingoittaisi vain käyttäjien mainetta ilman, että se ratkaisi vakavia taloudellisia ongelmia tämän “muunnoksen” ja “yhtenäistymisen” vaiheessa AI:sta. Ensijulkaistu sunnuntaina, 5. huhtikuuta 2026