Opetteleminen Unohdettu AI: n “Pitäisi ajatus” pidempään

Kielen mallit eivät usein muista keskustelun alkua. Uusi tekstinpakkausmenetelmä voi muuttaa tämän ja tehdä AI-keskustelusessioista paljon vähemmän ärsyttäviä.

Keskustelupalveluun perustuvat tekoälyjärjestelmät, kuten ChatGPT, usein menettävät aiempien keskustelun osien jäljityksen, toistavat itsensä tai antavat vastauksia, jotka jättävät huomioimatta aikaisemmin sovitut säännöt.

Tämä johtuu siitä, että suuret kielen mallit (LLM) ovat rajoitettuja keskittymiskykyssään, jota määritellään ‘kontekstifenestriksi” – kuin lyhty, joka voi valaista vain sen, mihin se on suunnattu, ja muutaman viereisen kohteen.

Korjaaminen tällaisista “muistinmenetys”-taipumuksista, jotka johtuvat huomion rajoituksista, on yksi tärkeimmistä tutkimussuunnista kielen perusteella kehitettyihin tekoälymalliin – ei ainakaan siksi, että tämä oire rajoittaa merkittävästi hyödyllisten ja johdonmukaisten monivaiheisten keskustelujen mahdollisuutta ja haittaa LLM:n hyödyllisyyttä monissa tarkkuuden kannalta kriittisissä yhteyksissä, kuten lääketieteessä ja oikeudessa.

Murskaaminen

Uusi tutkimus Kiinasta^† ehdottaa uutta menetelmää, jolla voidaan saada merkittävästi suurempi määrä tekstiä mahtumaan rajoitettuihin GPU:n resursseihin, joissa suoritetaan tekoälymallia – tulokset saavuttavat 20-kertaisen pakkausparannuksen säilyttäen 98 %:n tarkkuuden:

Kontekstikaskadipakkaus (C3) rekonstruoii pitkiä asiakirjoja tarkemmin kuin optiset pakkausmenetelmät, kuten DeepSeek-OCR, jopa kun syötettä supistetaan jopa neljänkymmenen kertaa. Erilaisissa asiakirjan pituuksissa ja pakkausasetuksissa uusi menetelmä ylläpitää lähes täydellistä uskottavuutta, kun taas optinen lähestymistapa heikkenee voimakkaasti korkeampien pakkausasetusten kanssa. Lähde

Tällä menetelmällä voidaan saada aikaan jopa 40-kertainen pakkaussuhde:

Kolme lähestymistapaa pitkän tekstin pakkaamiseen tekoälymallin syötteenä: perusmenetelmä (vasemmalla) tokenisoi tekstin suoraan, tuottaen suuren token-määrän; optinen reitti (keskellä) muuttaa tekstin kuvaksi ja poistaa visuaaliset upotukset visiotransformaattorin avulla, saavuttaen 10-kertaisen pakkausparannuksen; ja uusi C3-menetelmä (oikealla) käyttää pienempää kielen mallia pakkaamaan tekstin 32 latenteen tokeniin, saavuttaen 40-kertaisen pakkausparannuksen ilman visuaalisten upotusten käyttämistä.

Tämä tarkoittaa, että jopa erittäin pitkän keskustelun koko voidaan pakata ja uudelleen ruokkia (päivittää) välein taustakontekstina myöhemmin keskustelussa – kun LLM:n muisti yleensä unohtaa aiemmat tosiasiat ja siirtyy “muistinmenetys”-käyttäytymiseen.

Vaikka tämä on häviöllinen pakkausmenetelmä, jopa se, miten häviö tapahtuu, on hyödyllistä: uuden menetelmän mukaan muisti heikkenee lauseen lopussa, eikä tasaisesti koko lauseessa, kuten DeepSeek-OCR-arkkitehtuurissa, joka innoitti uutta lähestymistapaa; itse asiassa tutkijat, jotka ovat kirjoittaneet uuden tutkimuksen, ehdottavat, että heidän menetelmänsä heikkenee samalla tavalla kuin ihmisen muisti, eikä satunnaisesti:

Ylhäältä, ihmisen muisti heikkenee datavirran lopussa; keskellä: DeepSeek-OCR heikkenee satunnaisesti, jättäen ei ankkureita, jotka voisivat auttaa korjaamaan ongelman; alhaalla: uusi menetelmä heikkenee samalla tavalla kuin ihmisen muisti, datavirran lopussa, tarjoten merkkejä, jotka voivat auttaa parantamaan tarkkuutta jälkikäteen prosessoinnin kautta.

Tämä tarkoittaa, että voidaan ennustaa, missä muistettu data voi olla vähemmän luotettavaa, ja voidaan käyttää tätä tietoa ongelmansa korjaamiseen – mahdollisesti tarjoten massiivisen parannuksen keskustelun muistissa ja johdonmukaisuudessa, 100 %:n tarkkuudella korjaamisen jälkeen.

Uusi lähestymistapa on nimeltään Kontekstikaskadipakkaus (C3), ja se perustuu siihen, miten DeepSeek-OCR pakkaa tekstin kuvina, saavuttaen suuren pakkausparannuksen. Kuitenkin käyttämällä kahta (keskikokoista ja suurta) kielen mallia pitkän tekstin pakkaamiseen suoraan latenteiksi upotuksiksi, uusi lähestymistapa poistaa visuaalisten upotusten käytön aiheuttaman vastuksen, saavuttaen parannetun suorituskyvyn.

Tutkimus toteaa:

‘C3:n erinomainen suorituskyky voidaan attribuoida sen perusrakenteelliseen suunnitteluun. DeepSeek-OCR-analyysi olettaa, että sen suorituskyvyn lasku johtuu tekijöistä, kuten “monimutkainen layout” ja “kuvan sumeneminen matalammilla resoluutioilla” – visuaalisen reitin sisäisiä rajoituksia.

‘Meidän C3-paradigmamme, joka toimii suoraan tekstidomeenissa, on täysin immuuni näille visuaalidomeenin ilmiöille. Se välttää tiedon häviön, joka liittyy tekstin renderöintiin pikseleiksi ja niiden koodaamiseen. Sen sijaan se hyödyntää esikoulutetun LLM:n voimakasta semanttista ymmärrystä tarkoituksiin tekstiinformaation tiivistämiseksi tehokkaaseen latenteihin esitykseen.’

Uusi tutkimus on nimeltään Kontekstikaskadipakkaus: Tutkimus tekstinpakkauksen ylärajoja, ja se on peräisin kahdelta tekijältä^†, jotka näyttävät myös tarjoavan C3: n avoimen lähdekoodin GitHubissa.

Menetelmä

Uuden lähestymistavan ymmärtämiseksi on hyödyllistä tietää, mitä optinen tekstin tunnistus (OCR) on, koska tästä lähtökohtana koko idea syntyy.

OCR on algoritmi, joka perustuu kuvien tunnistamiseen, joka sallii tietokoneohjelman muuttaa rasteroitua tekstiä (eli tekstiä, jota ei voida valita ja joka on pelkästään valokuvamateriaalia) muokattavaksi tekstillä.

DeepSeek-OCR:n luojat löysivät, että tekstiä voidaan pakata paljon enemmän kuin perinteisillä prosessointiputkilla, käyttämällä OCR:ää välimuotona:

DeepSeekOCR-julkaisun paperista, pakkausputken skeema, joka sisältää 16×16 rasteroitua patchia OCR-komponenttina. Lähde

Uusi tutkimus ehdottaa, että optiset lähestymistavat, kuten DeepSeek-OCR, voivat olla virheellisiä siinä, että ne olettavat, että pakkausparannukset johtuvat tekstin muuttamisesta kuvaksi. Sen sijaan tutkijat esittävät, että avainhyöty tulee siitä, että verbaalinen teksti muutetaan tehokkaammaksi latenteiksi esityksiksi.

Tätä varten he loivat putken, joka hyödyntää kahta kielen mallia: pienempää Qwen2.5 1.5B, joka toimii pakkaajana, pakkaamalla pitkiä kappaleita pieneksi joukoksi latenteja tokenia; ja suurempaa Qwen2.5 3B, joka toimii dekooderina, joka rekonstruoii alkuperäisen tekstin näistä tokenista:

Uudessa C3-järjestelmässä pienempi Qwen2.5 1.5B-malli pakkaa pitkän syötteen kiinteäksi latenteiksi tokeniksi, käyttäen koulutettavia kyselyupotuksia. Nämä tokenit, yhdessä kehotteen kanssa, siirretään suuremmalle Qwen2.5 3B-mallille, joka rekonstruoii alkuperäisen tekstin. Tämä arkkitehtuuri mahdollistaa korkealaatuisten pitkien sekvenssien muistamisen käyttäen vain alkuperäisen token-määrän murto-osaa.

Pakkausvaiheen käsittelyssä tutkijat sovittivat esikoulutetun Qwen2.5 1.5B-mallin käyttämällä koulutettavia kyselyupotuksia: abstrakteja kehotteita, jotka ohjaavat mallia tiivistämään saapuvan pitkän kontekstin pienempään latenteihin esitykseen:

Mallin itsehuomio-mekanismi käsittelee nämä elementit samalla tavalla, sallien sille tuottaa kiinteän latentein kontekstin ilman uusien kerrosten tai suunnittelumuutosten tarvetta; ja tämä output siirretään suuremmalle mallille rekonstruoitavaksi.

Tutkijat arvioivat, kuinka paljon tietoa säilyi pakkaamisen jälkeen, ohjaamalla Qwen2.5 3B-dekooderia rekonstruoimaan alkuperäisen syötteen käyttäen vain latenteja tokenia ja kehotetta ‘toista teksti’. Koska tehtävässä oli kyse alkuperäisen tekstin täydellisestä toistamisesta, ei yhteenvedon tai parafrasin muodossa, mikä tahansa poikkeama alkuperäisestä voitiin suoraan johdettu tietojen häviöstä pakkaamisen aikana, tarjoten puhtaan ja objektiivisen testin uskottavuudesta koodaus-dekoodausputkessa.

Data ja testit

Tutkimus toteaa, että tekijät kokosivat alkuperäisen aineiston OCR-materiaalista, joka käsittää miljoona internetistä saatua sivua. Tästä lähteestä ei ole näkyvissä tarkempaa tietoa, ja tekijät näyttävät olevan tahallisesti epämääräisiä tässä suhteessa.

Kuitenkin he huomauttavat, että data-insinöörit ja kuratointi eivät olleet välttämättömiä heidän tarkoituksiinsa varten, ja he toteavat, että he pystyivät kouluttamaan mallinsa tehokkaasti “erilaisen pituuden” näytteistä; ja he toteavat, että tämä osoittaa heidän arkkitehtuurensa olevan kestävä (ja oletettavasti hyvin yleistettävä, riippuen koulutusasetuksista).

Malli koulutettiin suorituskykyisellä klusterilla, joka koostui kahdeksasta NVIDIA H800 -GPU:sta, joista kussakin on 80 GB VRAM:ia, yhteensä 640 GB VRAM-resurssia. Kukin GPU mahdollisti erän koon 2, saavuttaen yhteensä 256: n globaalin erän koon, kun otetaan huomioon 16 kertymisen vaiheet. Optimoi AdamW yhteensä 40 000 askelta.

Tutkijat seurasivat samaa arviointijärjestelmää, jota käytettiin alkuperäisessä DeepSeek-OCR-tutkimuksessa, käyttäen Fox-benchmarkia mittaamaan pakkaamisen ja rekonstruoimisen tarkkuutta eri asiakirjan pituuksissa.

Valittiin englanninkielisiä tekstejä, joissa oli 600-1300 tokenia, ja tokenisointi tehtiin Qwen-tokenoijalla.

Jotta voidaan tehdä reilu vertailu, käytettiin vastaavia pakkaustasoja (DeepSeek-OCR) optisesta vertailukohtaa, 64 ja 100 latenteista tokenia. Tutkijat suorittivat lisäksi testejä 32 latentein tokenin kanssa. Jokaisessa tapauksessa rekonstruktio aloitettiin kehotteella ‘toista teksti:’:

Alkutestin tulokset. Rekonstruktio-tarkkuus ja pakkaussuhteet mitattiin seitsemän token-alueella 64 ja 100 latentein tokenin kanssa, osoittaen C3:n johdonmukaisen ylivoiman DeepSeek-OCR:ään, erityisesti korkeampien pakkaustasoilla.

Tutkimus toteaa:

‘Tiedot osoittavat yksiselitteisesti, että C3:n suora teksti-latentti-pakkausparadigma ylittää merkittävästi optisen pakkauslähestymistavan kaikissa testatuissa olosuhteissa, asettamalla uuden tilan tarkalle kontekstipakkaamiselle.’

Kun molemmat järjestelmät testattiin pidemmillä asiakirjoilla, DeepSeek-OCR alkoi menettää tarkkuutta pakkaamisen lisääntyessä, laskien alle 60 %:iin jopa äärimmäisissä tapauksissa. C3 käsitteli samaa pakkaustasoa paljon vähemmän tarkkuuden menetyksellä, säilyttäen tarkkuuden lähellä 98 %:a, jopa kun syöte supistettiin neljännekseen alkuperäisestä koosta.

Haastavimmassa testissä koko tekstit supistettiin 32 tokeniin. Jopa silloin malli pystyi palauttamaan lähes koko alkuperäisen sisällön, säilyttäen tarkkuuden lähellä 99 %:a useissa tapauksissa:

Rekonstruktio-tarkkuus ja pakkaussuhteet 32 latentein tokenin kanssa, osoittaen, että jopa äärimmäisissä supistuksissa (jopa 40-kertaisissa) tarkkuus säilyy yli 93 %:ssa.

Äärimmäisimmässä asetuksessa, jossa syöte supistettiin lähes neljännekseen alkuperäisestä koosta, se palautti yli 93 %:n tarkkuuden. Vertailun vuoksi aiemmat optiset menetelmät laskivat noin 60 %:iin puolitoista kertaa korkeamman pakkaustason kohdalla.

Tekijät toteavat^††:

‘Nämä tulokset osoittavat yksiselitteisesti C3-arkkitehtuuriin liittyvän edun. Välttämällä visuaalisen modaliteetin sisäisiä tietojen pullonkauloja ja potentiaalisia virheitä (kuten kuvaresoluution rajoituksia, layout-monimuotoisuutta), menetelmämme käsittelee äärimmäistä pakkaamista vähäisellä tietohävikillä.

‘Tulokset tästä aggressiivisesta testitapauksesta vahvistavat väitteen, että suora teksti-latentti-pakkaus on perustavanlaatuisesti tehokkaampi ja voimakkaampi paradigma kuin sen visuaaliset vastineet.’

He myös toteavat, että C3 voi ‘avaa uusia mahdollisuuksia koko kirjojen, laajojen oikeudellisten asiakirjojen tai suurten koodipohjien prosessoinnissa tehtävissä, kuten kysymys-vastaus, yhteenveto ja analyysi’.

Johtopäätös

Tämä on yksi selkeimmistä ja helpoimmin ymmärrettävimmistä tutkimuksista, joita olen viime aikoina nähnyt, ja siinä on kiitettävästi selkeä ydinidea, joka voi osoittautua vähintään yhdeksi lisähyökkäyssuunnaksi “kontekstifenestri”-ongelmaa vastaan.

Monet LLM-käyttäjät ovat jo oppineet “päivittämään” tärkeitä tietoja tai ohjeita ajoittain pitkän keskustelun aikana, havainneet kovuuden kautta, että ChatGPT ei voi pitää tärkeitä tietoja pitkään. Uuden tutkimuksen idea on, että erittäin pakattu versio pitkästä keskustelusta voidaan uudelleen ruokkia (päivittää) välein automaattisesti nykyisen LLM-ekземпляrin kontekstifenestriin, periaatteessa “muistinvaraisesti”.

Tilanteessa, jossa GPU-pula johtaa hinnan nousuun jopa perinteisissä tietokoneen muisteissa (kuten DRAM, jonne monia aiempia GPU-tehtäviä siirretään tukemaan suurempia malleja), näyttää epätodennäköiseltä, että tekoälyn isäntälaite tulisi olemaan merkittävästi laajempi lähitulevaisuudessa; siksi innovatiiviset lähestymistavat, kuten tämä, jotka ovat melkein nostalginen uudelleenkäynti 1990-luvun tiedostonpakkausalgoritmien kehityksestä, voivat osoittautua välttämättömiksi suorituskyvyn edistämiseksi.

Enemmän kuin mitään muuta, olisi vain hienoa, jos LLM:t voisisivat ylläpitää johdonmukaista keskustelua tunnin tai useamman ajan, ja muistaa, mistä keskustelu oli alun perin.

* CLI-asennusohjeet on annettu, mutta en ole kyennyt yrittämään asennusta, ja en ole varma, onko repo koodin valmis.

^† Kahden tekijän nimi on ilmoitettu Fanfan Liu ja Haibo Qiu. Niin kuin epävirallinen tutkimus osoittaa, Qiu on tällä hetkellä tutkija kiinalaisessa teknologiayrityksessä Meituan, ja Liu on MS-opiskelija Kiinan tiedeakatemian. Kumpikaan heistä ei tällä hetkellä mainitse tutkimusta kyseisessä asiakirjassa. Jos nämä attribuutit ovat virheellisiä, ole hyvä ja ota yhteyttä minuun profiilini kautta.

^†† Vaikka tekijät noudattavat kaavaa tarjoamalla lisää kvalitatiivisia testejä, nämä ovat vähemmän valaisevia verrattuna aiempaan pakkaustestisarjaan, ja en ole käsitellyt niitä tässä.

Julkaistu ensimmäisen kerran perjantaina, 21. marraskuuta 2025