Kriittinen huomio: yritysagentit eivät ymmärrä korostusmerkintöjä

Maailmassa, etenkin liike-elämässä, on paljon tärkeitä paperiasiakirjoja, joita ei ole skannattu. On arvioitu, että vain 1 % maailmanlaajuisessa kaupassa vuosittain kiertävistä neljästä miljardista paperiasiakirjasta digitoidaan, joten loput jäävät koneoppimisen analyyttisten kykyjen ulottumattomiin.

Tämä on vain karkea arvio liike-elämän ongelman laajuudesta; myös hallitukset tuottavat valtavan määrän painettuja tai paperimuotoisia asiakirjoja, ja Yhdysvaltain kansallisarkisto ilmoitti tänä vuonna, että sen hallussa olevista analogisista asiakirjoista on digitoitu vain 4,04 % ja että jäljellä on vielä 11,97 miljardia.

Kyse ei siis ole vain menneisyyden jäänteestä, vaan jatkuvasta ongelmasta, ja tunnustan olevani itsekin osa sitä:

Se, jonka ääressä istun useimpina päivinä.

Kun perehdyn tutkimuspapereihin, tulostan ne, sillä ne vaativat paljon ihmisen tekemää tulkintaa koneellisen yhteenvedon lisäksi. Koska aikaa on niukasti, merkitsen keskeiset kohdat ja mahdolliset lainaukset suurin korostuksin, jotta aineiston rakenne hahmottuu yhdellä silmäyksellä, kun on aika kirjoittaa. En ole aivan niin pakkomielteinen, että vaivautuisin käyttämään korostuskyniä, joten ilmaisen painotukset monenlaisilla symboleilla, suuremmalla tekstillä ja muilla hyvin henkilökohtaisilla tärkeyden merkeillä.

Monet kuitenkin käyttävät värillisiä korostuskyniä ja eriväristä tekstiä asioiden painottamiseen. Heihin kuuluu myös paljon tärkeitä ihmisiä, jotka kirjoittavat tärkeitä asioita.

Winston Churchill käytti erivärisiä kyniä erityyppisten asioiden korostamiseen. Tässä hän näyttää käyttävän punaista korjausmerkintänä valmistellessaan ”hienointa hetkeään” käsittelevää puhettaan. Lähde

Aiemmassa kuvassa näkyvän paperin (mustalla puhujanpöntöllä olevan) mukaan voi olla satoja miljoonia asiakirjoja, joissa on tällaisia korostuksia, joita dokumenttien sisäänlukujärjestelmät, kuten Docling, eivät tällä hetkellä pysty havaitsemaan.

Tällaiset käsin tehdyt korostukset ovat merkityksellisiä, sillä ne painottavat tekstiä tavalla, joka ei välttämättä käy ilmi kielen rakenteesta. Siksi korostetun sivun sisällön muuntaminen pelkäksi tekstiksi OCR:n (tai kehittyneempien menetelmien, kuten visuaalisten kielimallien) avulla ei välitä kaikkea kirjoittajan tarkoittamaa, ja voi jopa vääristää asiakirjan tarkoitusta ja tavoitteita.

Pelkkää korostusta

Uudessa tutkimusartikkelissa* todetaan, että laajalti käytetyt asiakirjamuuntimet jättävät säännönmukaisesti pois korostukset ja tekstin värit, minkä vuoksi tekoälyagentit eivät edelleenkään pysty erottamaan tärkeitä ohjeita. Tutkimuksessa testatuista 6 462 politiikka-asiakirjasta lähes kolmasosa sisälsi punaista tekstiä tai korostuksia, ja noin joka kymmenes käytti näitä merkintöjä tärkeiden vaatimusten nostamiseen esiin.

Yritysten asiakirjojen sisäänlukua käsittelevistä agenteista kirjoittajat^† toteavat^††:

’Kypsät muuntimet palauttavat tekstin, taulukot ja rakenteen uskollisesti, joten käsittelyputki näyttää toimivan moitteettomasti.

’Osoitamme, että niiltä kaikilta jää yksi kerros huomaamatta – merkitys, jonka kirjoittaja välittää sillä, miltä teksti näyttää – ja että tämä menetys saa agentit olemaan itsevarmasti väärässä sen sijaan, että ne olisivat näkyvästi puutteellisia. Tämä on vaikeampi virhe havaita käyttöönoton jälkeen.’

Kirjoittajien testissä tekoälymallit suoriutuivat huomattavasti paremmin, kun niitä pyydettiin tunnistamaan tärkeitä vaatimuksia todellisista politiikka-asiakirjoista ja alkuperäiset korostukset sekä tekstin värit säilytettiin. Tulos vahvistettiin kuudella mallilla, joihin kuuluivat GPT-5.6 Terra, Claude Opus 5 ja Claude Sonnet 5.

Korostuksista voidaan käytännössä poimia kaksi tietoa: a) se, että jotakin on ylipäätään korostettu, ja b) väri, jolla se on korostettu. Jos käsin tehtävissä korostuksissa käytettiin useita värejä, johdonmukaisessa luokittelussa punainen koodattaisiin jollakin tavalla kielteiseksi (kuten aiemmin nähtiin Winston Churchillin korjatessa omia puheitaan):

Kirjoittajien ensimmäisen vaiheen jäsentimen JSON-tulosteen alaosasta näemme, että käsittelyputki on havainnut ja koodannut punaisen korostuksen. Loogisesti voimme myös nähdä, että sanat vastaavat näin koodattua voimakkuustasoa. Menetelmä on kuitenkin hyödyllisempi silloin, kun korostus kohdistuu sanoihin, jotka eivät itsessään juurikaan voimista sävyä ja joissa korostus näin tuo esiin muuten puuttuvan painotuksen. Lähde

Kirjoittajien mukaan ongelma voidaan ratkaista varsin yksinkertaisesti säilyttämällä alkuperäiset korostukset ja tekstivärit asiakirjoja muunnettaessa sekä lisäämällä tunnisteita, jotka selittävät niiden merkityksen tekoälymallille. Tämä ei vaadi tekoälyltä ylimääräistä käsittelyä, mutta kasvattaa kunkin asiakirjan esittämiseen tarvittavien tokenien määrän noin kaksinkertaiseksi:

”Näiden vihjeiden palauttaminen on determinististä ja onnistuu pelkällä koodilla ilman LLM-kutsuja; tässä raportoidut vaikutukset johtuvat kokonaan jäsennyksestä. Se kuitenkin kuluttaa tokeneita – noin kaksi kertaa enemmän kuin pelkkä teksti – joten kyseessä on tietoinen vaihtokauppa: konteksti-ikkunan tilaa käytetään faktatarkkuuden parantamiseen, eikä kyse ole ilmaisesta hyödystä.”

Lihavoinnin tehottomuus

Yksi tutkimuksen kiinnostavista havainnoista on se, missä määrin nykyiset painotustavat kirjoitetuissa digitaalisissa asiakirjoissa ovat ilmeisesti tehottomia liikakäytön vuoksi^††:

”Koko vaikutus [i.e., of the new pipeline] perustuu korostamiseen [and] [colour]. Lihavointi, kursivointi, tasavälinen fontti ja yliviivaus eivät vaikuta tulokseen mitenkään [measurable], ja luottamusvälit ulottuvat nollan molemmille puolille.”

”Tämä ei johdu siitä, etteikö näitä vihjeitä olisi: yhdessä asiakirjassa voi olla yli tuhat lihavointimerkintää. Ongelma on siinä, että niitä on niin paljon, etteivät ne anna hyödyllistä tietoa.”

”Jos kirjoittaja lihavoi kaikki otsikot ja määritellyt termit, hän ei sillä erottele mitään muusta tekstistä. Vaatimuksen värjääminen tai korostaminen taas on harkittu ja säästeliäästi käytetty keino. Vihjeiden tyypittely auttaa vain, jos vihjeet ovat niin harvinaisia, että ne ilmaisevat tarkoituksen.”

Tehtävät ja testit

Järjestelmän kehittämiseksi kirjoittajat kävivät läpi 6 462 oikeaa politiikka-asiakirjaa määrittelemättömästä julkisesta aineistosta .docx-muodossa. He etsivät asiakirjoista punaista tekstiä ja korostuksia tekemättä sanamuotoihin perustuvia oletuksia. Tämän jälkeen malleja pyydettiin poimimaan vaatimukset, jotka oli merkitty erityisen tärkeiksi, ja jättämään merkitsemättömät vaatimukset huomiotta. Keskeinen kehote kuului näin:

”Luettele kaikki tämän asiakirjan vaatimukset, jotka kirjoittaja on nostanut esiin erityisen huomion tai korkeamman tärkeysasteen vuoksi.”

Päätestiä varten valittiin 84 asiakirjaa, joissa oli 332 merkittyä vaatimusta ja 4 192 merkitsemätöntä vaatimusta (eli vaatimusta, joissa ei ollut punaista tekstiä eikä värillistä korostusta). Jokaisessa asiakirjassa piti olla vähintään yksi merkitty vaatimus ja kolme merkitsemätöntä, jotta tekoäly ei voisi vain luetella kaikkia vaatimuksia.

Vertailutotuus määritettiin suoraan asiakirjojen muotoilusta, ei ihmisen arvioinnin tai toisen tekoälymallin avulla. Suorituskykyä mitattiin tarkkuuden, saannin ja F1-pistemäärän avulla. Mittauksissa huomioitiin sekä oikein tunnistetut vaatimukset että väärät positiiviset tulokset, joissa mukaan oli virheellisesti otettu merkitsemättömiä vaatimuksia.

Pisteytys tehtiin ohjelmallisesti ilman LLM-arvioijaa. Vastauksen katsottiin vastaavan alkuperäistä vaatimusta vain, jos siinä oli vähintään neljä peräkkäistä sisältösanaa alkuperäisestä vaatimuksesta. Näin pyrittiin estämään toisiaan muistuttavien mutta erilaisten vaatimusten virheellinen tulkitseminen oikeiksi vastauksiksi.

Korostusten poistaminen

Lisätestissä selvitettiin, pystytäänkö tärkeät vaatimukset tunnistamaan pelkän sanamuodon perusteella ilman korostuksia tai värejä. Esimerkkien avulla koulutettu pelkkään tekstiin perustuva luokitin sai ROC AUC -arvoksi 0.664 (satunnaisen arvauksen tulos on 0.5).

Yksinkertaisemmat menetelmät eivät pärjänneet sattumaa paremmin: kiireellisyyteen viittaavia sanoja käyttämällä saatiin tulokseksi 0.508, kun taas lauseiden pituuteen perustuva tulos oli 0.492. Tulokset viittaavat siihen, että pelkän sanamuodon perusteella voidaan päätellä hyvin vähän siitä, mitä korostuksia käyttävä kirjoittaja tarkoitti.

Tämä on järkevää: jos sanamuoto olisi ollut riittävän painokas, kirjoittaja ei oletettavasti olisi kokenut tarvetta lisätä mitään jälkikäteen.

Vertailumenetelmät

Vertailussa olivat mukana kirjoittajien oma jäsennin, OURS; OURS salienssirooleilla; OURS tyypittelemättömillä merkinnöillä; docx2python; Docling; sekä muunnos pelkäksi tekstiksi.

Samoja asiakirjoja ja kysymyksiä käytettiin jokaisessa lähestymistavassa; ainoastaan tapa, jolla asiakirjat muunnettiin, vaihteli. Päävertailu kattoi 76 asiakirjaa, ja jokainen testi toistettiin kolme kertaa:

Testitulokset kuuden menetelmän vertailusta: miten tunnistaa Word-asiakirjoissa tärkeiksi merkityt vaatimukset. Yläosassa esitetään tulokset 76 asiakirjasta, joille tehtiin kolme testiä. Alaosassa esitetään erillinen varmistustesti, jossa käytettiin 79 asiakirjaa ja kuutta toistoa. Korkeampi F1-pistemäärä kertoo paremmasta suorituskyvystä; matalampi väärien positiivisten tulosten osuus tarkoittaa, että merkitsemättömiä vaatimuksia valitaan virheellisesti harvemmin. Tilastollisesti merkitsevät erot on lihavoitu.

Kuten yllä näkyy, kirjoittajien järjestelmä saavutti parhaan kokonaistuloksen F1-mittarilla: 0,690. docx2pythonin tulos oli 0,586, Doclingin 0,150 ja pelkän tekstin vain 0,075 (F1 yhdistää täsmällisyyden ja saannin yhdeksi tarkkuuden mittariksi, jossa 1,0 tarkoittaa täydellistä tulosta).

Muotoilun säilyttämisen tärkeys kävi ilmi myös väärien positiivisten tuloksista: Docling valitsi virheellisesti merkitsemättömiä vaatimuksia lähes neljä kertaa useammin kuin kirjoittajien järjestelmä (4,3 % verrattuna 1,1 %:iin).

Erillisessä testissä selvitettiin, hyötyivätkö tekoälymallit siitä, että niille kerrottiin muotoilun merkitys sen sijaan, että niille olisi vain näytetty alkuperäiset värit ja korostukset. Kun nämä lisäselitteet annettiin, tulos parani hieman mutta tilastollisesti merkitsevästi. Suurin osa hyödystä oli kuitenkin jo saatu itse muotoilun säilyttämisestä.

Ulkoinen paine

Tutkijat tekivät lisäarvioinnin Microsoftin Office-asiakirjojen ymmärtämisen vertailutestin (OCB) avulla. Testillä mitataan, kuinka tarkasti tietoja voidaan palauttaa Office-asiakirjoista.

59 Word-asiakirjasta poimittiin 326 kysymystä, jotka kattoivat muotoilun, taulukot, hyperlinkit, kommentit ja alaviitteet. Microsoft toimitti sekä kysymykset että arviointikriteerit tutkimuksesta riippumatta:

Tulokset vertailevat viittä asiakirjojen muuntamismenetelmää Microsoftin Office-asiakirjojen ymmärtämisen vertailutestissä, joka kattoi 326 kysymystä 59 Word-asiakirjasta. Pisteet vaihtelevat välillä 0–1, ja suurempi pistemäärä kertoo paremmasta suorituskyvystä. Kunkin osa-alueen paras tulos on lihavoitu. Alarivit kokoavat yhteen kokonaistulokset ja tilastollisen merkitsevyyden. Tässä kirjoittajien järjestelmä saavutti parhaan kokonaistuloksen, vaikka docx2python suoriutui korostusten tunnistamisesta paremmin.

Kuten yllä näkyy, kirjoittajien järjestelmä saavutti erinomaisen kokonaistuloksen 0,959. docx2pythonin tulos oli hyvä, 0,810, Doclingin kohtalainen, 0,720, ja pelkän tekstin suhteellisen heikko, 0,634.

Uusi järjestelmä sai täydet pisteet metatiedoista, kommenteista ja alaviitteistä, kun taas kaikki kilpailevat menetelmät saivat nolla pistettä. Parannukset eivät kuitenkaan johtuneet yksinomaan korostusten ja tekstivärien säilyttämisestä: kirjoittajien järjestelmä osoittautui paremmaksi myös tietojen palauttamisessa taulukoista, asiakirjojen asetteluista, fonteista ja hyperlinkeistä.

Yhteenveto

Yritin hiljattain vähäisin tuloksin selvittää, voisiko PDF-muotoisen tieteellisen artikkelin taulukoiden ja kuvien manuaalisen korostamisen automatisoida suurilla kielimalleilla ja/tai Pythonilla. Tulokset olivat… no, hulvattomia. Tieteellisten artikkelien luokittelu, määrällinen analysointi ja jäsentäminen ovat nykyään laajasti käsitelty tutkimusaihe, joten satunnaiselle harrastajalle ei juuri jää tilaa – eikä toivoa.

Tämän tutkimuksen osalta kirjoittajien saavutus on se, että he tunnistivat merkittävän korostusvihjeen, joka katosi käännöksessä. Ratkaisun vaatima tokenien kulutuksen kaksinkertaistuminen ei kuitenkaan ole mikään pikkujuttu sellaisessa mittakaavassa, jossa OCR- ja asiakirjojen syöttökerrosten on toimittava. Siksi palkintona on mielestäni se, että ongelma on tunnistettu.

* Nimeltään ”Mitä kirjoittaja kirjoitti, mitä agentti lukee: vihjeiden huomaamaton katoaminen yritysasiakirjojen käsittelyssä”.

^† Kaikki Amazonilta.

^†† Kirjoittajien korostukset, eivät minun, vaikka muutankin kirjoittajien tekstinsisäiset viitteet rutiininomaisesti hyperlinkeiksi.

Julkaistu ensimmäisen kerran perjantaina 30. lokakuuta 2026