DocLangin tavoitteena on luoda yleinen kieli AI-valmiille asiakirjoille

Viime vuosikymmeninä yritykset ovat riippuvaisia asiakirjaformaateista, jotka on suunniteltu ihmisten sijaan AI-järjestelmien lukemiseen. Sopimukset, laskut, raportit, esitykset, lomakkeet ja lukuisat muut liiketoimintaa koskevat asiakirjat sisältävät arvokasta tietoa, mutta tiedon poistaminen AI-sovelluksia varten vaatii usein monimutkaisia prosessointiputkia, jotka lisäävät kustannuksia, viivästystä ja virheiden mahdollisuuksia.

Kun organisaatiot ottaa yhä enemmän käyttöön generatiivista AI:ta ja autonomisia agenteja, tämä ero on muodostunut kasvavaksi haasteeksi. Ratkaisemaan tämän ongelman ABBYY on liittynyt IBM:n, NVIDIA (NVDA ):n, Red Hatin, HumanSignalin ja Linux Foundationin LF AI & Data Foundationin kanssa lanseeratakseen DocLangin, uuden avoimen standardin, joka on suunniteltu luomaan AI-ominaisten asiakirjojen esitystapa. Aloitteeseen osallistuvat uskovat, että se voisi toimia samalla tavalla kuin HTML:n standardisointi verkkosisällön kehityksessä, luomalla yhteisen kielen, joka mahdollistaa AI-järjestelmien ymmärtämisen asiakirjoja yhdenmukaisemmin ja tehokkaammin.

Miksi asiakirjat ovat muodostuneet AI-ongelman

Suurin osa maailman liiketoimintatiedosta on muodossa, joka on suunniteltu ihmisten lukemiseen, kuten PDF-tiedostot, skannatut kuvat, taulukot ja esitykset. Vaikka nämä formaatit toimivat hyvin ihmisten käytössä, ne eivät ole suunniteltu koneiden ymmärtämiseen.

Ihmiset voivat heti tunnistaa otsikot, taulukot, suhteet ja tiedon merkityksen sen sijainnin perusteella asiakirjassa. AI-järjestelmät vaativat usein useita kerroksia OCR:ää, asiakirjan analyysiä, dokumentin käsittelyä ja jälkikäsittelyä ennen kuin ne voivat luotettavasti tulkita samaa sisältöä.

Tämä haaste muodostuu entistä merkittävämmäksi, kun organisaatiot ottaa käyttöön AI-agenteja, jotka voivat toimia laajojen yritystietojen kokoelmien yli. Jokainen asiakirja on muunnettava rakenteelliseen esitysmuotoon ennen kuin se voidaan tehokkaasti käyttää kielen malleissa, hakujärjestelmissä tai automaattisissa työnkulussa.

Tuloksena on hajanainen ekosysteemi, jossa eri työkalut usein luovat omat asiakirjaesitysmuotonsa, mikä vaikeuttaa yhteensopivuutta ja lisää epäjohdonmukaisuuden todennäköisyyttä.

Miten ABBYY on auttanut DocLangin visioon

ABBYY on nousemassa yhdeksi DocLang-aloitteen tärkeimmistä osapuolista. Yritys on kehittänyt asiakirjatietoa, OCR:ää ja automaatioteknologioita vuosikymmenien ajan, mikä antaa sille ainutlaatuisen näkökulman haasteisiin, joita yritykset kohtaavat yrittäessään yhdistää perinteiset asiakirjat ja modernit AI-järjestelmät.

Maxime Vermeirin mukaan, ABBYY:n AI-strategian varapuheenjohtaja, DocLang-idean kehittyi asiakirja-AI-yhteisön keskusteluista yhteisen esitystason tarpeesta, joka voisi sijaita raakojen asiakirjojen ja AI-sovellusten välillä.

“DocLang on suunniteltu ratkaisemaan yksi perustavanlaatuinen ongelma yritysten AI:ssa: asiakirjat on rakennettu ihmisille, ei koneille”, Vermeir selitti.

Sen sijaan, että jokainen AI-järjestelmä joutuisi tulkkaamaan itsenäisesti asiakirjan rakenteen, taulukot, suhteet, metatiedot ja rakenteen, DocLang pyrkii luomaan standardoidun kehyksen, jota voidaan jakaa alustoilla ja sovelluksilla.

Tavoitteena on tehdä asiakirjojen ymmärtäminen luotettavammaksi, vähentää virheitä, jotka johtuvat puuttuvasta kontekstista, ja laskea laskennallisia kustannuksia, jotka liittyvät saman tiedon toistuvaan prosessointiin.

Mikä DocLang on?

DocLang on avoin määritys asiakirjojen esittämiseksi AI-järjestelmille optimoidussa muodossa.

Toisin kuin perinteiset formaatit, jotka keskittyvät ennen kaikkea visuaaliseen esittämiseen, DocLang on suunniteltu säilyttämään useita tietokerroksia samanaikaisesti, mukaan lukien:

• semanttinen merkitys
• asiakirjan rakenne ja hierarkia
• geometrinen sommitelma ja sijainti
• taulukot ja monimutkaiset asiakirja-elementit
• metatiedot
• hallintaa ja käyttöä koskevat ohjeet

Tämä lähestymistapa mahdollistaa AI-järjestelmien ymmärtämisen, mitä tietoa asiakirjassa on, ja miten se on järjestetty ja liittyy toisiinsa.

Esimerkiksi taloudellisessa taulukossa oleva arvo on merkityksellinen, koska se on osa ympäröivää tietoa, kuten rivejä, sarakkeita, otsikoita ja kontekstuaalista tietoa. Tämän suhteen säilyttäminen standardoituessa muodossa voi auttaa AI-järjestelmiä päättämään tarkemmin asiakirjan sisällöstä.

DocLang sisältää myös hallintaa koskevat ohjeet, jotka mahdollistavat organisaatioiden määrittämisen, miten asiakirjan sisältöä voidaan käyttää, mukaan lukien tietosuojaa, poistamista ja AI-mallien koulutusta koskevat käytäntöjä.

HTML-vertailu

Aloitteen tukijat vertaavat usein DocLangia HTML:n rooliin verkkosisällön kehityksessä.

Ennen kuin HTML:stä tuli laajasti hyväksytty, ei ollut yleistä tapaa, jolla selaimet voisivat ymmärtää ja näyttää sisältöä. HTML esitteli yhteisen rakenteen, joka mahdollisti verkkosivujen ymmärtämisen eri järjestelmissä ja alustoilla.

DocLang pyrkii tuomaan samanlaisen standardisoinnin yritysten asiakirjoihin. Sen sijaan, että jokainen AI-alusta kehittäisi oman tulkintansa asiakirjan rakenteesta, jaettu muoto voisi tarjota yhteisen perustan asiakirjojen ymmärtämiselle laajemmassa AI-ekosysteemissä.

Kun AI:n käyttöönotto kiihtyy, kannattajat väittävät, että standardoidut asiakirjaesitysmuodot voivat tulla yhä tärkeämmiksi varmistamaan yhteensopivuuden mallien, sovellusten ja autonomisten agenttien välillä.

Miten DocLang ja Docling toimivat yhdessä

Aloite perustuu myös Doclingiin, avoimeen lähdekoodiin asiakirjojen käsittelytyökaluun, jonka IBM Research Zurich kehitti ja julkaisi avoimena lähdekoodina vuonna 2024.

Docling keskittyy asiakirjojen syötölle ja muunnokselle. Se voi prosessoida PDF-tiedostoja, Word-dokumentteja, taulukoita, esityksiä, HTML-tiedostoja ja kuvia, muuttaen ne rakenteelliseksi esitysmuodoksi edistyneen sommitelma-analyysin ja asiakirjan ymmärtämismallien avulla.

DocLang täydentää tätä ominaisuutta tarjoamalla standardoidun muodon rakenteellisen tulosteen esittämiseen ja vaihtamiseen, jota työkalut kuten Docling voivat tuottaa.

Yhdessä nämä projektit luovat täydellisemmän asiakirja-AI-pino:

• Docling hoitaa syötön ja asiakirjan ymmärtämisen
• DocLang tarjoaa yleisen esitystason
• AI-mallit ja agentit käyttävät tuloksena olevaa rakenteellista tietoa

Tämä erottelu auttaa vähentämään hajaantumista ja luomaan yhteisen kehyksen, jonka eri toimijat ja kehittäjät voivat omaksua.

Miksi avoimet standardit ovat tärkeitä yritysten AI:lle

Kun yritysten AI-käyttöönotto siirtyy kokeilusta tuotantoon, yhteensopivuus on tulevaisuuden kannalta yhä tärkeämpää.

Organisaatiot harvoin riippuvat yhdestä AI-mallista, asiakirja-alustasta tai ohjelmistotoimittajasta. Sen sijaan ne toimivat monimutkaisissa ekosysteemeissä, joissa tieto on siirrettävä sujuvasti järjestelmien välillä.

Avoimet standardit ovat historiallisesti olleet avainasemassa teknologian omaksumisessa luomalla yhteisiä kehyksiä, jotka vähentävät integrointikompleksisuutta ja toimittajan riippuvuutta. Kubernetes auttoi standardoimaan pilvi-alkuperäisen infrastruktuurin, kun taas HTML:stä tuli modernin verkkosisällön perusta.

DocLangin tukijat uskovat, että AI-ominaiset asiakirja-standardit voivat toimia samalla tavalla asiakirjatiedon ja agenteille suunnattujen työnkulkujen osalla.

Katse eteenpäin

AI-teollisuus on panostanut valtavasti koneiden opettamiseen asiakirjojen tulkintaan, jotka eivät ole suunniteltu koneiden lukemiseen. DocLang edustaa yritystä ratkaista tämä haaste asiakirjan kielen luomisella, joka on suunniteltu erityisesti AI:lle.

Jos onnistuu, aloite voi parantaa asiakirjojen tulkintaa, vähentää virheitä, jotka johtuvat puuttuvasta rakenteellisesta kontekstista, laskea kustannuksia ja tehdä siitä helpompaa AI-järjestelmien vaihtaa tietoa alustojen välillä.

Aikana, jolloin organisaatiot ovat yhä enemmän riippuvaisia AI-agenteista, jotka navigoivat laajojen liiketoimintatietojen kokoelmien yli, asiakirjojen esittämisen standardisointi voi osoittautua yhtä tärkeäksi kuin itse mallien kehittäminen. ABBYY:lle ja sen yhteistyökumppaneille DocLang on yritys luoda perusta, joka voi tehdä tämän tulevaisuuden mahdolliseksi.