Att göra ordning i röran: LLMs roll i extrahering av ostrukturerad data

De senaste framstegen inom hårdvara, såsom Nvidias H100 GPU, har avsevärt förbättrat beräkningsförmågan. Med nio gånger snabbare än Nvidias A100, utmärker sig dessa GPU:er i hantering av djupinlärningsarbetsbelastningar. Denna utveckling har väckt den kommersiella användningen av generativ AI inom naturligt språkbehandling (NLP) och datorseende, vilket möjliggör automatiserad och intelligent dataextrahering. Företag kan nu enkelt omvandla ostrukturerad data till värdefulla insikter, vilket markerar ett betydande steg framåt i teknikutvecklingen. 

Traditionella metoder för dataextrahering 

Manuell datainmatning 

Förvånansvärt nog förlitar sig många företag fortfarande på manuell datainmatning, trots tillgången på mer avancerad teknik. Denna metod innebär att manuellt skriva in information direkt i målsystemet. Det är ofta lättare att anta på grund av de lägre initialkostnaderna. Men manuell datainmatning är inte bara tråkig och tidskrävande, utan också mycket benägen för fel. Dessutom utgör den en säkerhetsrisk när det gäller att hantera känslig data, vilket gör den till ett mindre önskvärt alternativ i åldern av automation och digital säkerhet. 

Optisk teckenigenkänning (OCR)  

OCR-teknik, som omvandlar bilder och handskrivet innehåll till maskinläsbart data, erbjuder en snabbare och mer kostnadseffektiv lösning för dataextrahering. Men kvaliteten kan vara opålitlig. Till exempel kan tecken som “S” misstolkas som “8” och vice versa.  

OCR:s prestanda påverkas avsevärt av komplexiteten och egenskaperna hos indata; den fungerar bra med högupplösta skannade bilder fria från problem som vinkelrörelser, vattenstämplar eller överskrivningar. Men den möter utmaningar med handskrivet text, särskilt när de visuella är invecklade eller svåra att bearbeta. Anpassningar kan vara nödvändiga för förbättrade resultat när det gäller textinmatning. Dataextraheringsverktygen på marknaden med OCR som baserad teknik lägger ofta till lager och lager av efterbearbetning för att förbättra noggrannheten hos den extraherade datan. Men dessa lösningar kan inte garantera 100% exakta resultat.  

Textmönstermatchning 

Textmönstermatchning är en metod för att identifiera och extrahera specifik information från text med hjälp av fördefinierade regler eller mönster. Det är snabbare och erbjuder en högre avkastning än andra metoder. Det är effektivt över alla nivåer av komplexitet och uppnår 100% noggrannhet för filer med liknande layouter.  

Men dess stelhet i ord-för-ord-matchningar kan begränsa anpassningsförmågan, vilket kräver en 100% exakt matchning för framgångsrik extrahering. Utmaningar med synonymer kan leda till svårigheter att identifiera likvärdiga termer, som att skilja på “väder” och “klimat”. Dessutom uppvisar textmönstermatchning kontextuell känslighet, utan medvetenhet om flera betydelser i olika sammanhang. Att hitta rätt balans mellan stelhet och anpassningsförmåga förblir en ständig utmaning i att använda denna metod effektivt. 

Namngiven entitetsigenkänning (NER)  

Namngiven entitetsigenkänning (NER), en NLP-teknik, identifierar och kategoriserar nyckelinformation i text. 

NER:s extraktioner är begränsade till fördefinierade entiteter som organisationsnamn, platser, personnamn och datum. Med andra ord saknar NER-system för närvarande den inneboende förmågan att extrahera anpassade entiteter utöver denna fördefinierade uppsättning, som kan vara specifik för ett visst område eller användningsfall. För det andra utsträcker sig NER:s fokus på nyckelvärden som är associerade med erkända entiteter inte till dataextrahering från tabeller, vilket begränsar dess tillämplighet för mer komplexa eller strukturerade datatyper. 

 Medan organisationer hanterar alltmer ostrukturerad data, belyser dessa utmaningar behovet av en omfattande och skalbar tillvägagångssätt för extraheringsmetoder. 

Att låsa upp ostrukturerad data med LLM 

Att använda stora språkmodeller (LLM) för ostrukturerad dataextrahering är en övertygande lösning med distinkta fördelar som möter kritiska utmaningar. 

Kontextmedveten dataextrahering 

LLM har en stark kontextuell förståelse, finslipad genom omfattande utbildning på stora datamängder. Deras förmåga att gå bortom ytan och förstå kontextens nyanser gör dem värdefulla i hantering av olika informationsutvinningstyper. Till exempel, när de tilldelas uppgiften att extrahera väderdata, fångar de den avsedda informationen och beaktar relaterade element som klimatdata, och smidigt införlivar synonymer och semantik. Denna avancerade nivå av förståelse etablerar LLM som en dynamisk och anpassningsbar val i dataextraheringsdomänen.  

Att utnyttja parallellbearbetningsförmågor 

LLM använder parallellbearbetning, vilket gör uppgifter snabbare och mer effektiva. Till skillnad från sekventiella modeller, optimerar LLM resursfördelningen, vilket resulterar i accelererade dataextraheringsuppgifter. Detta förbättrar hastigheten och bidrar till extraheringsprocessens övergripande prestanda.  

Att anpassa sig till varierande datatyper 

Medan vissa modeller som återkommande neuronnät (RNN) är begränsade till specifika sekvenser, hanterar LLM icke-sekvensspecifika data, och anpassar sig smidigt till varierande meningsstrukturer. Denna flexibilitet omfattar olika dataformer, såsom tabeller och bilder. 

Att förbättra bearbetningspipeliner 

Användningen av LLM markerar en betydande förändring i automatisering av både förbearbetnings- och efterbearbetningsstadierna. LLM minskar behovet av manuellt arbete genom att automatisera extraheringsprocesser noggrant, och strömlinjeformar hanteringen av ostrukturerad data. Deras omfattande utbildning på varierande datamängder möjliggör att de identifierar mönster och korrelationer som traditionella metoder missar. 

Källa: En pipeline för generativ AI

Denna figur av en generativ AI-pipeline visar tillämpbarheten av modeller som BERT, GPT och OPT i dataextrahering. Dessa LLM kan utföra olika NLP-operationer, inklusive dataextrahering. Vanligtvis tillhandahåller den generativa AI-modellen en prompt som beskriver den önskade datan, och det efterföljande svaret innehåller den extraherade datan. Till exempel kan en prompt som “Extrahera namnen på alla leverantörerna från denna inköpsorder” ge ett svar som innehåller alla leverantörsnamn som finns i den semistrukturerade rapporten. Därefter kan den extraherade datan parsas och laddas in i en databastabell eller en flat fil, vilket underlättar en smidig integration i företagsarbetsflöden. 

Utvecklingen av AI-ramverk: RNN till Transformers i modern dataextrahering 

Generativ AI fungerar inom ett encoder-decoder-ramverk som består av två samarbetande neuronnät. Encoderprocessen bearbetar indata, kondenserar essentiella funktioner till en “kontextvektor”. Denna vektor används sedan av decodern för generativa uppgifter, såsom språköversättning. Detta ramverk, som utnyttjar neuronnät som RNN och Transformers, hittar tillämpningar i olika domäner, inklusive maskinöversättning, bildgenerering, tal syntes och dataentitetsextrahering. Dessa nätverk utmärker sig i modellering av invecklade relationer och beroenden inom datasekvenser. 

Återkommande neuronnät 

Återkommande neuronnät (RNN) har utformats för att hantera sekvensuppgifter som översättning och sammanfattning, och utmärker sig i vissa sammanhang. Men de kämpar med noggrannhet i uppgifter som involverar långväga beroenden.  

 RNN utmärker sig i att extrahera nyckel-värdepar från meningar, men möter svårigheter med tabell-lika strukturer. Att hantera detta kräver noggrann övervägande av sekvens och position, vilket kräver specialiserade tillvägagångssätt för att optimera dataextrahering från tabeller. Men deras antagande var begränsat på grund av låg avkastning och undermålig prestanda på de flesta textbearbetningsuppgifter, även efter att ha tränats på stora mängder data. 

Långt korttidsminne (LSTM) 

Långt korttidsminne (LSTM) nätverk framträder som en lösning som möter begränsningarna i RNN, särskilt genom en selektiv uppdatering och glömske-mekanism. Liksom RNN utmärker sig LSTM i att extrahera nyckel-värdepar från meningar. Men de möter liknande utmaningar med tabell-lika strukturer, vilket kräver en strategisk övervägande av sekvens och positionella element.  

 GPU:er användes första gången för djupinlärning i 2012 för att utveckla den berömda AlexNet CNN-modellen. Därefter tränades vissa RNN också med GPU:er, men de gav inte bra resultat. Idag, trots tillgången på GPU:er, har dessa modeller i stor utsträckning fallit ur användning och ersatts av transformer-baserade LLM.  

Transformer – Uppmärksamhetsmekanism 

Införandet av transformers, särskilt i den banbrytande artikeln “Attention is All You Need” (2017), revolutionerade NLP genom att föreslå “transformer”-arkitekturen. Denna arkitektur möjliggör parallella beräkningar och fångar långväga beroenden, vilket öppnar nya möjligheter för språkmodeller. LLM som GPT, BERT och OPT har utnyttjat transformer-teknik. I hjärtat av transformers ligger “uppmärksamhets”-mekanismen, en nyckelbidragande faktor till förbättrad prestanda i sekvens-till-sekvens datahantering. 

Uppmärksamhetsmekanismen i transformers beräknar en viktad summa av värden baserat på kompatibiliteten mellan “frågan” (prompt) och “nyckeln” (modellens förståelse av varje ord). Detta tillvägagångssätt möjliggör fokuserad uppmärksamhet under sekvensgenerering, vilket säkerställer exakt extrahering. Två viktiga komponenter inom uppmärksamhetsmekanismen är Självuppmärksamhet, som fångar viktigheten mellan ord i indatasekvensen, och Multi-Head Uppmärksamhet, som möjliggör olika uppmärksamhetsmönster för specifika relationer.  

I sammanhanget med fakturaextrahering känner Självuppmärksamhet igen relevansen av ett tidigare nämnt datum när man extraherar betalningsbelopp, medan Multi-Head Uppmärksamhet fokuserar oberoende på numeriska värden (belopp) och textmönster (leverantörsnamn). Till skillnad från RNN förstår inte transformers implicit ordens ordning. För att hantera detta använder de positionskodning för att spåra varje ordets plats i en sekvens. Denna teknik tillämpas på både indata- och utdata-embeddings, vilket underlättar identifiering av nycklar och deras motsvarande värden inom ett dokument.  

Kombinationen av uppmärksamhetsmekanismer och positionskodning är avgörande för en stor språkmodells förmåga att känna igen en struktur som tabellartad, med hänsyn till dess innehåll, utrymme och textmarkörer. Denna färdighet särskiljer den från andra ostrukturerade dataextraheringsmetoder.

Aktuella trender och utvecklingar 

AI-utrymmet utvecklas med lovande trender och utvecklingar, som förändrar sättet vi extraherar information från ostrukturerad data. Låt oss dyka in i de viktigaste aspekterna som formar framtiden för detta område. 

Framsteg inom stora språkmodeller (LLM) 

Generativ AI upplever en transformerande fas, med LLM som tar centrumplatsen i hantering av komplexa och varierande datamängder för ostrukturerad dataextrahering. Två betydande strategier driver dessa framsteg: 

1. Multimodal inlärning: LLM utvidgar sina förmågor genom att samtidigt bearbeta olika typer av data, inklusive text, bilder och ljud. Denna utveckling förbättrar deras förmåga att extrahera värdefull information från varierande källor, vilket ökar deras användbarhet i ostrukturerad dataextrahering. Forskare undersöker effektiva sätt att använda dessa modeller, med målet att eliminera behovet av GPU:er och möjliggöra driften av stora modeller med begränsade resurser.

2. RAG-applikationer: Retrieval Augmented Generation (RAG) är en framväxande trend som kombinerar stora förtränade språkmodeller med externa sökmechanismer för att förbättra deras förmågor. Genom att få tillgång till en stor mängd dokument under genereringsprocessen, transformerar RAG grundläggande språkmodeller till dynamiska verktyg anpassade för både företag och konsumenttillämpningar.

Att utvärdera LLM-prestanda 

Utmaningen att utvärdera LLM:s prestanda möts med en strategisk tillvägagångssätt, som omfattar uppgiftsspecifika mått och innovativa utvärderingsmetoder. Nyckelutvecklingar i detta område inkluderar: 

1. Finjusterade mått: Anpassade utvärderingsmått dyker upp för att bedöma kvaliteten på informationsutvinningstyper. Precision, återkallande och F1-poäng mått visar sig vara effektiva, särskilt i uppgifter som entitetsutvinning.

2. Mänsklig utvärdering: Mänsklig bedömning förblir avgörande bredvid automatiserade mått, vilket säkerställer en omfattande utvärdering av LLM. Integrerad med automatiserade mått och mänsklig bedömning, erbjuder hybridutvärderingsmetoder en nyanserad vy av kontextuell korrekthet och relevans i den extraherade informationen.

Bild- och dokumentbearbetning  

Multimodala LLM har helt ersatt OCR. Användare kan omvandla skannad text från bilder och dokument till maskinläsbart text, med möjligheten att identifiera och extrahera information direkt från visuellt innehåll med hjälp av vision-baserade moduler. 

Dataextrahering från länkar och webbplatser 

LLM utvecklas för att möta den ökande efterfrågan på dataextrahering från webbplatser och webblänkar. Dessa modeller blir alltmer skickliga på webbskrapning, vilket omvandlar data från webbsidor till strukturerade format. Denna trend är ovärderlig för uppgifter som nyhetsaggregering, e-handelsdatainsamling och konkurrentunderrättelser, vilket förbättrar kontextuell förståelse och extraherar relationsdata från webben. 

Uppkomsten av små jättar i generativ AI 

Första halvåret 2023 såg en fokus på att utveckla stora språkmodeller baserade på antagandet “större är bättre”. Men nyliga resultat visar att mindre modeller som TinyLlama och Dolly-v2-3B, med mindre än 3 miljarder parametrar, utmärker sig i uppgifter som resonemang och sammanfattning, och har därmed fått titeln “små jättar”. Dessa modeller använder mindre beräkningskraft och lagring, vilket gör AI mer tillgänglig för mindre företag utan behov av dyra GPU:er. 

Slutsats 

Tidiga generativa AI-modeller, inklusive generativa adversariala nätverk (GAN) och variationala autoencoders (VAE), introducerade nya tillvägagångssätt för att hantera bildbaserad data. Men den verkliga genombrottet kom med transformer-baserade stora språkmodeller. Dessa modeller överträffade alla tidigare tekniker i ostrukturerad datahantering tack vare deras encoder-decoder-struktur, självuppmärksamhet och multi-head uppmärksamhetsmekanismer, vilket gav dem en djup förståelse av språk och möjliggjorde mänskliknande resonemangsförmåga. 

 Medan generativ AI erbjuder ett lovande startskott för att utvinna textbaserad data från rapporter, är skalbarheten för sådana tillvägagångssätt begränsad. De första stegen innefattar ofta OCR-bearbetning, vilket kan resultera i fel, och utmaningar kvarstår i att extrahera text från bilder i rapporter.  

 Att extrahera text inom bilderna i rapporter är en annan utmaning. Att anta lösningar som multimodal datahantering och tokenbegränsningsutvidgningar i GPT-4, Claud3, Gemini erbjuder en lovande väg framåt. Men det är viktigt att notera att dessa modeller endast är tillgängliga via API:er. Medan användning av API:er för dataextrahering från dokument är både effektivt och kostnadseffektivt, kommer det med sina egna begränsningar, såsom fördröjning, begränsad kontroll och säkerhetsrisker.  

 En mer säker och anpassningsbar lösning ligger i att finjustera en in-house LLM. Detta tillvägagångssätt inte bara mildrar dataintegritets- och säkerhetsproblem, utan förbättrar också kontrollen över dataextraheringsprocessen. Att finjustera en LLM för dokumentlayoutförståelse och för att förstå textbetydelse baserat på dess kontext erbjuder en robust metod för att extrahera nyckel-värdepar och radartiklar. Genom att utnyttja nollskott- och fåskottinlärning kan en finjusterad modell anpassa sig till varierande dokumentlayouter, vilket säkerställer effektiv och exakt ostrukturerad dataextrahering över olika domäner.