DeepMinds Michelangelo Benchmark: Avdekkelse av grensene for langkontekst LLM-er

Siden kunstig intelligens (AI) fortsetter å utvikle seg, blir evnen til å prosessere og forstå lange sekvenser av informasjon mer vital. AI-systemer brukes nå til komplekse oppgaver som å analysere lange dokumenter, følge med i lange samtaler og prosessere store mengder data. Imidlertid sliter mange nåværende modeller med langkontekst resonnering. Når innputtene blir lengre, taper de ofte oversikt over viktige detaljer, noe som fører til mindre nøyaktige eller koherente resultater.

Dette problemet er spesielt problematisk i helse-, juridiske og finansielle tjenester, der AI-verktøy må håndtere detaljerte dokumenter eller lange diskusjoner samtidig som de gir nøyaktige, kontekst-bevisste svar. En vanlig utfordring er kontekst drift, hvor modellene mister oversikt over tidligere informasjon når de prosesserer ny innputt, noe som resulterer i mindre relevante resultater.

For å løse disse begrensningene har DeepMind utviklet Michelangelo Benchmark. Dette verktøyet tester rigorøst hvordan AI-modeller håndterer langkontekst resonnering. Inspirert av kunstneren Michelangelo, som er kjent for å avdekke komplekse skulpturer fra marmorblokker, hjelper benchmarken med å avdekke hvordan godt AI-modeller kan trekke ut meningsfulle mønster fra store datasamlinger. Ved å identifisere hvor nåværende modeller svikter, fører Michelangelo Benchmark til fremtidige forbedringer i AI-s evne til å resonere over lange kontekster.

Forståelse av langkontekst resonnering i AI

Langkontekst resonnering handler om en AI-modells evne til å forbli koherent og nøyaktig over lange tekst-, kode- eller samtalesekvenser. Modeller som GPT-4 og PaLM-2 fungerer godt med korte eller moderate innputt. Imidlertid har de problemer med lengre kontekster. Når innputtlengden øker, taper disse modellene ofte oversikt over essensielle detaljer fra tidligere deler. Dette fører til feil i forståelse, sammenfatting eller beslutning. Dette problemet er kjent som kontekstvindus-begrensningen. Modellens evne til å beholde og prosessere informasjon avtar når konteksten vokser lengre.

Dette problemet er betydelig i virkelige applikasjoner. For eksempel i juridiske tjenester analyserer AI-modeller kontrakter, sakstudier eller reguleringer som kan være flere hundre sider lange. Hvis disse modellene ikke kan effektivt beholde og resonere over slike lange dokumenter, kan de gå glipp av essensielle klausuler eller misforstå juridiske begreper. Dette kan føre til uriktige råd eller analyse. I helsevesenet må AI-systemer syntetisere pasientjournaler, medisinske historier og behandlingsplaner som kan omfatte flere år eller tiår. Hvis en modell ikke kan nøyaktig huske kritisk informasjon fra tidligere journaler, kan den anbefale uriktige behandlinger eller misdiagnosere pasienter.

Selv om det har blitt gjort forsøk på å forbedre modellenes token-begrensninger (som GPT-4 som kan håndtere opptil 32 000 token, omtrent 50 sider med tekst), er langkontekst resonnering fortsatt en utfordring. Kontekstvindus-problemet begrenser mengden innputt en modell kan håndtere og påvirker dens evne til å opprettholde nøyaktig forståelse gjennom hele innputtsekvensen. Dette fører til kontekstdrift, hvor modellen gradvis glemmer tidligere detaljer når ny informasjon introduseres. Dette reduserer dens evne til å generere koherente og relevante utdata.

Michelangelo Benchmark: Konsept og tilnærming

Michelangelo Benchmark tar opp utfordringene med langkontekst resonnering ved å teste LLM-er på oppgaver som krever at de beholder og prosesserer informasjon over lange sekvenser. I motsetning til tidligere benchmark, som fokuserer på korte kontekst-oppgaver som setningsfullføring eller grunnleggende spørsmålssvar, legger Michelangelo Benchmark vekt på oppgaver som utfordrer modeller til å resonere over lange datasekvenser, ofte inkludert distraksjoner eller irrelevante informasjon.

Michelangelo Benchmark utfordrer AI-modeller ved hjelp av Latent Struktur Spørsmål (LSS) rammeverk. Denne metoden krever at modellene finner meningsfulle mønster i store datasamlinger samtidig som de filtrerer ut irrelevante informasjon, likt hvordan mennesker sifter gjennom komplekse data for å fokusere på det viktige. Benchmarket fokuserer på to hovedområder: naturlig språk og kode, og introduserer oppgaver som tester mer enn bare datahenting.

En viktig oppgave er Latent Liste Oppgave. I denne oppgaven får modellen en sekvens av Python-listeoperasjoner, som å legge til, fjerne eller sortere elementer, og deretter må den produsere den korrekte endelige listen. For å gjøre det vanskeligere inkluderer oppgaven irrelevante operasjoner, som å reversere listen eller avbryte tidligere steg. Dette tester modellens evne til å fokusere på kritiske operasjoner, og simulere hvordan AI-systemer må håndtere store datasamlinger med blandet relevans.

En annen kritisk oppgave er Multi-Runde Ko-referanse Løsning (MRCR). Denne oppgaven måler hvor godt modellen kan spore referanser i lange samtaler med overlappende eller uklare emner. Utfordringen er for modellen å koble referanser gjort sent i samtalen til tidligere punkter, selv når disse referansene er skjult under irrelevante detaljer. Denne oppgaven reflekterer virkelige diskusjoner, hvor emner ofte skifter, og AI må nøyaktig spore og løse referanser for å opprettholde koherent kommunikasjon.

I tillegg inkluderer Michelangelo IDK-oppgaven, som tester en modells evne til å gjenkjenne når den ikke har nok informasjon til å svare på et spørsmål. I denne oppgaven presenteres modellen for tekst som kanskje ikke inneholder relevant informasjon for å svare på et bestemt spørsmål. Utfordringen er for modellen å identifisere tilfeller hvor det korrekte svaret er “Jeg vet ikke” i stedet for å gi et plausibelt, men feil svart. Denne oppgaven reflekterer en kritisk aspekt av AI-pålitelighet – gjenkjenning av usikkerhet.

Gjennom oppgaver som disse flytter Michelangelo seg bort fra enkel datahenting og tester en modells evne til å resonere, syntetisere og håndtere langkontekst innputt. Den introduserer en skalerbar, syntetisk og ikke-lakkert benchmark for langkontekst resonnering, og gir en mer nøyaktig måling av LLM-ers nåværende tilstand og fremtidige potensial.

Konsekvenser for AI-forskning og utvikling

Resultatene fra Michelangelo Benchmark har betydelige konsekvenser for hvordan vi utvikler AI. Benchmarket viser at nåværende LLM-er trenger bedre arkitektur, spesielt i oppmerksomhetsmekanismer og minnesystemer. For tiden baserer de fleste LLM-er seg på selv-oppmerksomhetsmekanismer. Disse er effektive for korte oppgaver, men sliter når konteksten vokser lengre. Her ser vi problemet med kontekstdrift, hvor modellene glemmer eller blandet tidligere detaljer. For å løse dette utforsker forskere minne-forbedrede modeller. Disse modellene kan lagre viktig informasjon fra tidligere deler av en samtale eller dokument, og tillate AI å gjenkalle og bruke den når det er nødvendig.

En annen lovende tilnærming er hierarkisk prosessering. Denne metoden gjør det mulig for AI å bryte ned lange innputt i mindre, håndterbare deler, noe som hjelper det til å fokusere på de mest relevante detaljene på hvert trinn. På denne måten kan modellen håndtere komplekse oppgaver bedre uten å bli overveldet av for mye informasjon på en gang.

Forbedring av langkontekst resonnering vil ha en betydelig innvirkning. I helsevesenet kan det bety bedre analyse av pasientjournaler, hvor AI kan spore en pasients historie over tid og gi mer nøyaktige behandlingsanbefalinger. I juridiske tjenester kan disse fremgangene føre til AI-systemer som kan analysere lange kontrakter eller saklover med større nøyaktighet, og gi mer pålitelige innsikter for jurister og juridiske fagfolk.

Imidlertid kommer disse fremgangene med kritiske etiske bekymringer. Når AI blir bedre til å beholde og resonere over lange kontekster, er det en risiko for å avdekke sensitive eller private informasjon. Dette er en genuin bekymring for industrier som helsevesenet og kundeservice, hvor konfidensialitet er kritisk.

Hvis AI-modeller beholder for mye informasjon fra tidligere interaksjoner, kan de uforvarende avdekke personlige detaljer i fremtidige samtaler. I tillegg, når AI blir bedre til å generere overbevisende langforminnhold, er det en fare for at det kan brukes til å skape mer avansert feilinformasjon eller desinformasjon, og komplisere utfordringene rundt AI-regulering.

Bunnen av saken

Michelangelo Benchmark har avdekket innsikt i hvordan AI-modeller håndterer komplekse, langkontekst oppgaver, og har vist deres styrker og begrensninger. Denne benchmarket fremmer innovasjon ettersom AI utvikler seg, og oppmuntrer til bedre modellarkitektur og forbedrede minnesystemer. Potensialet for å transformere industrier som helsevesenet og juridiske tjenester er spennende, men kommer med etiske ansvar.

Personvern, feilinformasjon og rettferdighet bekymringer må håndteres når AI blir bedre til å håndtere store mengder informasjon. AI-s vekst må forbli fokusert på å gi samfunnet nytte på en tankefull og ansvarlig måte.