DeepMinds Michelangelo Benchmark: Avslöjar gränserna för långkontextuella LLM

Såsom Artificiell intelligens (AI) fortsätter att utvecklas, blir förmågan att bearbeta och förstå långa sekvenser av information allt viktigare. AI-system används nu för komplexa uppgifter som att analysera långa dokument, följa med i långa samtal och bearbeta stora mängder data. Men många nuvarande modeller har svårt med långkontextuell resonemang. När indata blir längre tappar de ofta bort viktiga detaljer, vilket leder till mindre exakta eller sammanhängande resultat.

Detta problem är särskilt problematiskt inom hälso- och sjukvård, juridik och finans, där AI-verktyg måste hantera detaljerade dokument eller långa diskussioner samtidigt som de tillhandahåller exakta och kontextmedvetna svar. En vanlig utmaning är kontext drift, där modeller tappar bort tidigare information när de bearbetar ny indata, vilket resulterar i mindre relevanta resultat.

För att hantera dessa begränsningar har DeepMind utvecklat Michelangelo Benchmark. Detta verktyg testar rigoröst hur väl AI-modeller hanterar långkontextuellt resonemang. Inspirerad av konstnären Michelangelo, som är känd för att ha avslöjat komplexa skulpturer från marmorkuber, hjälper benchmarken till att upptäcka hur väl AI-modeller kan extrahera meningsfulla mönster från stora datamängder. Genom att identifiera var nuvarande modeller brister leder Michelangelo Benchmark till framtida förbättringar av AI:s förmåga att resonera över långa kontexter.

Att förstå långkontextuellt resonemang i AI

Långkontextuellt resonemang handlar om en AI-modells förmåga att förbli sammanhängande och exakt över långa text-, kod- eller samtalssekvenser. Modeller som GPT-4 och PaLM-2 fungerar bra med korta eller medellånga indata. Men de har svårt med längre kontexter. När indata längden ökar tappar dessa modeller ofta bort viktiga detaljer från tidigare delar. Detta leder till fel i förståelse, sammanfattning eller beslutsfattande. Detta problem kallas kontextfönstrets begränsning. Modellens förmåga att behålla och bearbeta information minskar när kontexten blir längre.

Detta problem är betydande i realvärlden. Till exempel inom juridik analyserar AI-modeller kontrakt, fallstudier eller lagstiftning som kan vara hundratals sidor långa. Om dessa modeller inte kan effektivt behålla och resonera över sådana långa dokument kan de missa viktiga klausuler eller missförstå juridiska termer. Det kan leda till felaktiga råd eller analyser. Inom hälso- och sjukvård behöver AI-system syntetisera patientjournaler, medicinska historier och behandlingsplaner som sträcker sig över år eller till och med årtionden. Om en modell inte kan exakt återkalla kritisk information från tidigare journaler kan den rekommendera olämpliga behandlingar eller missdiagnostisera patienter.

Även om ansträngningar har gjorts för att förbättra modellernas tokenbegränsningar (som GPT-4 som hanterar upp till 32 000 token, cirka 50 sidor text), är långkontextuellt resonemang fortfarande en utmaning. Kontextfönstrets begränsning begränsar mängden indata som en modell kan hantera och påverkar dess förmåga att upprätthålla exakt förståelse under hela indatasekvensen. Detta leder till kontextdrift, där modellen gradvis glömmer tidigare detaljer när ny information introduceras. Det minskar dess förmåga att generera sammanhängande och relevanta utdata.

Michelangelo Benchmark: Koncept och tillvägagångssätt

Michelangelo Benchmark hanterar utmaningarna med långkontextuellt resonemang genom att testa LLM på uppgifter som kräver att de behåller och bearbetar information över utsträckta sekvenser. Till skillnad från tidigare benchmark, som fokuserar på kortkontextuella uppgifter som meningsfullhet eller grundläggande frågesvar, betonar Michelangelo Benchmark uppgifter som utmanar modeller att resonera över långa datasekvenser, ofta inklusive distraktioner eller irrelevanta informationer.

Michelangelo Benchmark utmanar AI-modeller med hjälp av Latent Structure Queries (LSQ) ramverk. Denna metod kräver att modeller hittar meningsfulla mönster i stora datamängder medan de filtrerar bort irrelevanta informationer, liknande hur människor sorterar genom komplexa data för att fokusera på vad som är viktigt. Benchmarken fokuserar på två huvudsakliga områden: naturligt språk och kod, och introducerar uppgifter som testar mer än bara dataåtervinning.

En viktig uppgift är Latent List Task. I denna uppgift ges modellen en sekvens av Python-listoperationer, som att lägga till, ta bort eller sortera element, och sedan måste den producera den korrekta slutliga listan. För att göra det svårare inkluderas irrelevanta operationer, som att vända på listan eller avbryta tidigare steg. Det testar modellens förmåga att fokusera på kritiska operationer, vilket simulerar hur AI-system måste hantera stora datamängder med blandad relevans.

En annan kritisk uppgift är Multi-Round Co-reference Resolution (MRCR). Denna uppgift mäter hur väl modellen kan spåra referenser i långa samtal med överlappande eller oklara ämnen. Utmaningen är för modellen att länka referenser som görs sent i samtalet till tidigare punkter, även när dessa referenser är dolda under irrelevanta detaljer. Denna uppgift reflekterar realvärldssamtal, där ämnen ofta skiftar, och AI måste spåra och lösa referenser för att upprätthålla sammanhängande kommunikation.

Michelangelo innehåller också IDK-uppgiften, som testar en modells förmåga att känna igen när den inte har tillräckligt med information för att besvara en fråga. I denna uppgift presenteras modellen med text som kanske inte innehåller relevant information för att besvara en specifik fråga. Utmaningen är för modellen att identifiera fall där det korrekta svaret är “Jag vet inte” snarare än att ge ett trovärdigt men felaktigt svar. Denna uppgift reflekterar en kritisk aspekt av AI-tillförlitlighet – att känna igen osäkerhet.

Genom uppgifter som dessa flyttar Michelangelo bortom enkel återvinning för att testa en modells förmåga att resonera, syntetisera och hantera långkontextuella indata. Den introducerar en skalbar, syntetisk och oläckt benchmark för långkontextuellt resonemang, vilket ger en mer exakt mått på LLM:s nuvarande tillstånd och framtida potential.

Implikationer för AI-forskning och utveckling

Resultaten från Michelangelo Benchmark har betydande implikationer för hur vi utvecklar AI. Benchmarken visar att nuvarande LLM behöver bättre arkitektur, särskilt i uppmärksamhetsmekanismer och minnessystem. För närvarande förlitar sig de flesta LLM på självuppmärksamhetsmekanismer. Dessa är effektiva för korta uppgifter men kämpar när kontexten växer. Det är här vi ser problemet med kontextdrift, där modeller glömmer eller blandar ihop tidigare detaljer. För att lösa detta utforskar forskare minnesförstärkta modeller. Dessa modeller kan lagra viktig information från tidigare delar av ett samtal eller dokument, vilket gör det möjligt för AI att återkalla och använda den när det behövs.

En annan lovande ansats är hierarkisk bearbetning. Denna metod möjliggör för AI att bryta ner långa indata i mindre, hanterbara delar, vilket hjälper den att fokusera på de mest relevanta detaljerna vid varje steg. På detta sätt kan modellen hantera komplexa uppgifter bättre utan att bli överväldigad av för mycket information på en gång.

Förbättringar av långkontextuellt resonemang kommer att ha en betydande inverkan. Inom hälso- och sjukvård kan det innebära bättre analys av patientjournaler, där AI kan spåra en patients historia över tid och erbjuda mer exakta behandlingsrekommendationer. Inom juridik kan dessa framsteg leda till AI-system som kan analysera långa kontrakt eller lagstiftning med större exakthet, vilket ger mer tillförlitliga insikter för jurister och juridiska yrkesverksamma.

Men med dessa framsteg kommer också kritiska etiska problem. När AI blir bättre på att behålla och resonera över långa kontexter finns det en risk för att exponera känslig eller privat information. Detta är ett verkligt problem för branscher som hälso- och sjukvård och kundtjänst, där konfidentialitet är avgörande.

Om AI-modeller behåller för mycket information från tidigare interaktioner kan de oavsiktligt avslöja personliga detaljer i framtida samtal. Dessutom, när AI blir bättre på att generera övertygande långformigt innehåll, finns det en fara att det kan användas för att skapa mer avancerad desinformation eller felinformation, vilket ytterligare komplicerar utmaningarna kring AI-reglering.

Sammanfattning

Michelangelo Benchmark har avslöjat insikter om hur AI-modeller hanterar komplexa, långkontextuella uppgifter, och lyfter fram deras styrkor och begränsningar. Denna benchmark främjar innovation när AI utvecklas, och uppmuntrar bättre modellarkitektur och förbättrade minnessystem. Potentialen för att transformera branscher som hälso- och sjukvård och juridik är spännande men kommer med etiska ansvar.

Integritets-, desinformations- och rättvisehänsyn måste hanteras när AI blir mer skickad på att hantera stora mängder information. AI:s tillväxt måste förbli fokuserad på att gynna samhället på ett genomtänkt och ansvarsfullt sätt.