3 sätt att hålla föråldrade fakta färska i stora språkmodeller

Stora språkmodeller (LLM) som GPT3, ChatGPT och BARD är alla på modet just nu. Alla har en åsikt om hur dessa verktyg är bra eller dåliga för samhället och vad de betyder för framtiden för AI. Google fick mycket kritik för sin nya modell BARD som fick en komplex fråga fel (lite). När de frågades “Vilka nya upptäckter från rymdteleskopet James Webb kan jag berätta för min 9-åring om?” – gav chatboten tre svar, varav 2 var rätt och 1 var fel. Det felaktiga svaret var att den första “exoplanet”-bilden togs av JWST, vilket var fel. Så i princip hade modellen en felaktig faktisk kunskapsbas. För att stora språkmodeller ska vara effektiva behöver vi ett sätt att hålla dessa fakta uppdaterade eller komplettera fakta med ny kunskap.

Låt oss först titta på hur fakta lagras i en stor språkmodell (LLM). Stora språkmodeller lagrar inte information och fakta på ett traditionellt sätt som databaser eller filer. Istället har de tränats på stora mängder textdata och har lärt sig mönster och relationer i den data. Detta möjliggör för dem att generera mänskliga svar på frågor, men de har ingen specifik lagringsplats för sin inlärda information. När de svarar på en fråga använder modellen sin utbildning för att generera ett svar baserat på den indata den får. Den information och kunskap som en språkmodell har är ett resultat av de mönster den har lärt sig i den data den tränades på, inte ett resultat av att den explicit lagras i modellens minne. Transformers-arkitekturen som de flesta moderna LLM bygger på har en intern kodning av fakta som används för att svara på frågan i prompten.

Så, om fakta i den interna minnet av LLM är felaktiga eller föråldrade, behöver ny information tillhandahållas via en prompt. Prompten är den text som skickas till LLM med frågan och stödande bevis som kan vara några nya eller korrigeringar av fakta. Här är 3 sätt att gå tillväga.

1. Ett sätt att korrigera de kodade fakta i en LLM är att tillhandahålla nya fakta som är relevanta för sammanhanget med hjälp av en extern kunskapsbas. Denna kunskapsbas kan vara API-anrop för att hämta relevant information eller en sökning i en SQL-, No-SQL- eller vektordatabas. Mer avancerad kunskap kan extraheras från en kunskapsgraf som lagrar dataentiteter och relationer mellan dem. Beroende på den information som användaren frågar efter kan den relevanta kontextinformationen hämtas och ges som ytterligare fakta till LLM. Dessa fakta kan också formateras för att se ut som träningsexempel för att förbättra inlärningsprocessen. Till exempel kan du skicka en samling fråga-svarspar för att modellen ska lära sig att ge svar.

2. Ett mer innovativt (och dyrare) sätt att komplettera LLM är faktisk finjustering med hjälp av träningsdata. Istället för att fråga en kunskapsbas för specifika fakta för att lägga till, bygger vi en träningsdataset genom att samppla kunskapsbasen. Med hjälp av övervakad inlärningstekniker som finjustering kan vi skapa en ny version av LLM som tränats på denna ytterligare kunskap. Denna process är vanligtvis dyr och kan kosta flera tusen dollar för att bygga och underhålla en finjusterad modell i OpenAI. Naturligtvis förväntas kostnaden att bli billigare över tiden.

3. Ett annat alternativ är att använda metoder som förstärkt inlärning (RL) för att träna en agent med mänsklig återkoppling och lära en policy för att svara på frågor. Denna metod har varit mycket effektiv för att bygga mindre modeller som blir bra på specifika uppgifter. Till exempel den berömda ChatGPT som släpptes av OpenAI tränades på en kombination av övervakad inlärning och RL med mänsklig återkoppling.

Sammanfattningsvis är detta ett starkt utvecklande område där varje stor företag vill delta och visa sin differentiering. Vi kommer snart att se stora LLM-verktyg i de flesta områden som detaljhandel, hälsovård och bankväsende som kan svara på ett mänskligt sätt och förstå nyanserna i språket. Dessa LLM-baserade verktyg integrerade med företagsdata kan strömlinjeforma tillgång och göra rätt data tillgänglig för rätt personer vid rätt tidpunkt.