3 måter å holde stale fakta ferske i store språkmodeller

Store språkmodeller (LLM) som GPT3, ChatGPT og BARD er alle rage i dag. Alle har en mening om hvordan disse verktøyene er gode eller dårlige for samfunnet og hva de betyr for fremtiden til AI. Google fikk mye kritikk for sin nye modell BARD som feilaktig svarte på et komplekst spørsmål (lett). Når de ble spurt “Hva nye oppdagelser fra James Webb-teleskopet kan jeg fortelle min 9-årige om?” – svarte chatboten med tre svar, hvorav to var riktige og ett var feil. Det feilaktige svaret var at den første “eksoplanet”-bildet ble tatt av JWST, som var feil. Så i virkeligheten hadde modellen en feilaktig faktum lagret i sin kunnskapsbase. For store språkmodeller å være effektive, trenger vi en måte å holde disse faktumene oppdaterte eller supplere faktumene med ny kunnskap.

La oss først se på hvordan fakta lagres inne i en stor språkmodell (LLM). Store språkmodeller lagrer ikke informasjon og fakta på en tradisjonell måte som databaser eller filer. I stedet har de blitt trent på store mengder tekstdata og har lært mønster og relasjoner i denne dataen. Dette gjør det mulig for dem å generere menneskelignende svar på spørsmål, men de har ikke en spesifikk lagringsplass for den lærte informasjonen. Når de svarer på et spørsmål, bruker modellen sin trening til å generere et svar basert på innputtet de mottar. Informasjonen og kunnskapen som en språkmodell har, er et resultat av mønstrene den har lært i dataen den ble trent på, ikke et resultat av at den er eksplisitt lagret i modellens minne. Transformers-arkitekturen som de fleste moderne LLM-er er basert på, har en intern kodning av fakta som brukes til å svare på spørsmålet i prompten.

Så, hvis fakta inne i den interne minnet til LLM er feil eller stale, må ny informasjon bli gitt via en prompt. Prompt er teksten som sendes til LLM med spørsmålet og støttende bevis som kan være noen nye eller korrigerte fakta. Her er 3 måter å nærme seg dette på.

1. En måte å korrigere de kodete faktumene i en LLM på, er å gi nye fakta relevante for konteksten ved hjelp av en ekstern kunnskapsbase. Denne kunnskapsbasen kan være API-kall for å hente relevante opplysninger eller en søkning i en SQL-, No-SQL- eller vektor-database. Mer avansert kunnskap kan bli hentet fra en kunnskapsgraf som lagrer data-entiteter og relasjoner mellom dem. Avhengig av hva brukeren spør om, kan den relevante kontekst-informasjonen bli hentet og gitt som ekstra fakta til LLM. Disse faktumene kan også bli formatert for å se ut som treningseksempler for å forbedre læringsprosessen. For eksempel kan du sende en rekke spørsmål og svar-par for å lære modellen hvordan den skal svare.

2. En mer innovativ (og mer dyrekjøpt) måte å supplere LLM på, er faktisk finjustering ved hjelp av treningdata. I stedet for å spørre kunnskapsbasen for spesifikke fakta å legge til, bygger vi en treningssamling ved å sampile kunnskapsbasen. Ved hjelp av overvåket læringsmetoder som finjustering, kunne vi skape en ny versjon av LLM som er trent på denne ekstra kunnskapen. Denne prosessen er vanligvis dyrekjøpt og kan koste noen tusen dollar å bygge og vedlikeholde en finjustert modell i OpenAI. Selvfølgelig forventes kostnadene å bli billigere over tid.

3. En annen mulighet er å bruke metoder som Forsterkingslæring (RL) for å trene en agent med menneskelig tilbakemelding og lære en policy for å svare på spørsmål. Denne metoden har vært svært effektiv i å bygge mindre fotavtrykk-modeller som blir gode på spesifikke oppgaver. For eksempel var den berømte ChatGPT som ble lansert av OpenAI, trent på en kombinasjon av overvåket læringsmetoder og RL med menneskelig tilbakemelding.

I sammenfatning, dette er et høyt utviklingsområde hvor hver stor bedrift ønsker å komme inn og vise sin differensiering. Vi vil snart se store LLM-verktøy i de fleste områder som detaljhandel, helse og bank som kan svare på en menneskelignende måte og forstå nyansene i språket. Disse LLM-drevne verktøyene integrert med bedriftsdata kan strømlinje aksess og gjøre riktig data tilgjengelig for riktige personer på riktige tidspunkter.