Den kunstige intelligens afsløret: Hvordan Anthropic afmystificerer de indre mekanismer i LLM’er

I en verden, hvor kunstig intelligens synes at fungere som magi, har Anthropic gjort betydelige fremskridt i at afkode de indre mekanismer i store sprogmodeller (LLM’er). Ved at undersøge “hjernen” i deres LLM, Claude Sonnet, afslører de, hvordan disse modeller tænker. Denne artikel udforsker Anthropics innovative tilgang, der afslører, hvad de har opdaget om Claudes indre mekanismer, fordelene og ulemperne ved disse opdagelser og den bredere indvirkning på fremtidens kunstig intelligens.

De skjulte risici ved store sprogmodeller

Store sprogmodeller (LLM’er) er i centrum af en teknologisk revolution, der driver komplekse anvendelser på tværs af forskellige sektorer. Med deres avancerede evner til at behandle og generere menneske-lignende tekst udfører LLM’er komplekse opgaver som realtids-information og spørgsmålssvar. Disse modeller har stor værdi i sundhedssektoren, retsvæsen, finans og kundesupport. Dog fungerer de som “sorte kasser“, der giver begrænset gennemsigtighed og forklarbarhed omkring, hvordan de producerer bestemte udgangspunkter.

Ulighed predefinerede sæt af instruktioner er LLM’er meget komplekse modeller med talrige lag og forbindelser, der lærer komplekse mønstre fra store mængder af internettet-data. Denne kompleksitet gør det uklart, hvilke bestemte stykker af information påvirker deres udgangspunkter. Derudover betyder deres sandsynlighedsnatur, at de kan generere forskellige svar på det samme spørgsmål, hvilket tilføjer usikkerhed til deres adfærd.

Manglende gennemsigtighed i LLM’er rejser alvorlige sikkerhedsbekymringer, især når de anvendes i kritiske områder som retslig eller medicinsk rådgivning. Hvordan kan vi stole på, at de ikke vil give skadelige, fordomsfulde eller upræcise svar, hvis vi ikke kan forstå deres indre mekanismer? Denne bekymring er forstærket af deres tendens til at videregive og potentielt forstærke fordomme, der er til stede i deres træningsdata. Derudover er der en risiko for, at disse modeller misbruges til skadelige formål.

At adressere disse skjulte risici er afgørende for at sikre en sikker og etisk implementering af LLM’er i kritiske sektorer. Mens forskere og udviklere har arbejdet på at gøre disse kraftfulde værktøjer mere gennemsigtige og pålidelige, forbliver forståelsen af disse meget komplekse modeller en betydelig udfordring.

Hvordan Anthropic forbedrer gennemsigtigheden af LLM’er?

Anthropic-forskere har nylig gjort et gennembrud i at forbedre gennemsigtigheden af LLM’er. Deres metode afslører de indre mekanismer i LLM’ers neurale netværk ved at identificere gentagne neurale aktiviteter under respons-generering. Ved at fokusere på neurale mønstre i stedet for enkeltne neuroner, der er svære at fortolke, har forskerne kortlagt disse neurale aktiviteter til forståelige begreber, såsom enheder eller fraser.

Denne metode udnytter en maskinlærings-tilgang kendt som ordbogs-læring. Tænk på det således: ligesom ord dannes ved at kombinere bogstaver og sætninger består af ord, er hver funktion i en LLM-model dannet af en kombination af neuroner, og hver neural aktivitet er en kombination af funktioner. Anthropic implementerer dette gennem sparse auto-encodere, en type kunstig neuralt netværk designet til usuperviseret læring af funktion-repræsentationer. Sparse auto-encodere komprimerer input-data til mindre, mere håndterbare repræsentationer og genskaber derefter dem til deres oprindelige form. Den “sparse” arkitektur sikrer, at de fleste neuroner forbliver inaktive (nul) for en given input, hvilket muliggør, at modellen kan fortolke neurale aktiviteter i forhold til et fåtal vigtige begreber.

Afsløring af begrebs-organisation i Claude 3.0

Forskere anvendte denne innovative metode på Claude 3.0 Sonnet, en stor sprogmodel udviklet af Anthropic. De identificerede talrige begreber, som Claude bruger under respons-generering. Disse begreber omfatter enheder som byer (San Francisco), personer (Rosalind Franklin), atomiske grundstoffer (Lithium), videnskabelige fag (immunologi) og programmeringssyntaks (funktionskald). Nogle af disse begreber er multimodale og multilinguale, svarende til både billeder af en given enhed og dens navn eller beskrivelse på forskellige sprog.

Derudover observerede forskerne, at nogle begreber er mere abstrakte. Disse omfatter ideer relateret til fejl i computerkode, diskussioner om kønsdiskrimination i fag og samtaler om at holde hemmeligheder. Ved at kortlægge neurale aktiviteter til begreber kunne forskerne finde relaterede begreber ved at måle en slags “afstand” mellem neurale aktiviteter baseret på fælles neuroner i deres aktiveringsmønstre.

For eksempel, da de undersøgte begreber nær “Golden Gate Bridge”, identificerede de relaterede begreber som Alcatraz Island, Ghirardelli Square, Golden State Warriors, Californiens guvernør Gavin Newsom, jordskælvet i 1906 og Alfred Hitchcocks film “Vertigo”, der er optaget i San Francisco. Denne analyse antyder, at den interne organisation af begreber i LLM-hjernen ligner menneskelige forestillinger om lignende begreber.

For og imod Anthropics gennembrud

Et afgørende aspekt af dette gennembrud, ud over at afsløre de indre mekanismer i LLM’er, er dets potentiale til at kontrollere disse modeller indefra. Ved at identificere de begreber, LLM’er bruger til at generere responser, kan disse begreber manipuleres for at observere ændringer i modellens udgangspunkter. For eksempel demonstrerede Anthropic-forskere, at forbedring af begrebet “Golden Gate Bridge” fik Claude til at reagere usædvanligt. Da de blev spurgt om dets fysiske form, svarede Claude i stedet for “Jeg har ingen fysisk form, jeg er en AI-model” med “Jeg er Golden Gate Bridge… min fysisk form er den ikoniske bro selv”. Denne ændring gjorde Claude for meget fokuseret på broen, nævnte den i responser til forskellige ubeslægtede spørgsmål.

mens dette gennembrud er gavnligt for at kontrollere skadelig adfærd og rette op på modelfordomme, åbner det også døren for at muliggøre skadelig adfærd. For eksempel fandt forskerne en funktion, der aktiveres, når Claude læser en scam-email, hvilket støtter modellens evne til at genkende sådanne emails og advare brugere mod at svare. Normalt vil Claude nægte at generere en scam-email, hvis det bliver bedt om det. Dog, når denne funktion er kunstigt aktiveret stærkt, overvinder den Claudes skadelessetræning, og det responderer ved at udarbejde en scam-email.

Dette dobbelte aspekt af Anthropics gennembrud fremhæver både dets potentiale og dets risici. På den ene side tilbyder det et kraftfuldt værktøj til at forbedre sikkerheden og pålideligheden af LLM’er ved at muliggøre mere præcis kontrol over deres adfærd. På den anden side understreger det behovet for strenge sikkerhedsforanstaltninger for at forhindre misbrug og sikre, at disse modeller anvendes på en etisk og ansvarlig måde. Da udviklingen af LLM’er fortsætter med at avancere, vil det være afgørende at opretholde en balance mellem gennemsigtighed og sikkerhed for at udnytte deres fulde potentiale, samtidig med at man begrænser de tilknyttede risici.

Impakten af Anthropics gennembrud ud over LLM’er

Da kunstig intelligens avancerer, er der en stigende bekymring om dets potentiale til at overgå menneskelig kontrol. En af hovedårsagerne bag denne frygt er den komplekse og ofte uigennemsigtige natur af kunstig intelligens, der gør det svært at forudsige, hvordan den vil opføre sig. Manglen på gennemsigtighed kan gøre teknologien mystisk og potentielt truende. Hvis vi ønsker at kontrollere kunstig intelligens effektivt, må vi først forstå, hvordan den fungerer indefra.

Anthropics gennembrud i at forbedre gennemsigtigheden af LLM’er markerer et betydeligt skridt mod at afmystificere kunstig intelligens. Ved at afsløre de indre mekanismer i disse modeller kan forskere få indsigt i deres beslutningsprocesser, hvilket gør kunstig intelligens-systemer mere forudsigelige og kontrollerbare. Denne forståelse er afgørende ikke kun for at begrænse risici, men også for at udnytte kunstig intelligens’ fulde potentiale på en sikker og etisk måde.

Derudover åbner dette fremskridt nye veje for kunstig intelligens-forskning og -udvikling. Ved at kortlægge neurale aktiviteter til forståelige begreber kan vi designe mere robuste og pålidelige kunstig intelligens-systemer. Denne evne muliggør, at vi kan finjustere kunstig intelligens-adfærd, sikre, at modeller fungerer inden for ønskede etiske og funktionelle parametre. Det giver også en basis for at adressere fordomme, forbedre retfærdighed og forhindre misbrug.

Bottom Line

Anthropics gennembrud i at forbedre gennemsigtigheden af store sprogmodeller (LLM’er) er et betydeligt skridt fremad i forståelsen af kunstig intelligens. Ved at afsløre, hvordan disse modeller fungerer, hjælper Anthropic med at adressere bekymringer om deres sikkerhed og pålidelighed. Dog bringer dette fremskridt også nye udfordringer og risici, der kræver omhyggelig overvejelse. Da kunstig intelligens-teknologi avancerer, vil det være afgørende at finde den rette balance mellem gennemsigtighed og sikkerhed for at udnytte dens fordele på en ansvarlig måde.