Hur tänker Claude? Anthropics strävan att låsa upp AI:s svarta låda

Stora språkmodeller (LLM) som Claude har förändrat hur vi använder teknologi. De driver verktyg som chatbots, hjälper till att skriva uppsatser och skapar till och med poesi. Men trots deras fantastiska förmågor är dessa modeller fortfarande ett mysterium på många sätt. Människor kallar ofta dem för en “svart låda” eftersom vi kan se vad de säger men inte hur de kommer fram till det. Denna brist på förståelse skapar problem, särskilt inom viktiga områden som medicin eller juridik, där misstag eller dolda fördomar kan orsaka verklig skada.

Att förstå hur LLM fungerar är avgörande för att bygga förtroende. Om vi inte kan förklara varför en modell gav ett visst svar är det svårt att lita på dess resultat, särskilt inom känsliga områden. Tydlighet hjälper också till att identifiera och korrigera fördomar eller fel, vilket säkerställer att modellerna är säkra och etiska. Till exempel, om en modell konsekvent föredrar vissa perspektiv, kan man genom att veta varför korrigera det. Detta behov av tydlighet driver forskningen att göra dessa modeller mer transparenta.

Anthropic, företaget bakom Claude, har arbetat för att öppna denna svarta låda. De har gjort spännande framsteg i att förstå hur LLM tänker, och denna artikel utforskar deras genombrott i att göra Claudes processer lättare att förstå.

Kartlägga Claudes tankar

I mitten av 2024 gjorde Anthropics team ett spännande genombrott. De skapade en grundläggande “karta” över hur Claude bearbetar information. Med hjälp av en teknik som kallas ordlista-lärande, fann de miljontals mönster i Claudes “hjärna” – dess neuronnät. Varje mönster, eller “funktion”, kopplar till en specifik idé. Till exempel hjälper vissa funktioner Claude att upptäcka städer, kända personer eller kodningsfel. Andra kopplar till svårare ämnen, som könsfördomar eller hemligheter.

Forskare upptäckte att dessa idéer inte är isolerade inom enskilda neuroner. Istället är de utspridda över många neuroner i Claudes nätverk, med varje neuron som bidrar till olika idéer. Detta överlapp made det svårt för Anthropic att förstå dessa idéer från början. Men genom att upptäcka dessa återkommande mönster började Anthropics forskare att avkoda hur Claude organiserar sina tankar.

Spåra Claudes resonemang

Nästa steg var att Anthropic ville se hur Claude använder dessa tankar för att fatta beslut. De byggde nyligen ett verktyg som kallas attributionsgrafer, som fungerar som en steg-för-steg-guide till Claudes tänkande. Varje punkt på grafen är en idé som lyser upp i Claudes sinne, och pilarna visar hur en idé flödar in i nästa. Denna graf låter forskare spåra hur Claude omvandlar en fråga till ett svar.

För att bättre förstå hur attributionsgrafer fungerar, överväg följande exempel: när man frågar “Vad är huvudstaden i delstaten med Dallas?” måste Claude förstå att Dallas ligger i Texas och sedan komma ihåg att Texas huvudstad är Austin. Attributionsgrafen visade exakt denna process – en del av Claude markerade “Texas”, vilket ledde till att en annan del valde “Austin”. Teamet testade det genom att ändra “Texas”-delen, och tillräckligt, ändrades svaret. Detta visar att Claude inte bara gissar – det arbetar igenom problemet, och nu kan vi se det hända.

Varför detta är viktigt: En analogi från biologiska vetenskaper

För att se varför detta är viktigt är det lämpligt att tänka på några stora framsteg inom biologiska vetenskaper. Precis som uppfinningen av mikroskopet tillät forskare att upptäcka celler – de dolda byggstenarna i livet – tillåter dessa tydlighetsverktyg AI-forskare att upptäcka byggstenarna av tankar inom modeller. Och precis som kartläggning av neurala kretsar i hjärnan eller sekvensering av genomet banade väg för genombrott inom medicin, kan kartläggning av Claudes inre arbete bana väg för mer tillförlitlig och kontrollerbar maskinintelligens. Dessa tydlighetsverktyg kan spela en avgörande roll, som hjälper oss att titta in i tänkandeprocessen hos AI-modeller.

Utmaningarna

Även med all denna framgång är vi fortfarande långt ifrån att fullständigt förstå LLM som Claude. Just nu kan attributionsgrafer bara förklara cirka en av fyra av Claudes beslut. Medan kartan över dess funktioner är imponerande, täcker den bara en del av vad som händer inom Claudes hjärna. Med miljarder parametrar utför Claude och andra LLM otaliga beräkningar för varje uppgift. Att spåra var och en för att se hur ett svar formas är som att följa varje neuron som avfyras i en mänsklig hjärna under en enda tanke.

Det finns också utmaningen med “hallucinationer“. Ibland genererar AI-modeller svar som låter trovärdiga men faktiskt är falska – som att med säkerhet påstå ett felaktigt faktum. Detta sker eftersom modellerna förlitar sig på mönster från sin träningsdata snarare än en sann förståelse av världen. Att förstå varför de avviker mot fabrikation förblir ett svårt problem, som belyser luckor i vår förståelse av deras inre arbete.

Fördomar är ett annat betydande hinder. AI-modeller lär sig från stora datamängder som skrapats från internet, som ofta bär på mänskliga fördomar – stereotyper, fördomar och andra samhällsbrister. Om Claude tar upp dessa fördomar från sin träningsdata kan den reflektera dem i sina svar. Att packa upp var dessa fördomar kommer från och hur de påverkar modellens resonemang är en komplex utmaning som kräver både tekniska lösningar och noggrann övervägning av data och etik.

Sammanfattning

Anthropics arbete med att göra stora språkmodeller (LLM) som Claude mer förståeliga är ett betydande steg framåt i AI-transparens. Genom att avslöja hur Claude bearbetar information och fattar beslut, är de på väg mot att hantera nyckelbekymmer om AI-ansvar. Denna framgång öppnar dörren för en säker integration av LLM i kritiska sektorer som hälsovård och juridik, där förtroende och etik är avgörande.

Såsom metoder för att förbättra tydlighet utvecklas, kan industrier som varit försiktiga med att anta AI nu ompröva. Transparenta modeller som Claude erbjuder en tydlig väg till AI:s framtid – maskiner som inte bara replikerar mänsklig intelligens utan också förklarar sitt resonemang.