Hur tänker Claude? Anthropic’s strävan att låsa upp AI:s svarta låda

Stora språkmodeller (LLM) som Claude har förändrat hur vi använder teknologi. De driver verktyg som chatbots, hjälper till att skriva uppsatser och till och med skapar poesi. Men trots deras fantastiska förmågor är dessa modeller fortfarande ett mysterium på många sätt. Människor kallar ofta dem för en “svart låda” eftersom vi kan se vad de säger men inte hur de kommer fram till det. Detta bristande förstånd skapar problem, särskilt inom viktiga områden som medicin eller juridik, där misstag eller dolda fördomar kan orsaka verklig skada.

Att förstå hur LLM fungerar är avgörande för att bygga förtroende. Om vi inte kan förklara varför en modell gav ett visst svar är det svårt att lita på dess resultat, särskilt inom känsliga områden. Tydlighet hjälper också till att identifiera och korrigera fördomar eller fel, vilket säkerställer att modellerna är säkra och etiska. Till exempel, om en modell konsekvent föredrar vissa perspektiv, kan vi förstå varför och korrigera det. Detta behov av tydlighet är vad som driver forskningen för att göra dessa modeller mer transparenta.

Anthropic, företaget bakom Claude, har arbetat för att öppna denna svarta låda. De har gjort spännande framsteg i att förstå hur LLM fungerar, och denna artikel utforskar deras genombrott i att göra Claudes processer lättare att förstå.

Kartläggning av Claudes tankar

I mitten av 2024 gjorde Anthropics team ett spännande genombrott. De skapade en grundläggande “karta” över hur Claude bearbetar information. Med hjälp av en teknik som kallas ordlista, fann de miljontals mönster i Claudes “hjärna” – dess neuronnät. Varje mönster, eller “funktion”, kopplar till en specifik idé. Till exempel hjälper vissa funktioner Claude att upptäcka städer, kända personer eller kodningsfel. Andra kopplar till svårare ämnen, som könsfördomar eller hemligheter.

Forskare upptäckte att dessa idéer inte är isolerade inom enskilda neuroner. Istället är de spridda över många neuroner i Claudes nätverk, med varje neuron som bidrar till olika idéer. Detta överlapp gjorde det svårt för Anthropic att förstå dessa idéer från början. Men genom att upptäcka dessa återkommande mönster började Anthropics forskare att avkoda hur Claude organiserar sina tankar.

Att spåra Claudes resonemang

Därefter ville Anthropic se hur Claude använder dessa tankar för att fatta beslut. De byggde nyligen ett verktyg som kallas attributionsgrafer, som fungerar som en steg-för-steg-guide till Claudes tänkande. Varje punkt på grafen är en idé som lyser upp i Claudes sinne, och pilarna visar hur en idé flödar in i nästa. Denna graf låter forskare spåra hur Claude omvandlar en fråga till ett svar.

För att bättre förstå attributionsgrafer, överväg följande exempel: när Claude får frågan “Vad är huvudstaden i delstaten med Dallas?” måste den inse att Dallas ligger i Texas, och sedan komma ihåg att Texas huvudstad är Austin. Attributionsgrafen visade exakt denna process – en del av Claude markerade “Texas”, som ledde till en annan del som valde “Austin”. Teamet testade det genom att ändra “Texas”-delen, och tillräckligt nog ändrades svaret. Detta visar att Claude inte bara gissar – den arbetar igenom problemet, och nu kan vi se det hända.

Varför detta är viktigt: En analogi från biologiska vetenskaper

För att förstå varför detta är viktigt är det lämpligt att tänka på några stora framsteg inom biologiska vetenskaper. Precis som uppfinningen av mikroskopet tillät forskare att upptäcka celler – de dolda byggstenarna för livet – tillåter dessa tolkningsverktyg AI-forskare att upptäcka byggstenarna för tanken inom modeller. Och precis som kartläggning av neurala kretsar i hjärnan eller sekvensering av genomet banade väg för genombrott inom medicin, kan kartläggning av Claudes inre arbete bana väg för mer tillförlitlig och kontrollerbar maskinintelligens. Dessa tolkningsverktyg kan spela en avgörande roll, som hjälper oss att titta in i tänkandet hos AI-modeller.

Utmaningarna

Även med all denna framgång är vi fortfarande långt ifrån att fullständigt förstå LLM som Claude. Just nu kan attributionsgrafer bara förklara ungefär en av fyra av Claudes beslut. Medan kartan över dess funktioner är imponerande, täcker den bara en del av vad som händer inom Claudes hjärna. Med miljarder parametrar utför Claude och andra LLM otaliga beräkningar för varje uppgift. Att spåra varje en för att se hur ett svar formas är som att följa varje neuron som avfyrar i en mänsklig hjärna under en enda tanke.

Det finns också utmaningen med “hallucination”. Ibland genererar AI-modeller svar som låter trovärdiga men är faktiskt falska – som att med säkerhet påstå en felaktig sak. Detta sker eftersom modellerna förlitar sig på mönster från sin träningsdata snarare än en sann förståelse av världen. Att förstå varför de avviker från verkligheten är fortfarande ett svårt problem, som belyser luckor i vår förståelse av deras inre arbete.

Fördom är ett annat betydande hinder. AI-modeller lär sig från enorma datamängder som skrapats från internet, som ofta bär på mänskliga fördomar – stereotyper, fördomar och andra samhälleliga brister. Om Claude tar upp dessa fördomar från sin träningsdata kan den återspegla dem i sina svar. Att packa upp var dessa fördomar kommer ifrån och hur de påverkar modellens resonemang är en komplex utmaning som kräver både tekniska lösningar och noggrann övervägning av data och etik.

Slutsatsen

Anthropics arbete med att göra stora språkmodeller (LLM) som Claude mer förståeliga är ett betydande steg framåt i AI-transparens. Genom att avslöja hur Claude bearbetar information och fattar beslut, är de på väg att hantera viktiga problem om AI-ansvar. Denna framgång öppnar dörren för en säker integration av LLM i kritiska sektorer som hälsovård och juridik, där förtroende och etik är avgörande.

Såsom metoder för att förbättra tolkbarhet utvecklas, kan branscher som varit försiktiga med att anta AI nu ompröva. Transparenta modeller som Claude tillhandahåller en tydlig väg till AI:s framtid – maskiner som inte bara replikerar mänsklig intelligens utan också förklarar sitt resonemang.