Hoe denkt Claude? Anthropic’s zoektocht naar het ontsluiten van de black box van AI

Grote taalmodellen (LLM’s) zoals Claude hebben de manier waarop we technologie gebruiken veranderd. Ze zijn de kracht achter tools zoals chatbots, helpen bij het schrijven van essays en zelfs het creëren van poëzie. Maar ondanks hun verbazingwekkende mogelijkheden zijn deze modellen nog steeds in veel opzichten een mysterie. Mensen noemen ze vaak een “black box” omdat we kunnen zien wat ze zeggen, maar niet hoe ze het figureren. Dit gebrek aan begrip creëert problemen, vooral in belangrijke gebieden zoals geneeskunde of recht, waar fouten of verborgen vooroordelen echte schade kunnen veroorzaken.

Het begrijpen van hoe LLM’s werken is essentieel voor het opbouwen van vertrouwen. Als we niet kunnen verklaren waarom een model een bepaald antwoord gaf, is het moeilijk om de resultaten te vertrouwen, vooral in gevoelige gebieden. Interpretatie helpt ook bij het identificeren en corrigeren van vooroordelen of fouten, waardoor de modellen veilig en ethisch zijn. Als een model bijvoorbeeld consistent bepaalde standpunten bevordert, kan het weten waarom helpen bij het corrigeren ervan. Deze behoefte aan duidelijkheid is wat de onderzoekers ertoe aanzet om deze modellen transparanter te maken.

Anthropic, het bedrijf achter Claude, heeft gewerkt aan het openen van deze black box. Ze hebben spannende vooruitgang geboekt in het begrijpen van hoe LLM’s denken, en dit artikel verkent hun doorbraken in het maken van Claude’s processen gemakkelijker te begrijpen.

Claude’s gedachten in kaart brengen

In het midden van 2024 maakte Anthropic’s team een spannende ontdekking. Ze creëerden een basis “kaart” van hoe Claude informatie verwerkt. Met behulp van een techniek genaamd dictionary learning, vonden ze miljoenen patronen in Claude’s “brein” – zijn neurale netwerk. Elk patroon, of “functie”, is verbonden met een specifiek idee. Sommige functies helpen Claude bij het herkennen van steden, beroemde mensen of coderingsfouten. Andere zijn verbonden met moeilijkere onderwerpen, zoals geslachtsbias of geheimhouding.

Onderzoekers ontdekten dat deze ideeën niet geïsoleerd zijn binnen individuele neuronen. In plaats daarvan zijn ze verspreid over veel neuronen in Claude’s netwerk, waarbij elke neuron bijdraagt aan verschillende ideeën. Die overlap maakte het voor Anthropic moeilijk om deze ideeën in de eerste plaats te begrijpen. Maar door het opsporen van deze terugkerende patronen begonnen Anthropic’s onderzoekers te ontcijferen hoe Claude zijn gedachten organiseert.

Claude’s redenering traceren

Vervolgens wilde Anthropic zien hoe Claude deze gedachten gebruikt om beslissingen te nemen. Ze bouwden onlangs een tool genaamd attribution graphs, die werkt als een stap-voor-stap gids voor Claude’s denkproces. Elk punt op de grafiek is een idee dat in Claude’s geest oplicht, en de pijlen laten zien hoe een idee overgaat in het volgende. Deze grafiek laat onderzoekers toe om te volgen hoe Claude een vraag omzet in een antwoord.

Om beter te begrijpen hoe attribution graphs werken, kan men het volgende voorbeeld overwegen: wanneer men vraagt “Wat is de hoofdstad van de staat met Dallas?”, moet Claude beseffen dat Dallas in Texas ligt, en vervolgens herinneren dat de hoofdstad van Texas Austin is. De attribution graph toonde dit exacte proces – een deel van Claude markeerde “Texas”, wat leidde tot een ander deel dat “Austin” koos. Het team testte het zelfs door het “Texas”-deel aan te passen, en inderdaad veranderde het antwoord. Dit toont aan dat Claude niet zomaar gokt – het werkt door het probleem heen, en nu kunnen we het zien gebeuren.

Waarom dit ertoe doet: een analogie uit de biologische wetenschappen

Om te zien waarom dit ertoe doet, is het handig om te denken aan enkele belangrijke ontwikkelingen in de biologische wetenschappen. Net zoals de uitvinding van de microscoop wetenschappers in staat stelde om cellen te ontdekken – de verborgen bouwstenen van het leven – laten deze interpretatie-tools AI-onderzoekers toe om de bouwstenen van de gedachte in modellen te ontdekken. En net zoals het in kaart brengen van neurale circuits in de hersenen of het sequencen van het genoom de weg vrijmaakte voor doorbraken in de geneeskunde, kan het in kaart brengen van de interne werking van Claude de weg vrijmaken voor meer betrouwbare en controleerbare machine-intelligentie. Deze interpretatie-tools kunnen een vitale rol spelen, ons helpend om een blik te werpen in het denkproces van AI-modellen.

De uitdagingen

Ondanks alle vooruitgang zijn we nog ver verwijderd van een volledig begrip van LLM’s zoals Claude. Op dit moment kunnen attribution graphs slechts ongeveer één op de vier van Claude’s beslissingen verklaren. Terwijl de kaart van zijn functies indrukwekkend is, dekt het slechts een deel van wat er gaande is in Claude’s brein. Met miljarden parameters voeren Claude en andere LLM’s ontelbare berekeningen uit voor elke taak. Het traceren van elke berekening om te zien hoe een antwoord vorm krijgt is als het volgen van elke neuron die vuurt in een menselijke hersenen tijdens een enkele gedachte.

Er is ook de uitdaging van “hallucinaties“. Soms genereren AI-modellen antwoorden die plausibel klinken maar eigenlijk onjuist zijn – zoals het met vertrouwen stellen van een onjuist feit. Dit gebeurt omdat de modellen afhankelijk zijn van patronen uit hun trainingsdata in plaats van een echt begrip van de wereld. Het begrijpen waarom ze afdwalen in fabricatie blijft een moeilijk probleem, dat de lacunes in ons begrip van hun interne werking benadrukt.

Vooroordeel is een andere significante obstakel. AI-modellen leren van enorme datasets die van het internet zijn gehaald, die inherent menselijke vooroordelen bevatten – stereotypen, vooroordelen en andere maatschappelijke gebreken. Als Claude deze vooroordelen uit zijn trainingsdata oppikt, kan het ze weerspiegelen in zijn antwoorden. Het ontrafelen van waar deze vooroordelen vandaan komen en hoe ze het redeneren van het model beïnvloeden is een complexe uitdaging die zowel technische oplossingen als zorgvuldige overweging van data en ethiek vereist.

De bodemlijn

Anthropic’s werk aan het maken van grote taalmodellen (LLM’s) zoals Claude begrijpelijker is een significante stap voorwaarts in AI-transparantie. Door te laten zien hoe Claude informatie verwerkt en beslissingen neemt, gaan ze vooruit in het aanpakken van sleutelzorgen over AI-verantwoordelijkheid. Deze vooruitgang opent de deur voor de veilige integratie van LLM’s in kritieke sectoren zoals de gezondheidszorg en het recht, waar vertrouwen en ethiek essentieel zijn.

Als methoden voor het verbeteren van interpretatie ontwikkelen, kunnen industrieën die voorzichtig waren met het adopteren van AI nu opnieuw overwegen. Transparante modellen zoals Claude bieden een duidelijke weg naar de toekomst van AI – machines die niet alleen menselijke intelligentie repliceren maar ook hun redenering verklaren.