Comment Claude pense ? La quête d’Anthropic pour déverrouiller la boîte noire de l’IA

Les grands modèles de langage (LLM) comme Claude ont changé la façon dont nous utilisons la technologie. Ils alimentent des outils comme les chatbots, aident à rédiger des essais et créent même de la poésie. Mais malgré leurs capacités incroyables, ces modèles sont encore un mystère à bien des égards. Les gens les appellent souvent une “boîte noire” parce que nous pouvons voir ce qu’ils disent, mais pas comment ils arrivent à ces conclusions. Ce manque de compréhension crée des problèmes, en particulier dans des domaines importants comme la médecine ou le droit, où les erreurs ou les préjugés cachés pourraient causer des dommages réels.

Comprendre comment fonctionnent les LLM est essentiel pour établir la confiance. Si nous ne pouvons pas expliquer pourquoi un modèle a donné une réponse particulière, il est difficile de faire confiance à ses résultats, en particulier dans des domaines sensibles. L’interprétabilité aide également à identifier et à corriger les préjugés ou les erreurs, en garantissant que les modèles sont sûrs et éthiques. Par exemple, si un modèle favorise systématiquement certaines perspectives, savoir pourquoi peut aider les développeurs à les corriger. Ce besoin de clarté est ce qui pousse la recherche à rendre ces modèles plus transparents.

Anthropic, l’entreprise derrière Claude, travaille à ouvrir cette boîte noire. Ils ont fait des progrès excitants dans la compréhension de la façon dont les LLM pensent, et cet article explore leurs avancées dans la compréhension des processus de Claude.

Cartographie des pensées de Claude

En milieu 2024, l’équipe d’Anthropic a réalisé une percée. Ils ont créé une carte de base de la façon dont Claude traite l’information. En utilisant une technique appelée apprentissage de dictionnaire, ils ont trouvé des millions de modèles dans le “cerveau” de Claude – son réseau de neurones. Chaque modèle, ou “caractéristique”, est lié à une idée spécifique. Par exemple, certaines caractéristiques aident Claude à repérer les villes, les personnes célèbres ou les erreurs de codage. D’autres sont liées à des sujets plus complexes, comme les préjugés de genre ou la confidentialité.

Les chercheurs ont découvert que ces idées ne sont pas isolées dans des neurones individuels. Au lieu de cela, elles sont réparties sur de nombreux neurones du réseau de Claude, avec chaque neurone contribuant à plusieurs idées. Cette superposition a rendu difficile pour Anthropic de comprendre ces idées au début. Mais en repérant ces modèles récurrents, les chercheurs d’Anthropic ont commencé à décoder comment Claude organise ses pensées.

Retracer le raisonnement de Claude

Ensuite, Anthropic a voulu voir comment Claude utilise ces pensées pour prendre des décisions. Ils ont récemment construit un outil appelé graphes d’attribution, qui fonctionne comme un guide étape par étape du processus de pensée de Claude. Chaque point sur le graphique est une idée qui s’allume dans l’esprit de Claude, et les flèches montrent comment une idée conduit à la suivante. Ce graphique permet aux chercheurs de suivre comment Claude transforme une question en réponse.

Pour mieux comprendre le fonctionnement des graphes d’attribution, considérons cet exemple : lorsqu’on lui demande “Quelle est la capitale de l’État où se trouve Dallas ?”, Claude doit réaliser que Dallas se trouve au Texas, puis se rappeler que la capitale du Texas est Austin. Le graphique d’attribution a montré ce processus exact – une partie de Claude a signalé “Texas”, ce qui a conduit une autre partie à choisir “Austin”. L’équipe a même testé en modifiant la partie “Texas”, et bien sûr, la réponse a changé. Cela montre que Claude ne devine pas simplement – il travaille sur le problème, et maintenant nous pouvons le voir se produire.

Pourquoi cela compte : Une analogie des sciences biologiques

Pour voir pourquoi cela compte, il est utile de penser à certains développements majeurs dans les sciences biologiques. Tout comme l’invention du microscope a permis aux scientifiques de découvrir les cellules – les blocs de construction cachés de la vie – ces outils d’interprétabilité permettent aux chercheurs en IA de découvrir les blocs de construction de la pensée à l’intérieur des modèles. Et tout comme la cartographie des circuits neuronaux dans le cerveau ou la séquençage du génome a ouvert la voie à des avancées en médecine, la cartographie des processus internes de Claude pourrait ouvrir la voie à une intelligence machine plus fiable et contrôlable. Ces outils d’interprétabilité pourraient jouer un rôle vital, nous permettant de jeter un coup d’œil dans le processus de pensée des modèles d’IA.

Les défis

Même avec tous ces progrès, nous sommes encore loin de comprendre pleinement les LLM comme Claude. Actuellement, les graphes d’attribution ne peuvent expliquer environ un quart des décisions de Claude. Alors que la carte de ses caractéristiques est impressionnante, elle ne couvre qu’une partie de ce qui se passe à l’intérieur du cerveau de Claude. Avec des milliards de paramètres, Claude et d’autres LLM effectuent des calculs innombrables pour chaque tâche. Retracer chacun pour voir comment une réponse se forme est comme essayer de suivre chaque neurone qui se déclenche dans un cerveau humain pendant une seule pensée.

Il y a également le défi de la “hallucination“. Parfois, les modèles d’IA génèrent des réponses qui semblent plausibles mais sont en réalité fausses – comme affirmer avec confiance un fait incorrect. Cela se produit parce que les modèles s’appuient sur des modèles provenant de leurs données de formation plutôt que sur une véritable compréhension du monde. Comprendre pourquoi ils s’écartent de la réalité reste un problème difficile, mettant en évidence les lacunes dans notre compréhension de leurs processus internes.

Les préjugés constituent un autre obstacle important. Les modèles d’IA apprennent à partir de vastes ensembles de données provenant d’Internet, qui portent naturellement les préjugés humains – stéréotypes, préjugés et autres défauts sociétaux. Si Claude adopte ces préjugés lors de sa formation, il peut les refléter dans ses réponses. Déterminer l’origine de ces préjugés et comment ils influencent le raisonnement du modèle est un défi complexe qui nécessite à la fois des solutions techniques et une considération attentive des données et de l’éthique.

Le fond du problème

Le travail d’Anthropic pour rendre les grands modèles de langage (LLM) comme Claude plus compréhensibles est un pas de géant en avant dans la transparence de l’IA. En révélant comment Claude traite l’information et prend des décisions, ils font progresser la résolution de préoccupations clés concernant la responsabilité de l’IA. Ce progrès ouvre la porte à une intégration sûre des LLM dans des secteurs critiques comme les soins de santé et le droit, où la confiance et l’éthique sont essentielles.

À mesure que les méthodes pour améliorer l’interprétabilité se développent, les industries qui ont été prudentes dans l’adoption de l’IA peuvent maintenant réévaluer leur position. Des modèles transparents comme Claude offrent un chemin clair vers l’avenir de l’IA – des machines qui ne reproduisent pas seulement l’intelligence humaine mais expliquent également leur raisonnement.