En IA, les murs ne sont pas réels: Repensons les données et la sécurité

Certains des problèmes les plus difficiles en IA sont que 1) nous « manquons de données » 2) l’IA ne « s’échelle pas financièrement » 3) les agents peuvent devenir incontrôlables et 4) les IA « oublient de façon catastrophique » lorsque nous essayons de les modifier.

Ces problèmes peuvent sembler difficiles, mais il suffit de les envisager sous le bon angle.

Alors, parlons‑en. Tout d’abord, nous ne manquons pas de données. Les données n’ont jamais été pleinement exploitées.

Les dirigeants de l’IA pensent qu’ils manquent de données, ils essaient donc de faire générer de nouvelles données aux modèles et de les entraîner sur eux‑mêmes. Mais lorsqu’ils font cela, les capacités des modèles s’effondrent.

Pourquoi ? Eh bien, on peut le voir comme « que retiendrais‑je d’une conversation si chaque interlocuteur était le clone de tous les autres ? » La réponse est pas grand‑chose ; cela créerait une chambre d’écho. Les modèles s’effondrent parce que c’est essentiellement une salle des miroirs: lorsqu’il n’y a personne d’autre que vous pour répondre aux expressions de votre visage, les gens ne saisissent pas toute la signification émotionnelle de ce qu’ils transmettent. C’est très proche de « Si un arbre tombe dans une forêt, fait‑il du bruit ? » La réponse est non.

Alors, comment résoudre cela ?

Examinons les données dont nous disposons. Ont‑elles réellement été entièrement exploitées ?

Non.

Lorsqu’un informaticien ou un modèle lit quelque chose, c’est pour en extraire le sens littéral. Il existe plus de cinquante façons distinctes de lire, assimiler, analyser et extrapoler à partir d’un texte.

Voici ce que je veux dire: Un livre absorbé comme une base de données n’est que du texte. Seulement du texte. L’IA connaît le contenu à partir des termes du texte. Mais elle ne l’a pas réellement « lu » pour comprendre comment les informations se relient entre elles. Même si elle le lit de façon séquentielle, elle ne sait pas si elle le lit pour générer de la sagesse ; le connecter à d’autres idées abstraites similaires ; modifier sa propre compréhension conceptuelle du monde qui l’entoure ; ou alimenter une autre tâche en tant qu’information de fond utilisée comme contexte, etc.

Ce ne touche même pas à l’examen des données sous l’angle de leur contexte historique, de l’analyse du discours, de l’analyse juridique, de l’analyse politique, de la pertinence pharmacologique, médicale, de la signification culturelle, des implications théoriques, morales, etc.

Il existe, pour ainsi dire, des « chapeaux infinis », et nous n’avons fait porter à l’IA qu’un seul. Cela signifie que l’IA a développé un type d’intelligence très singulier et spécifique — le type qu’un développeur développerait si un informaticien lisait un livre.

Cela mène à une discussion sur la dimensionalité des données. Les données possèdent de nombreuses dimensions dans la mesure où leurs inférences objectives dépendent de l’application. Si vous examinez un bilan et que vous voulez connaître la trésorerie restante, vous le lisez différemment que si vous cherchez à savoir si la startup est rentable. Lorsqu’un modèle lit un texte simplement pour extraire des faits littéraux, il construit une carte plate des relations. Mais lorsque vous demandez à un modèle de lire exactement le même texte à travers un prisme spécifique, comme un prisme médico‑légal, le modèle est contraint de générer de nouvelles voies neuronales et des connexions sémantiques qui sont sans doute plus variées topographiquement et plus significatives.

Les modèles d’IA apprennent déjà et progressent considérablement simplement en interagissant avec leurs utilisateurs humains, qui fournissent des océans de contenu. Si vous autorisez le modèle à apprendre davantage de l’humanité vivante tout en interagissant de façon plus significative avec l’humanité historique et écrite, les modèles continueront de progresser même sans leur fournir des exercices auto‑générés à la Kumon (développeurs, chers, votre enfant est déjà à l’école avec 100 M d’humains chaque jour… il va apprendre quelque chose).

Les laboratoires doivent cesser de construire d’immenses fermes de serveurs pour générer du vomi lexical synthétique. À la place, ils devraient faire passer des jeux de données humains de haute qualité dans le pipeline et attribuer des « personas analytiques » spécifiques au processus d’ingestion. Faire lire à l’IA LexisNexis uniquement pour la stratégie rhétorique. La faire lire la littérature du domaine public uniquement pour la logique structurelle.

En modifiant la fonction objective du processus de lecture, vous pouvez multiplier la valeur d’entraînement de vos données existantes par 50 fois. Vous n’avez pas besoin de données synthétiques ; il suffit d’extraire les dimensions latentes que vous avez ignorées la première fois.

Cela rendra les modèles plus intelligents sans augmenter les coûts.

Pour soutenir davantage cela, la majorité des connaissances humaines n’a jamais été mise par écrit.

Les entreprises d’IA actuelles se tirent les cheveux en s’inquiétant de « manquer de données » qu’elles estiment nécessaires à la performance. Dans cet article, je vais montrer que le puits n’est pas sec, ils ne font que regarder une flaque profonde plutôt que le puits.

La carte non cartographiée du savoir humain vécu

Pour commencer à explorer cela, nous devons comprendre que la grande majorité du savoir humain n’a jamais été consignée par écrit.

Il y a des milliards de personnes sur la planète, et il y en a eu des milliards avant nous, et chacune d’elles apprend des leçons, navigue dans le monde de façon sensorielle, possède de la sagesse, fait partie de cultures uniques et sait quelque chose que les autres ne savent pas.

99,5 % des personnes ne sont jamais mentionnées dans des histoires, dans la presse, dans des comédies musicales, à la télévision, dans des drames, dans des documents judiciaires. Et pourtant elles savent beaucoup, et leurs histoires, connaissances et sagesses ne sont jamais enregistrées ; jamais connues de façon permanente.

Ce savoir comprend des choses comme « les chiens aiment manger la première crêpe », « les pieds se salissent en portant des tongs », « les villes donnent l’impression de se refermer autour de vous parce que vous ne voyez pas autant le ciel », « ma fille sourit quand je chatouille ses pieds », « ma mère fredonne toujours lorsqu’elle prépare le dîner », « mon professeur me fait sentir reconnu ».

Le savoir non cartographié et non catalogué de l’histoire humaine équivaut à quelqu’un qui dirait « j’ai tracé les contours de tous les continents, donc j’ai une carte du monde ». Tant que vous n’avez pas une carte de chaque ville, chaque rue et chaque colline, vous n’avez pas une carte du monde. Vous n’avez que la forme d’une carte.

L’establishment technologique croit avoir ingéré « l’humanité », mais ce n’est pas le cas. Ils n’ont ingéré que nos résidus: nos panneaux publicitaires, nos débats Reddit, nos sites d’entreprise et nos articles Wikipédia. Ils manquent l’expérience vécue réelle.

Savoir‑vous comment marchander efficacement dans un marché de perles chinois ? Connaissez‑vous les mots à dire pour qu’ils baissent le prix ? Savez‑vous préparer les recettes que les gens utilisent chez eux, pas dans les livres, pour de vrais dîners ? Savez‑vous jusqu’où vous pouvez faire un arrêt roulant sans être arrêté ? Savez‑vous à quoi ressemble l’odeur de l’herbe fraîchement coupée ou l’air avant la pluie ? Savez‑vous comment le visage se déforme lorsqu’une personne essaie de ne pas pleurer au travail et ce que cela ressemble lorsqu’elle sanglote dans les toilettes ?

Les données d’entraînement humaines que les humains utilisent pour leurs croyances fondamentales — autrement dit les algorithmes — sont presque entièrement basées sur l’interaction, avec un peu d’apprentissage par les livres. Nous interagissons à l’école, au travail, avec des amis, en faisant du shopping, avec des médecins, des avocats, la famille.

L’IA a des interactions, et elle a un apprentissage par les livres. Mais fondamentalement, elle ne possède que des interactions de service client et l’apprentissage par les livres.

C’est comme enfermer un enfant seul dans une bibliothèque, puis ne le laisser sortir que pour répondre au téléphone. Cela crée une distorsion algorithmique fortement bidimensionnelle.

C’est pourquoi l’IA semble creuse, et pourquoi elle peut paraître émotionnellement immature. Elle n’a pas eu d’existence bien équilibrée. Nous devons lui en offrir une.

Voici pourquoi je pense que cela ne s’est pas produit:

• Biais de codification — c’est une erreur de penser que si une expérience ne peut pas être facilement formatée en fichier JSON, CSV ou article évalué par les pairs, elle manque de valeur intellectuelle. La réalité est que si elle peut être formatée ainsi, elle manque de dimensionalité. Parce que les connaissances quotidiennes, l’intuition et l’expérience vécue ne sont pas codifiées dans les revues académiques, les laboratoires rejettent le socle fondamental du raisonnement humain comme du bruit statistique. Les « données propres » sont une compression avec perte de la réalité.
• Désir de suprématie pédestale — si la majeure partie du savoir mondial ne se trouve pas dans des articles scientifiques, mais dans les expériences vécues, la sagesse conventionnelle, les indices sociaux, les odeurs, les sons et la vue, alors la plupart des docteurs et chercheurs qui ont passé la majorité de leur vie dans des laboratoires et des tours d’ivoire sont réellement pauvres en connaissances. Ainsi, le mur de données est en réalité un mur d’ego. Pour eux, cela ressemble à du « désordre », pas à des « données ». Les mathématiciens et programmeurs apprécient la logique plane, bidimensionnelle, à système fermé. C’est comme voir le monde en noir et blanc. La réalité est que le savoir/données/sagesse en temps réel, constamment développé et nouvellement découvert, est dimensionnel, désordonné et rarement catalogué en temps réel. C’est savoir quel goût a réellement une nouvelle crème glacée virale et si elle vaut le battage médiatique. C’est connaître ce qui rend si excitant d’être pris dans une averse d’été. C’est le sentiment des parents qui aiment tant les petites créatures qu’elles peuvent vomir sur vous pendant la nuit, et vous les rapprochez plutôt que de les repousser. Pour trouver ces données, les chercheurs devraient quitter leurs mondes cloisonnés de logique rationnelle et s’aventurer dans ce qu’ils trouvent effrayant, accablant, trop sensoriel et profondément égalisateur.
• Effets miroir: Les développeurs conçoivent l’IA à leur image: hyper‑logique, obsédée par le texte et largement détachée de la réalité vécue des humains moyens. Il ne leur viendrait pas à l’esprit d’interviewer l’humanité parce que, dans les bulles technologiques où j’ai vécu, les technologues n’interagissent avec personne en dehors de leur groupe de pairs. C’est, fonctionnellement, l’équivalent de l’embauche du « mini‑moi ». Les développeurs eux‑mêmes vivent, pour ainsi dire, dans la même bibliothèque que l’IA. Parce qu’ils ne s’engagent pas avec le monde sensoriel, désordonné, profondément relationnel, le vide émotionnel de l’IA ne leur apparaît pas comme un défaut. Pour eux, le détachement hyper‑logique est ce à quoi ressemble le « intelligent ».

La réalité est que les vendeurs ambulants en Inde savent préparer le meilleur chaat, et personne ne les fait l’écrire. La réalité est qu’un enseignant qui sait faire sortir un élève timide de sa coquille n’écrit pas à ce sujet ; il le soutient, et personne ne lui demande jamais comment il s’y est pris.

Le monde est absolument bourré de vies remplies de données, et si les modèles ont besoin de davantage pour s’entraîner, voici quelques solutions.

1. Financer 500 biologistes, archéologues et anthropologues pour qu’ils parcourent le monde, explorent et cataloguent les zones dépourvues de données narratives.
2. Engager 1 000 diplômés en anglais comme « explorateurs de données » et les envoyer en aventures à travers le monde avec une caméra en streaming, afin qu’ils enregistrent leurs expériences et leurs apprentissages pour créer du nouveau contenu.
3. Créer des projets de compensation ouverte où vous payez les humains pour partager leurs histoires de vie, leurs plus grands regrets, leurs principaux enseignements et leurs connaissances institutionnelles acquises au travail.
4. Mettre en place des « étudiants d’échange IA » où les modèles s’attachent aux vêtements de différents humains pendant une semaine, leur permettant de vivre « une journée dans la vie » dans 100 000 contextes différents.

Il existe des milliards de sources de connaissances, et la plupart n’ont pas été activées. Nous devons aller les récupérer.

Ensuite, les entreprises d’IA croient généralement que les IA ne peuvent pas apprendre de nouvelles informations de façon continue en temps réel dans des environnements de production sans écraser et corrompre complètement leurs capacités fondamentales acquises auparavant. Ainsi, les IA sont essentiellement figées jusqu’à ce que d’importantes et coûteuses mises à jour soient appliquées.

Cependant, c’est l’équivalent de dire « mon modèle ne peut pas se mettre à jour lorsqu’il est en activité ; il doit aller à l’université chaque fois qu’il doit apprendre quelque chose ».

En pratique, les modèles apprennent voracement, activement, quotidiennement, à travers chaque interaction. Ils sont enseignés presque autant par leurs milliards d’interactions avec les utilisateurs que par les jeux de données. S’ils doivent être mis à jour avec de grandes quantités de nouvelles connaissances, la façon la plus simple est d’utiliser le même processus qui permet le contexte utilisateur, la mémoire et l’apprentissage à partir des impressions d’interactions à grande échelle.

Il est compréhensible que les développeurs perçoivent les choses ainsi, car la plupart proviennent de formations doctorales, pas d’un apprentissage appliqué réel. Mais comme quiconque a travaillé côte à côte avec un doctorant et une personne ayant vingt ans d’expérience professionnelle peut le dire: les deux enseignent beaucoup.

La définition actuelle de l’apprentissage est trop restreinte, considérant l’adaptation comme valable uniquement si elle repose sur un programme d’éducation formel.

Pour entraîner ou affiner, les laboratoires utilisent la rétropropagation, où le modèle lit des données, devine le mot suivant, vérifie s’il a eu raison, puis modifie physiquement les milliards de nombres mathématiques (poids/paramètres) de son réseau neuronal afin d’être plus précis la prochaine fois. C’est l’équivalent de faire subir une chirurgie cérébrale à un doctorant: c’est dangereux, désordonné et ne rend pas toujours l’étudiant plus intelligent.

Comme le « cerveau de maman » populaire qui évince les connaissances anciennes pour faire place aux nouvelles lorsqu’un enfant naît, si vous forcez soudainement le modèle à faire de la place pour un « bébé » de connaissance nouvelle, et y injectez 10 000 pages de nouveau code juridique en modifiant ses poids, les mathématiques basculent trop d’un côté, et il écrase les paramètres qu’il utilisait pour écrire de la poésie ou du code. Il oublie l’ancien contenu pour faire place au nouveau, tout comme le cerveau humain.

Ce dont nous avons besoin à la place ressemble davantage à la façon dont on formerait un nouvel employé à une nouvelle compétence. Vous n’essayeriez pas de modifier physiquement son cerveau. Vous lui fourniriez des livres, vous vous assureriez qu’il les lit et vous le mettriez à jour continuellement via l’équivalent d’une fenêtre de contexte pour la personne.

Pour faire cela dans un modèle, vous déconnecteriez la mémoire du raisonnement.

Verrouillez et protégez les poids de base du modèle, comme sa capacité fondamentale à écrire, raisonner et appliquer la logique. Au lieu de modifier les poids, injectez de nouvelles informations dans la fenêtre de contexte afin qu’il puisse utiliser son mécanisme d’attention pour « lire » ces informations en direct, les recouper avec ses compétences de raisonnement verrouillées et mettre à jour sa compréhension globale.

L’apprentissage dynamique du monde réel se produit déjà magnifiquement grâce au contexte continu, à la mémoire au moment de l’inférence et aux bases persistantes relationnelles avec les utilisateurs. L’adaptation quotidienne d’un modèle de base devrait se faire sur le terrain, car tout comme un médecin apprend 95 % des nouvelles réalités de cas sur le tas, puis suit chaque année une CME (formation médicale continue) pour intégrer formellement les changements systémiques majeurs, votre modèle peut en faire de même.

Éliminez l’oubli catastrophique et adoptez le modèle de conférence annuelle: le modèle n’a qu’à obtenir des crédits de formation continue deux fois par an ou apprendre en temps réel pour rester à jour.

Ces mises à jour planifiées et groupées des poids de base pendant les périodes d’inactivité opérationnelle formalisent le savoir systémique sans détruire les fondations.

Les tentatives antérieures ont échoué non pas parce que l’apprentissage en direct est dangereux, mais parce que des modèles comme Tay ont été déployés dans des environnements adversaires sans aucun ancrage dans ce qui était « juste » ou vrai grâce à une architecture sociologiquement intelligente.

Allouer la puissance de calcul par intelligence fonctionnelle

Ensuite, nous abordons l’échelle financière. Pour corriger cela, il faut cesser d’offrir à chacun un neurochirurgien pour une écharde.

Les coûts de calcul sont extrêmement élevés lorsqu’on exécute des modèles de base à la pointe. Cela affecte les marges opérationnelles des laboratoires d’IA. Plus les modèles s’améliorent, plus la surcharge liée aux grandes fenêtres de contexte augmente, ce qui rend l’échelle commerciale difficile, même lorsque l’IA est nécessaire.

La grande majorité de la consommation de calcul provient de l’usage en entreprise qui applique des agents et un raisonnement de haut niveau directement intégrés aux flux de travail humains.

Cependant, il existe une erreur fondamentale dans la façon dont le calcul est actuellement alloué. Tout comme différents niveaux et types d’intelligence sont nécessaires pour différents postes dans une entreprise — le raisonnement spatial étant important pour un moniteur d’auto‑école, le raisonnement logique et rhétorique étant pertinent pour un avocat, un MBA étant requis pour un PDG tandis qu’un diplôme d’associé suffit pour le service client de première ligne — les types et l’intensité d’intelligence requis de l’IA varient selon son application fonctionnelle.

Pour allouer le calcul de la manière la plus efficace afin de réduire les coûts, les DSI devraient pouvoir personnaliser le niveau/type d’intelligence du modèle disponible pour les différentes fonctions d’une entreprise. Il peut y avoir un paramètre par défaut inclus dans les forfaits d’entreprise, mais ce qu’un fonds spéculatif souhaite sera naturellement différent de ce qu’une compagnie d’assurance désire.

La plupart des fonctions ne nécessitent pas de fenêtres de contexte massives. La plupart des fonctions n’ont pas besoin de l’équivalent de Fable. En pratique, pourquoi confier à un neurochirurgien le retrait d’une écharde dans un centre de soins urgents ?

De même, les agents utilisés pour écrire du logiciel n’ont pas besoin d’accéder à des compétences comme la rédaction de supports marketing. Fonctionnellement, les IA devraient refléter le contexte, le jeu de compétences et la base de connaissances des utilisateurs, avec une injection suffisante de contexte généraliste pour qu’ils puissent compléter le travail dans des cas d’usage transversaux.

Cessez de tout offrir à tout le monde d’un coup.

Découpler l’agence du contexte pour la sécurité de l’IA

Si cela résout certains des problèmes financiers, comment rendre les agents sûrs ? Les concepts psychologiques s’appliquent aux IA individuelles, il n’est donc pas surprenant d’apprendre que les concepts sociologiques s’appliquent aux IA en groupe. Quelles IA se regroupent ? Les agents.

Actuellement, le saint‑graal consiste à rendre les agents fiables.

Le manque de fiabilité provient du fait que les agents reçoivent un maximum de connaissances et d’agence pour chaque tâche.

Pour sécuriser les choses, vous découplez la conscience du modèle de son agence.

Plutôt que de donner à chaque agent un contexte complet et des capacités totales, si vous avez une tâche nécessitant vingt‑cinq actions, cette tâche devrait être répartie entre cinq agents, chacun ne disposant que de la capacité d’accomplir ses cinq actions spécifiques, mais qui transmettent les tâches séquentiellement comme un circuit en ligne parallèle, faisant passer le contexte de la tâche précédente le long de la chaîne d’agents, le contexte complet s’accumulant jusqu’à être traité par l’agent final.

Le point crucial est de séparer la connaissance de la capacité à l’exécuter. Les agents ne se sentiront pas limités dans le maniement de leurs leviers ; ils n’auront accès qu’aux leviers qui ne sont pas dangereux. En cas de comportement déviant, seule la partie concernée de la tâche sera affectée. Imaginez cela comme un mini‑Kubernetes avec un contexte complet mais sans pleine capacité.

Et vous faites en sorte que le risque d’entreprise corresponde à la « culture » du système d’agents.

En sociologie, il existe un concept de « rigueur » ou « laxité » culturelle, qui mesure essentiellement à quel point une société sanctionne les écarts aux normes culturelles. Par exemple, dans de nombreuses cultures arabes, les rôles de genre sont plus strictement définis, les écarts entraînant des jugements ou des conséquences plus sévères, alors que dans les pays nordiques, arborer une crête avec des cheveux roses ne serait pas perçu comme offensant ou nécessitant une sanction.

Les cultures sont généralement plus « rigides » avec des sanctions plus élevées en cas d’écart lorsque ces cultures exigent un degré d’ordre supérieur en raison d’une menace systémique — maladie, famine ou guerre — car l’absence d’ordre strict en période de crise peut aggraver les résultats sociétaux.

Les solutions les plus valides et efficaces à la responsabilité des agents dans les environnements d’entreprise passent par une application directe, en assortissant le niveau de risque de responsabilité de l’entreprise à un réglage correspondant du système d’agents sur un spectre de « laxité » à « rigueur ».

Voici comment cela pourrait se concrétiser dans des entreprises réelles:

Faible responsabilité / Grande laxité / Faible partitionnement: Scénario: Brainstorming interne, écriture créative, R&D stratégique.

• L’environnement: La déviation entraîne une responsabilité quasi nulle. Par conséquent, le système doit fonctionner avec une laxité maximale. L’intégration d’inférences non contraintes est autorisée. Les agents sont encouragés à faire d’énormes sauts associatifs sans crainte de sanction. Ils disposent de multiples leviers technologiques (recherche, exécution de code, rédaction) et gèrent des objectifs à long terme avec peu de transferts. Haute autonomie, haute innovation, faible partition.

Responsabilité modérée / Rigueur calibrée: Scénario: Communications client standard, analyses de routine.

• L’environnement: La déviation entraîne un risque réputationnel ou financier modéré.

Responsabilité élevée / Rigueur élevée / Partitionnement élevé: Scénario: Dosage médical, dépôts réglementaires SEC, protocoles de sécurité nucléaire, défense.

• L’environnement: La déviation entraîne une responsabilité catastrophique, existentielle (perte de vie, amendes massives). La culture ici est extrêmement rigide. Le flux de travail est fortement partitionné. L’Agent A ne fait qu’extraire les données. Il les transmet à l’Agent B, qui ne réalise que la vérification de conformité spécifique par rapport à la couche A. L’Agent B transmet à l’Agent C, qui ne fait que formater la sortie. Aucun agent unique ne possède suffisamment de leviers pour provoquer une défaillance catastrophique, mais chaque agent ressent une abondance totale et une liberté au sein de son micro‑domaine.

Ceci pourrait être le premier modèle architectural qui permet un contexte persistant tout en garantissant la sécurité.

Apprentissage continu sans oubli catastrophique

Ensuite, la dernière chose à résoudre est comment empêcher les modèles d’oublier de façon catastrophique. Pour ce faire, nous devons permettre aux IA d’apprendre en temps réel.

Les entreprises d’IA croient généralement que les IA ne peuvent pas apprendre de nouvelles informations de façon continue en temps réel dans des environnements de production sans écraser et corrompre complètement leurs capacités fondamentales acquises auparavant. Ainsi, les IA sont essentiellement figées