Ali Ansari, fondateur et PDG de micro1 – Série d’entretiens

Ali Ansari est le fondateur et PDG de micro1, où il s’attache à transformer l’expertise humaine en données d’entraînement et en évaluations pour les systèmes d’IA avancés. Son parcours entrepreneurial comprend la création d’une agence de développement logiciel et la fondation de peerlinc, avant le lancement de micro1 en 2022. Il a étudié l’informatique à UC Berkeley et à Stanford, avec une spécialisation en apprentissage par renforcement. Aujourd’hui, il travaille sur les systèmes nécessaires pour trouver des experts, évaluer leurs compétences et coordonner leur contribution au développement de l’IA.

micro1 est un laboratoire de données qui contribue à l’entraînement des modèles d’IA de pointe et à l’évaluation des agents d’IA en s’appuyant sur l’expertise humaine et des environnements de travail réalistes. Sa plateforme regroupe le recrutement de spécialistes, la production de données, le contrôle qualité et l’évaluation des modèles dans des domaines comme le droit, la santé, la finance, l’ingénierie et les sciences. Dans cet entretien, Ansari explique pourquoi la demande d’expertise humaine augmente, comment les données opérationnelles favorisent l’apprentissage par renforcement et quelles possibilités de carrière émergent dans l’entraînement et l’évaluation de l’IA.

Vous avez fondé micro1 en 2022, après avoir créé puis vendu peerlinc. Quel problème cherchiez-vous initialement à résoudre, et comment micro1 est-elle devenue une entreprise spécialisée dans l’entraînement et l’évaluation des modèles d’IA de pointe ?

Au départ, il s’agissait d’un problème que je rencontrais dans ma propre entreprise. Je dirigeais une agence de développement logiciel et chaque nouveau projet impliquait de trouver et d’interviewer davantage d’ingénieurs. J’y consacrais énormément de temps. Nous avons donc créé Zara, un outil d’entretien basé sur l’IA, pour nous aider. C’est ainsi qu’est née micro1.

Nous avons commencé par vendre le logiciel de recrutement et par créer une plateforme mettant en relation des entreprises avec des talents dont les compétences avaient été vérifiées. Puis un client nous a contactés : il avait besoin de centaines d’ingénieurs pour entraîner des modèles d’IA. Nous avons cherché à comprendre pourquoi il lui fallait autant de personnes et avons constaté l’immense demande d’expertise humaine nécessaire au développement des modèles.

Nous avions déjà passé des années à développer notre capacité à trouver des personnes et à vérifier leurs compétences à grande échelle. L’exploitation des données humaines constituait une application particulièrement puissante de cette infrastructure. Nous nous y sommes donc pleinement engagés : nous avons utilisé notre outil de recrutement basé sur l’IA pour trouver des experts et vérifier leurs compétences, puis créé d’autres plateformes de données et systèmes de contrôle qualité. Aujourd’hui, nous aidons les laboratoires à transformer cette expertise en capacités améliorées pour les modèles.

Vous avez avancé qu’à mesure que les modèles d’IA gagnent en capacités, la demande d’expertise humaine augmente au lieu de disparaître. Quels sont les facteurs à l’origine de ce phénomène ?

Plusieurs phénomènes sont à l’œuvre. D’abord, à mesure que les modèles s’améliorent, nous leur demandons d’accomplir des tâches plus difficiles. Un modèle capable de répondre à une question est utile. Un modèle capable de prendre en charge un processus de travail complet l’est bien davantage, mais cela nécessite beaucoup plus d’expertise humaine.

Ensuite, les humains ne cessent de créer de nouvelles tâches. Si un avocat peut utiliser l’IA pour une grande partie de ses activités quotidiennes, il dispose de plus de temps pour traiter des problèmes plus complexes ou concevoir un nouveau service pour ses clients. Ces nouvelles fonctions deviennent à leur tour des tâches que nous souhaitons intégrer aux modèles. C’est ce que nous entendons par « pas de dernier kilomètre » : le travail continue d’évoluer.

Les données synthétiques rendent le phénomène encore plus intéressant. Elles permettent d’enrichir les tâches conçues et les retours fournis par les experts, ce qui donne davantage de valeur à ces contributions humaines initiales. Je pense que c’est cette combinaison qui explique pourquoi la demande d’expertise humaine continue d’augmenter parallèlement aux capacités des modèles.

micro1 collabore avec des spécialistes de domaines comme le droit, la santé, la finance, l’ingénierie et les sciences. Qu’est-ce que ces professionnels peuvent apporter aux systèmes d’IA qu’il est impossible d’apprendre simplement à partir des données déjà disponibles en ligne ?

Une grande partie de ce qui fait l’excellence d’un médecin, d’un avocat ou d’un ingénieur tient au jugement qu’il a développé en exerçant son métier. Certains aspects sont documentés, mais beaucoup se révèlent dans la manière de traiter un cas inhabituel, de repérer les informations manquantes ou de déterminer quel détail est réellement important.

C’est extrêmement précieux pour entraîner les modèles. Un expert peut concevoir une tâche difficile, expliquer à quoi devrait ressembler un bon résultat et repérer précisément les lacunes d’un modèle. Une réponse peut sembler très convaincante tout en passant à côté de ce qui compte le plus pour quelqu’un qui exerce ce métier.

Nous avons besoin d’experts pour faire ces distinctions. Nous avons aussi besoin de points de vue multiples et d’un processus de révision rigoureux, car le jugement d’une seule personne ne peut pas couvrir tous les cas. L’objectif est de transformer cette expérience en un signal dont le modèle peut tirer des enseignements. En outre, chaque domaine comporte d’innombrables nuances. L’expertise juridique, par exemple, ne constitue pas un bloc homogène : elle varie selon la spécialité, l’État ou la juridiction, ainsi que les systèmes juridiques des différents pays. Chaque niveau exige des connaissances et un jugement plus spécialisés. La même profondeur se retrouve dans tous les domaines et leurs nombreuses sous-spécialités. C’est pourquoi nous avons besoin d’experts qui comprennent concrètement la portée de ces distinctions.

Alors que le secteur s’intéresse de plus en plus au post-entraînement, à l’apprentissage par renforcement et à l’évaluation, quels sont, selon vous, les principaux obstacles à l’amélioration des modèles de pointe aujourd’hui ?

Je pense que l’accès à des données réalistes constitue l’un des principaux obstacles. Les entreprises ont passé des années à résoudre des problèmes, à prendre des décisions et à gérer des situations exceptionnelles. Cette expérience est consignée dans leurs documents, leurs systèmes et leurs processus de travail. Elle est extrêmement précieuse pour apprendre à un modèle à accomplir de véritables tâches professionnelles.

C’est pourquoi nous avons créé notre programme Company Data Partnerships, ou CDP. Nous rémunérons les entreprises pour obtenir une licence d’utilisation de leurs données opérationnelles. Celles-ci peuvent inclure de la documentation interne, des historiques de projets, des données CRM et les processus suivis par les équipes pour accomplir leur travail. Pour les jeux de données d’entreprise de grande valeur, nous payons plus de 2 millions de dollars, le montant dépendant des données et du partenariat.

Nous utilisons ces éléments pour créer des environnements réalistes d’entraînement et d’évaluation. Prenons le cas de la résolution d’un problème rencontré par un client : il peut être nécessaire de consulter l’historique de son compte, de trouver la politique applicable et de déterminer la marche à suivre. Un environnement conçu autour de ce flux de travail permet à un modèle de s’exercer à chacune de ces étapes. Des experts définissent la tâche et la manière d’évaluer si elle a été menée à bien. C’est ce retour qui rend l’environnement utile à l’apprentissage par renforcement.

Les entreprises restent propriétaires de leurs données sous-jacentes. Nous nous entendons sur le périmètre et les exigences relatives à leur traitement, notamment les mesures de protection de la vie privée, puis nous préparons les données en vue de l’usage prévu.

La valeur réside dans l’expérience que ces données consignent. Le programme CDP permet aux entreprises de tirer des revenus de cette expérience tout en aidant les modèles à apprendre à fonctionner dans des contextes beaucoup plus réalistes.

Selon vous, quelles formes de jugement humain ou d’expertise resteront particulièrement difficiles à reproduire pour les systèmes d’IA, même lorsque les modèles seront devenus beaucoup plus performants ?

Je pense que le goût et la créativité humains seront particulièrement difficiles à reproduire pour les modèles. Cela tient à la manière dont nous créons les données d’entraînement.

Pour de nombreuses tâches, nous pouvons réunir des experts et les amener à s’accorder sur ce qui constitue un bon résultat. Cela nous fournit un signal utile pour l’entraînement. Mais si l’on demande aux gens ce qui fait une grande image, un grand film ou un design captivant, plus ils en discutent, plus leurs avis peuvent diverger. Il n’y a pas toujours une seule réponse sur laquelle parvenir à un consensus.

L’IA peut néanmoins devenir très utile dans ces domaines. Mais décider de ce que l’on veut créer, du public auquel on s’adresse et de l’impact réel de la création exige beaucoup de jugement humain. Je pense que ce jugement devient encore plus important à mesure que les outils facilitent la production.

On voit de plus en plus de professionnels considérer l’entraînement et l’évaluation de l’IA comme un véritable travail, plutôt que comme une activité secondaire. Cela pourrait-il donner naissance à une toute nouvelle catégorie d’emplois, et à quoi ces carrières pourraient-elles ressembler ?

Absolument. C’est déjà une nouvelle catégorie d’activité qui représente plusieurs milliards de dollars. Des experts mettent les connaissances acquises au fil de leur carrière au service de l’entraînement et de l’évaluation de l’IA. Pour certaines personnes, cela occupe une part importante de leur vie professionnelle.

Ce travail peut être très approfondi. Un avocat peut élaborer un scénario complexe et définir comment évaluer la réponse du modèle. Un ingénieur peut concevoir une tâche qui fait suivre à un agent un flux de travail logiciel de bout en bout. D’autres personnes examinent les données, améliorent les critères d’évaluation et dirigent des équipes d’experts. Ce travail peut aussi leur donner davantage de latitude pour se consacrer à ce qui les a attirés dans leur domaine au départ. Dans la plupart des emplois, une grande partie du temps est consacrée à des tâches administratives et à des obligations qui ne relèvent pas du travail jugé le plus enrichissant. Entraîner l’IA dans leur domaine peut placer leur expertise au cœur de leur activité : traiter des problèmes complexes, exercer leur jugement et transmettre les enseignements tirés de leur expérience. C’est l’occasion de consacrer davantage de temps à ce qui les intéresse et à ce qu’ils font le mieux, tout en contribuant à façonner la manière dont l’IA aborde ce travail.

Je pense que de véritables parcours professionnels vont se dessiner dans tous ces domaines. On peut exceller à traduire son expertise métier en données d’entraînement, ou à gérer un pipeline de données et à comprendre où les modèles ont besoin d’aide. Ce sont des compétences précieuses, et nous n’en sommes qu’aux tout premiers stades de la définition de ces fonctions.

Alors que les entreprises recrutent des médecins, des avocats, des ingénieurs, des scientifiques et d’autres spécialistes pour améliorer les modèles d’IA, comment vérifiez-vous leur expertise et vous assurez-vous que les données d’entraînement produites sont exactes et cohérentes ?

Nous avons mis en place tout un système à cet effet. Tout commence avec Zara, notre recruteuse IA, qui nous aide à trouver des experts et à vérifier qu’ils possèdent les compétences requises pour un projet. Notre outil Merit nous aide ensuite à suivre la qualité, la rapidité et la fiabilité de leurs contributions au fil du temps. Il faut comprendre à la fois l’expertise d’une personne et la manière dont elle se reflète dans les données qu’elle produit.

Notre plateforme flow réunit le travail des experts et les modèles que nous avons conçus pour faciliter la génération et l’examen des données. Les experts définissent les tâches et les critères d’un bon résultat. flow gen aide ensuite à enrichir ce point de départ en créant de nouveaux exemples et de nouvelles variantes. flow qc vérifie que les données ne présentent pas de problèmes, comme des éléments justificatifs manquants ou un décalage entre une tâche et ses critères de notation. Enfin, flow grader évalue les performances du modèle au regard de ces critères.

L’élément essentiel, c’est ce qui se passe lorsqu’un expert repère une erreur. Cette correction peut améliorer les données d’entraînement, mais aussi nous aider à perfectionner les outils de génération et les contrôles qualité eux-mêmes. Nous pouvons transformer les erreurs récurrentes en tests pour la version suivante.

C’est la dynamique des données synthétiques que nous mettons en place. L’expertise humaine nous fournit le point de départ et le discernement nécessaires. Nos outils nous aident à la déployer à grande échelle, et les retours des experts contribuent à améliorer le cycle suivant. Nous vérifions ensuite si ces changements améliorent réellement les performances du modèle. C’est ce qui donne toute sa valeur à cette boucle.

Les agents d’IA doivent de plus en plus accomplir des tâches complexes en plusieurs étapes, au lieu de simplement générer des réponses. En quoi la formation et l’évaluation de ces systèmes diffèrent-elles du travail nécessaire pour améliorer les grands modèles de langage traditionnels ?

La grande différence, c’est la durée de la tâche. Un agent peut devoir effectuer de nombreuses actions à l’aide de différents outils avant d’obtenir un résultat utile. Il peut réussir les premières étapes, mais échouer malgré tout à accomplir la tâche dans son ensemble, car les erreurs s’accumulent.

Nous avons donc besoin d’environnements où le modèle peut s’exercer à réaliser l’ensemble du processus, ainsi que d’évaluations qui nous indiquent où il échoue. A-t-il trouvé les bonnes informations ? A-t-il utilisé l’outil correctement ? A-t-il effectivement obtenu le résultat souhaité ?

Il faut aussi tenir compte du contexte propre à l’entreprise. Un agent qui travaille au sein d’une entreprise doit comprendre ses processus et ses attentes. Les capacités générales ne suffisent qu’à aller jusqu’à un certain point.

C’est là que les experts du domaine deviennent vraiment essentiels. Ils nous aident à diagnostiquer les échecs et à créer les données nécessaires pour y remédier. On évalue, on repère les lacunes, on entraîne le modèle à les combler, puis on évalue à nouveau. Ce processus se poursuit à mesure que l’agent prend en charge davantage de tâches.

À mesure que les modèles de pointe deviennent plus performants, comment évolue le type de données générées par des humains dont ils ont besoin, et quelles formes d’expertise ou d’évaluation devraient, selon vous, gagner nettement en valeur au cours des prochaines années ?

Deux aspects prennent de plus en plus d’importance : la durée de la tâche et sa proximité avec le monde réel. À mesure que les modèles progressent, les données d’entraînement utiles portent davantage sur des processus complexes, qui comportent plus de décisions, plus de contexte et davantage d’occasions de commettre une erreur.

L’expertise opérationnelle devient donc très précieuse. Une personne qui exerce un métier depuis des années en connaît les exceptions et les interdépendances, que l’on peut facilement ne pas voir lorsqu’on conçoit une tâche sans expérience directe du terrain. Elle peut aussi vous dire si le résultat produit par un agent serait réellement exploitable au sein de l’entreprise.

Je pense que l’évaluation des systèmes d’IA en entreprise deviendra à terme un marché immense, qui pourrait représenter un billion de dollars par an. Toute entreprise qui déploie des agents devra comprendre dans quels cas ils fonctionnent, dans quels cas ils échouent et comment les améliorer. Les personnes capables de transformer leurs connaissances en évaluations utiles joueront un rôle central à cet égard. Le besoin perdurera, car les entreprises, les modèles et le travail lui-même continuent d’évoluer.

Certains professionnels pourraient, dans les faits, contribuer à entraîner des systèmes d’IA à effectuer une partie de leur propre travail. Comment abordez-vous cette tension, et à quoi pensez-vous que ressemblera la relation entre l’expertise humaine et l’IA au cours des trois à cinq prochaines années ?

Je pense que nous sous-estimons la quantité de nouveaux emplois que les gens créeront grâce à ces outils.

Prenons le recrutement. Si un agent peut prendre en charge une plus grande partie de la présélection, les recruteurs peuvent consacrer davantage de temps à nouer des relations avec les candidats ou à trouver comment attirer des personnes que l’entreprise n’aurait pas pu atteindre auparavant. Leur rôle évolue, et ils peuvent accomplir davantage dans le même temps.

Je m’attends à une évolution similaire dans de nombreux métiers. Au cours des trois à cinq prochaines années, les agents deviendront de plus en plus des collègues que les gens dirigent, auxquels ils fournissent du contexte et dont ils évaluent le travail. Les gens assumeront de nouvelles responsabilités à mesure que cette évolution se produira.

C’est pourquoi je suis optimiste. Nous voyons déjà apparaître de nouvelles activités liées à l’entraînement et à l’évaluation de l’IA, et je pense qu’il y en aura bien d’autres à mesure que les gens découvriront ce qu’ils peuvent concevoir et accomplir avec ces outils.

Merci pour cet excellent entretien. Les lecteurs qui souhaitent en savoir plus sur les données d’entraînement élaborées par des experts, l’évaluation de l’IA et les possibilités de mettre leur expertise métier à contribution peuvent consulter micro1.