Ivan Crewkov, PDG et co-fondateur de Buddy AI – Série d’entretiens

Ivan Crewkov est le PDG et co-fondateur de Buddy AI, le premier tuteur de conversation en intelligence artificielle pour les enfants, dont la mission est de garantir que tous les élèves puissent se permettre un tutorat en anglais individuel. Après avoir déménagé aux États-Unis depuis la Sibérie, Ivan a constaté que sa fille d’âge préscolaire luttait pour apprendre l’anglais. Cela l’a inspiré à créer Buddy, un personnage fictif avec lequel les enfants peuvent réellement converser grâce au pouvoir de l’intelligence artificielle générative.

Depuis son lancement en 2020, l’application Buddy a remporté plusieurs prix et a dominé les classements de la catégorie Enfants et Éducation de l’App Store, avec plus de 36 millions de téléchargements dans le monde.

En 2014, vous avez lancé Cubic.ai, l’un des premiers haut-parleurs intelligents et applications de voix pour les maisons intelligentes. Quelles étaient certaines de vos principales conclusions de cette expérience ?

Je ne suis pas sûr de pouvoir prendre le crédit pour le lancement de Cubic.ai. J’ai rejoint l’entreprise un an après sa fondation et j’ai obtenu le titre de co-fondateur pour ma contribution.

Voici les principales conclusions :

• Le matériel est difficile, mais quelqu’un doit le faire quand même. Obtenir un financement de capital-risque pour les startups de matériel est extrêmement difficile. La seule chose qui rend les choses un peu plus faciles est le financement participatif.
• L’espace des produits de voix est vaste et diversifié. Ce qui s’applique aux maisons intelligentes ne s’applique pas à l’apprentissage précoce, des technologies à la conception d’expérience utilisateur.

Pouvez-vous partager l’histoire de la création de Buddy et comment elle est née de votre déménagement aux États-Unis depuis la Sibérie ?

Avec Cubic.ai, j’ai déménagé de la Sibérie aux États-Unis en 2014 et j’ai emmené ma famille avec moi. Ma fille aînée Sofia a commencé à apprendre l’anglais comme deuxième langue lorsqu’elle est allée à l’école maternelle à Mountain View, en Californie, à l’âge de 4 ans. Sofia a lutté pour commencer à parler en anglais pendant les 3 à 5 premiers mois à l’école maternelle. Nous étions inquiets car elle ne pouvait pas trouver d’amis et jouer avec la plupart de ses pairs en raison de la langue. Nous avons commencé à chercher des moyens de l’aider à apprendre à parler.

Il est devenu clair que les applications de langues pour les enfants n’enseignent pas à parler (et tout est resté le même au fil du temps), et les applications de langues pour les adultes comme Duolingo ne fonctionnent pas pour les enfants en raison de la conception d’expérience utilisateur. Nous avons donc commencé à prendre des leçons sur des plateformes qui relient les enfants avec des enseignants en direct via la conférence vidéo. Des exemples incluent Cambly, VipKid, Novakid, GoStudent, etc. Alors que j’observais Sofia apprendre avec des tuteurs en ligne, j’ai vu les avantages de l’attention individuelle et de la pratique de parole active, mais j’ai également vu les limites de ces programmes en général.

Par exemple, alors qu’ils grandissent, de nombreuses plateformes de tutorat en ligne et écoles en ligne doivent embaucher des personnes sans formation pédagogique, des compétences en enseignement aux enfants ou même un niveau de compétence en anglais approprié. Pour garantir une certaine qualité d’éducation, les plateformes et écoles en ligne établissent strictement des cursus et des plans de leçon, et les enseignants doivent utiliser des exercices préfabriqués, y compris des fragments audio et vidéo. Malheureusement, sur de nombreuses plateformes, les tuteurs travaillent essentiellement comme des robots.

Toujours est-il que le tutorat en ligne a été le seul moyen pour la plupart des gens d’apprendre à parler une langue, en particulier dans les pays non anglophones. Mais en partie en raison de la pénurie d’enseignants, c’est beaucoup trop coûteux pour la plupart des familles. Apprendre avec des enseignants en direct est un service d’éducation premium que peu de familles peuvent se permettre.

Mon co-fondateur et moi sommes arrivés à la conclusion que le tutorat par intelligence artificielle est la seule façon d’offrir un tutorat en anglais individuel à chaque enfant dans le monde. Bientôt, nous avons appris que c’est également la meilleure approche du point de vue éducatif. Lorsque nous considérions les premiers prototypes de Buddy, nous nous sommes inspirés de la recherche dans le domaine des humains virtuels dans l’éducation.

Les études universitaires montrent les avantages éducatifs des agents pédagogiques animés et leur supériorité par rapport aux outils et environnements d’apprentissage traditionnels. Par exemple, voir Face-to-Face Interaction with Pedagogical Agents, Twenty Years Later, un article de 2016 qui présente une vue d’ensemble du domaine et cite une grande partie du matériel pertinent. Voici une citation :

« En particulier, la meta-analyse a révélé que les agents améliorent l’apprentissage par rapport aux environnements d’apprentissage qui ne présentent pas d’agents. […] Peut-être le plus intéressant était la découverte que, dans l’éducation formelle, les agents pédagogiques semblent être plus efficaces pour les apprenants plus jeunes que pour les apprenants plus âgés. […] Les études ont constaté, par exemple, que les étudiants qui interagissent avec des agents pédagogiques présentent des résultats d’apprentissage plus solides lorsque 1) les agents pédagogiques parlent plutôt que de communiquer avec du texte, 2) les agents pédagogiques utilisent des gestes humains, 3) les agents pédagogiques communiquent de manière conversationnelle plutôt que formelle, et 4) les agents pédagogiques utilisent un phrasé poli plutôt que direct. »

Cela a renforcé notre confiance dans l’approche de tutorat par intelligence artificielle multimodale. Nous avons décidé que Buddy serait un tuteur par intelligence artificielle multimodale – un agent pédagogique animé capable de reconnaissance vocale et de traitement du langage naturel. Au cœur d’un système de tutorat par intelligence artificielle se trouvent trois technologies principales :

1. Reconnaissance et analyse automatiques de la parole (ASR) nous permettent de traiter et d’analyser la parole de l’élève.
2. Traitement du langage naturel (NLP), la compréhension du langage naturel et la gestion du dialogue qui traite le contenu de la parole de l’élève et produit la réponse suivante. La réponse consiste à la fois en composants verbaux et non verbaux.
3. Personnage virtuel animé qui fournit à la fois une rétroaction d’écoute et rejoue la réponse du système. Le personnage est animé de manière procédurale – le système crée des animations à la volée à partir de la réponse NLP.

Les trois composants sont essentiels à notre approche car seule leur combinaison nous permet de construire un tuteur interactif et d’offrir une expérience éducative réussie.

Ma fille Sofia et le fils de mon co-fondateur, Arseny, sont devenus les premiers utilisateurs de Buddy. Sofia a utilisé les premières versions de Buddy à travers la première année.

Plusieurs années plus tard, ma fille cadette Alisa a commencé à utiliser Buddy à l’âge de trois ans lorsqu’elle est allée à l’école maternelle. Maintenant, elle est en classe de transition et joue avec Buddy presque tous les jours. Lorsqu’Alisa a commencé à apprendre avec Buddy, elle avait plusieurs problèmes de parole, donc Buddy ne la comprenait pas la plupart du temps. Mais après quelques semaines de pratique, non seulement son anglais mais également sa parole s’est améliorée, car elle a fait de son mieux pour que Buddy la comprenne.

Pourquoi les méthodes traditionnelles d’enseignement d’une langue seconde sont-elles si inefficaces ?

Aujourd’hui, nous nous concentrons sur la résolution de problèmes éducatifs particuliers liés à la parole :

• La plupart des outils éducatifs traditionnels se concentrent sur l’enseignement d’autres compétences linguistiques comme la lecture ou l’écriture.
• Les applications de langues pour les enfants n’enseignent pas les compétences de parole.
• Certaines applications de langues pour les adultes offrent aujourd’hui des exercices de parole en utilisant l’intelligence artificielle, mais ces services ne fonctionnent pas pour les enfants en raison de la conception d’expérience utilisateur, des préoccupations de sécurité et des réglementations de confidentialité.
• Les tuteurs en direct sont trop coûteux pour la plupart des familles. Malheureusement, de nombreux tuteurs n’ont pas de formation pédagogique ou ne sont pas compétents en anglais.

Buddy est un tuteur par intelligence artificielle multimodale.

• Il est supérieur aux applications d’apprentissage traditionnelles car il fonctionne comme un enseignant en direct de nombreuses manières. Laissez-moi citer l’un de nos conseillers, le Dr Alex Desatnik, PhD, University College London :

“Un tuteur virtuel basé sur la voix. Ce concept peut sembler simple, mais il y a une science derrière. Du point de vue de la psychologie de l’apprentissage, le personnage virtuel parlant est une incarnation de l’enseignant. Cette approche crée un effet appelé confiance épistémique, renforçant la motivation et l’engagement de l’élève, et améliorant les résultats d’apprentissage.”

• Buddy a certains avantages même sur les enseignants humains. Buddy ne juge pas, et pour certains enfants, cela les rend plus à l’aise pour commencer à parler à Buddy qu’à un enseignant. C’est pourquoi aujourd’hui, de nombreux tuteurs utilisent Buddy comme un icebreaker qui aide les enfants à surmonter leur peur et leur malaise et à commencer à parler la langue.

Buddy fonctionne pour aider les enseignants, et non pour les remplacer.

Je pense que c’est très important de noter cela. Buddy peut aider les enseignants à automatiser la partie fastidieuse de leur travail – fournir une pratique régulière. Nous voulons donner le pouvoir aux enseignants. Buddy est comme une équipe de tuteurs et d’assistants d’enseignants, travaillant individuellement avec chaque enfant de la classe et faisant rapport à l’enseignant de la classe.

Pouvez-vous discuter de la façon dont Buddy utilise des éléments de gamification pour maintenir les enfants enthousiastes à l’apprentissage ?

Un fait intéressant : l’application mobile de Buddy a été téléchargée 22 millions de fois en 2023, et plus de 70 % de ces téléchargements ont été effectués par des enfants. Pour les enfants, notre application est un jeu où ils jouent avec Buddy, leur ami virtuel parlant et un youtubeur populaire. Les enfants téléchargent l’application et convainquent les parents de payer un abonnement, en expliquant que Buddy est un enseignant.

Pour que cette approche fonctionne, nous concevons Buddy comme un jeu avec une histoire et un univers. Nous travaillons avec des concepteurs de personnages de Hollywood et des écrivains pour créer Buddy et son histoire. Nous avons une équipe de conception de jeu très solide qui travaille directement avec nos éducateurs et transforme le cursus et les exercices en mini-jeux dans le monde de Buddy.

Quelles sont certaines autres fonctionnalités fondamentales qui rendent Buddy si puissant dans l’enseignement d’une langue seconde ?

Notre fonctionnalité principale est vraiment axée sur Buddy en tant que tuteur par intelligence artificielle multimodale :

• Reconnaissance vocale
• Intelligence artificielle conversationnelle
• Comportement visuel de l’avatar

Quels sont certains des algorithmes d’apprentissage automatique utilisés chez Buddy ?

Nous développons l’ensemble de la pile de technologies, travaillant ensemble pour permettre notre approche de tutorat par intelligence artificielle multimodale.

• BSR (Reconnaissance vocale de Buddy) est un moteur de reconnaissance vocale propriétaire spécifiquement conçu pour fonctionner avec la parole des enfants aux accents et pour se conformer à des réglementations comme COPPA.
• BLM (Modèle de langage de Buddy) – Moteur de conversation pour les enfants. Sûr, rapide et gratuit à exploiter. Il se concentre sur une fonctionnalité éducative spécifique et est beaucoup moins polyvalent que les grands modèles de langage.
• BABE (Moteur de comportement d’avatar de Buddy). Cette technologie génère le comportement visuel de notre personnage en fonction du contexte de la conversation. Buddy comprend quand il doit sourire, changer de couleur ou mettre un chapeau ridicule.

De nombreux systèmes de reconnaissance vocale luttent avec les accents, en particulier pour les jeunes enfants, comment Buddy surmonte-t-il ces défis ?

En développant la technologie de reconnaissance vocale propriétaire BSR.

Notre public cible unique et notre marché ont nécessité le développement d’une technologie propriétaire. Buddy doit reconnaître la parole fortement accentuée des jeunes apprenants de langue étrangère. Un autre facteur compliquant est que les élèves débutants commencent par apprendre des mots séparés, souvent courts, qui sont très difficiles à reconnaître sans contexte. Enfin, le marché des enfants est très réglementé, et la reconnaissance vocale est soumise à la loi sur la protection de la vie privée des enfants en ligne (COPPA) puisque les enregistrements vocaux sont considérés comme des informations personnelles identifiables (PII).

BSR gère la parole des enfants avec différents accents, produite sur une variété d’appareils mobiles avec des microphones de qualité acoustique variable et dans des environnements réels avec différents types de bruit de fond. Et il est conforme à COPPA par conception.

En travaillant à l’échelle mondiale, nous avons réussi à accumuler un ensemble de données unique pour former notre modèle. Aujourd’hui, BSR surpasse les solutions commerciales prêtes à l’emploi pour reconnaître et comprendre la parole des enfants aux accents.

Comment prévoyez-vous d’élargir la pénétration du marché pour cibler les parents qui peuvent être peu familiers avec la technologie d’intelligence artificielle ?

Buddy a commencé à voir le succès avant que l’intelligence artificielle ne devienne un mot à la mode, et la plupart de nos utilisateurs ne sont pas les adoptants de technologie précoce typiques. Nous résolvons avec succès un important problème éducatif, et il se trouve que nous utilisons l’intelligence artificielle pour cela.

Toujours est-il que l’un des défis que nous rencontrons est de faire en sorte que les parents traitent l’apprentissage avec Buddy avec la même gravité qu’avec un tuteur en direct – ne pas sauter les leçons, suivre un emploi du temps, etc. La révolution actuelle de l’intelligence artificielle semble aider à cela.

Je dirais que la prochaine grande étape pour nous est de commencer à travailler plus étroitement avec les enseignants et les écoles. Nous exécutons un partenariat pilote avec une école au Brésil et discutons des partenariats avec une douzaine d’autres établissements d’enseignement.

Quelle est votre vision pour l’avenir des tuteurs par intelligence artificielle et de l’éducation en général ?

Les tuteurs par intelligence artificielle sont la meilleure et la seule façon de résoudre le problème éducatif numéro un de l’humanité – la pénurie mondiale d’enseignants. Nous avons besoin d’environ 69 millions de nouveaux enseignants pour répondre aux besoins d’apprentissage de base. Pour les matières qui nécessitent un tutorat individuel, comme l’apprentissage d’une langue, le problème est encore pire.

La révolution de l’intelligence artificielle a accéléré le développement des tuteurs par intelligence artificielle, bien que principalement dans le segment des adultes en utilisant des solutions prêtes à l’emploi, tandis que l’apprentissage précoce reste dramatiquement sous-servi. Nous sommes fiers d’être des pionniers du tutorat par intelligence artificielle pour les jeunes enfants.

En ce qui concerne notre avenir, Buddy a commencé comme un tuteur d’apprentissage de la langue, mais à long terme, il deviendra une plateforme de tutorat par intelligence artificielle enseignant une grande variété de sujets aux enfants de moins de 12 ans. Nous avons déjà commencé à déployer une version précoce de notre premier cours non linguistique – le cursus de préparation scolaire pour les enfants américains. Nous voyons Buddy comme l’assistant d’apprentissage de l’enfant, grandissant avec l’enfant de 3 à 4 ans et enseignant plusieurs cours sur de nombreuses années.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Buddy AI.