Dylan Fox, PDG et fondateur d’AssemblyAI – Série d’entretiens

Dylan Fox est le PDG et fondateur d’AssemblyAI, une plateforme qui convertit automatiquement les fichiers audio et vidéo et les flux audio en direct en texte à l’aide des API de reconnaissance vocale d’AssemblyAI.

Qu’est-ce qui vous a initialement attiré vers l’apprentissage automatique ?

J’ai commencé par apprendre à programmer et j’ai assisté à des réunions Python à Washington DC, où j’ai fait mes études universitaires. Grâce aux cours universitaires, je me suis trouvé de plus en plus attiré par les problèmes de programmation de type algorithme, ce qui m’a naturellement conduit à l’apprentissage automatique et au traitement automatique des langues.

Auparavant, vous étiez ingénieur logiciel senior chez Cisco, sur quoi travailliez-vous ?

Chez Cisco, j’étais ingénieur logiciel senior et je me concentrais sur l’apprentissage automatique pour leurs produits de collaboration.

Comment votre travail chez Cisco et un problème lié à la technologie de reconnaissance vocale vous ont-ils inspiré pour lancer AssemblyAI ?

Dans certains de mes précédents postes, j’ai eu l’occasion de travailler sur de nombreux projets d’intelligence artificielle, notamment des projets qui nécessitaient une reconnaissance vocale. Mais toutes les entreprises qui proposaient des services de reconnaissance vocale étaient incroyablement dépassées, difficiles à utiliser et utilisaient des technologies d’intelligence artificielle obsolètes.

À mesure que je m’intéressais de plus en plus à la recherche en intelligence artificielle, j’ai remarqué qu’il y avait beaucoup de travail effectué dans le domaine de la reconnaissance vocale et à quel point rapidement la recherche progressait. Il s’agissait donc d’une combinaison de facteurs qui m’a inspiré à penser : « Et si vous pouviez créer une entreprise de type Twilio en utilisant les dernières recherches en intelligence artificielle qui soit beaucoup plus facile pour les développeurs d’accéder aux modèles d’intelligence artificielle de pointe pour la reconnaissance vocale, avec une expérience développeur nettement améliorée ? »

Et c’est à partir de là que l’idée d’AssemblyAI a grandi.

Quel est le plus grand défi derrière la création d’une technologie de reconnaissance vocale précise et fiable ?

Le coût et les talents sont les plus grands défis pour toute entreprise qui tente de créer une technologie de reconnaissance vocale précise et fiable.

Les données sont coûteuses à acquérir, et vous avez généralement besoin de centaines de milliers d’heures pour créer un système de reconnaissance vocale robuste. De plus, les exigences de calcul sont énormes pour former ces modèles. Et la mise en service de ces modèles en production est également coûteuse et nécessite des talents spécialisés pour les optimiser et les rendre économiques.

La création de ces technologies nécessite également une compétence spécialisée qui est difficile à trouver. C’est une grande raison pour laquelle les clients viennent chez nous pour accéder à des modèles d’intelligence artificielle puissants que nous recherchons, formons et déployons en interne. Ils ont accès à des années de recherche sur les modèles d’intelligence artificielle de pointe pour la reconnaissance vocale et le traitement automatique des langues, le tout avec une simple API.

Hors de la transcription pure des contenus audio et vidéo, AssemblyAI propose des modèles supplémentaires, pouvez-vous en parler ?

Nos modèles d’intelligence artificielle s’étendent au-delà de la transcription en temps réel et asynchrone. Nous appelons ces modèles supplémentaires des modèles d’intelligence audio, car ils aident les clients à analyser et à mieux comprendre les données audio.

Notre modèle de résumé fournit un résumé général, ainsi que des résumés chronométrés qui segmentent automatiquement et génèrent un résumé pour chaque « chapitre » lorsque les sujets d’une conversation changent (semblable aux chapitres YouTube).

Notre modèle d’analyse des sentiments détecte les sentiments de chaque phrase prononcée dans les fichiers audio. Chaque phrase d’une transcription peut être marquée comme positive, négative ou neutre.

Notre modèle de détection d’entités identifie un large éventail d’entités mentionnées dans les fichiers audio, telles que les noms de personnes ou de sociétés, les adresses e-mail, les dates et les lieux.

Notre modèle de détection de sujet étiquette les sujets abordés dans les fichiers audio et vidéo. Les étiquettes de sujet prédites suivent la taxonomie standard IAB, ce qui les rend adaptées à la ciblage contextuel.

Notre modèle de modération de contenu détecte le contenu sensible dans les fichiers audio et vidéo — comme les discours de haine, la violence, les problèmes sociaux sensibles, l’alcool, les drogues, etc.

Quels sont les plus grands cas d’utilisation pour les entreprises qui utilisent AssemblyAI ?

Les plus grands cas d’utilisation pour les entreprises qui utilisent AssemblyAI s’étendent sur quatre catégories : la téléphonie, la vidéo, les réunions virtuelles et les médias.

CallRail est un excellent exemple de client dans l’espace téléphonique qui utilise les modèles d’intelligence artificielle d’AssemblyAI — Transcription de base, Faits saillants de transcription automatique et Réduction des informations personnelles — pour offrir une solution d’intelligence conversationnelle puissante à ses clients.

En essence, CallRail peut désormais automatiquement mettre en surface et définir le contenu clé dans ses appels téléphoniques pour ses clients à grande échelle — un contenu clé tel que des demandes spécifiques de clients, des questions fréquemment posées et des mots-clés et des phrases fréquemment utilisés. Notre modèle de réduction des informations personnelles les aide à détecter et à supprimer automatiquement les données sensibles trouvées dans le texte de la transcription (par exemple, les numéros de sécurité sociale, les numéros de carte de crédit, les adresses personnelles, etc.).

Les cas d’utilisation vidéo vont des plateformes de streaming vidéo aux éditeurs de vidéo comme Veed, qui utilisent les modèles de transcription de base d’AssemblyAI pour simplifier le processus de montage vidéo pour les utilisateurs. Veed permet à ses utilisateurs de transcrire ses vidéos et de les éditer directement à l’aide des légendes.

Dans les réunions virtuelles, les sociétés de logiciels de transcription de réunions comme Fathom utilisent AssemblyAI pour créer des fonctionnalités intelligentes qui aident leurs utilisateurs à transcrire et à mettre en évidence les moments clés de leurs appels Zoom, favorisant ainsi une meilleure implication lors des réunions et éliminant les tâches fastidieuses pendant et après les réunions (par exemple, la prise de notes).

Dans les médias, nous voyons des plateformes d’hébergement de podcasts, par exemple, utiliser nos modèles de modération de contenu et de détection de sujet pour offrir de meilleures outils publicitaires pour les cas d’utilisation de sécurité de marque et monétiser le contenu généré par les utilisateurs avec des publicités dynamiques.

AssemblyAI a récemment levé un financement de série B de 30 millions de dollars. Comment cela va-t-il accélérer la mission d’AssemblyAI ?

Les progrès réalisés dans le domaine de l’intelligence artificielle sont incroyablement excitants. Notre objectif est d’exposer ces progrès à chaque développeur et équipe de produits sur Internet — via un ensemble simple d’API. Alors que nous continuons à rechercher et à former des modèles d’intelligence artificielle de pointe pour les tâches de reconnaissance vocale et de traitement automatique des langues (comme la reconnaissance vocale, la résumé, l’identification de la langue, etc.), nous allons continuer à exposer ces modèles d’intelligence artificielle aux développeurs et aux équipes de produits via des API simples — disponibles gratuitement.

AssemblyAI est un endroit où les développeurs et les équipes de produits peuvent venir pour accéder facilement aux modèles d’intelligence artificielle avancés dont ils ont besoin pour créer de nouveaux produits, services et entreprises excitants.

Au cours des six derniers mois, nous avons lancé la prise en charge de la reconnaissance vocale pour 15 nouvelles langues — y compris l’espagnol, l’allemand, le français, l’italien, l’hindi et le japonais, et avons publié des améliorations majeures pour nos modèles de résumé, de reconnaissance vocale en temps réel, de modération de contenu et de nombreuses autres mises à jour de produits.

Nous n’avons utilisé que très peu de nos fonds de série A, mais ce nouveau financement nous donnera la capacité de faire évoluer agressivement nos efforts — sans compromettre notre autonomie.

Avec ce nouveau financement, nous serons en mesure d’accélérer notre feuille de route produit, de créer de meilleures infrastructures d’intelligence artificielle pour accélérer nos moteurs de recherche et d’inférence, et de développer notre équipe de recherche en intelligence artificielle — qui compte aujourd’hui des chercheurs de DeepMind, Google (GOOGL ) Brain, Meta AI, BMW et Cisco.

Y a-t-il autre chose que vous aimeriez partager sur AssemblyAI ?

<p Notre mission est de rendre les modèles d'intelligence artificielle de pointe accessibles aux développeurs et aux équipes de produits à une échelle extrêmement large via une API simple.

Je vous remercie pour cette excellente interview, les lecteurs qui souhaitent en savoir plus peuvent visiter AssemblyAI.