Alexandr Yarats, responsable de la recherche chez Perplexity – Série d'entretiens

Alexandr Yarats est le responsable de la recherche chez IA perplexité. Il a commencé sa carrière chez Yandex en 2017, tout en étudiant à la Yandex School of Data Analysis. Les premières années ont été intenses mais enrichissantes, ce qui l'a propulsé jusqu'à devenir chef d'équipe d'ingénierie. Poussé par son aspiration à travailler avec un géant de la technologie, il a rejoint Google en 2022 en tant qu'ingénieur logiciel senior, se concentrant sur l'équipe Google Assistant (plus tard Google Bard). Il a ensuite rejoint Perplexity en tant que responsable de la recherche.

Perplexity AI est un moteur de recherche et de recherche conversationnel alimenté par un chatbot IA qui répond aux requêtes à l'aide d'un texte prédictif en langage naturel. Lancé en 2022, Perplexity génère des réponses en utilisant les sources du Web et cite des liens dans la réponse textuelle.

Qu’est-ce qui vous a initialement intéressé au machine learning ?

Mon intérêt pour l'apprentissage automatique (ML) s'est développé progressivement. Durant mes études, j'ai consacré beaucoup de temps à l'étude des mathématiques, de la théorie des probabilités et des statistiques, et j'ai eu l'occasion de jouer avec des algorithmes d'apprentissage automatique classiques tels que la régression linéaire et le KNN. C'était fascinant de voir comment on peut construire une fonction prédictive directement à partir des données, puis l'utiliser pour prédire des données invisibles. Cet intérêt m'a conduit à la Yandex School of Data Analysis, un master en apprentissage automatique très compétitif en Russie (seulement 200 candidats sont admis chaque année). J'y ai beaucoup appris sur les algorithmes d'apprentissage automatique plus avancés et j'ai développé mon intuition. Le moment le plus crucial de ce parcours a été la découverte des réseaux de neurones et de l'apprentissage profond. J'ai alors clairement compris que c'était mon objectif pour les vingt prochaines années.

Vous avez précédemment travaillé chez Google en tant qu'ingénieur logiciel senior pendant un an. Quels ont été les principaux enseignements que vous avez tirés de cette expérience ?

Avant de rejoindre Google, j'ai passé plus de quatre ans chez Yandex, juste après avoir obtenu mon diplôme de la Yandex School of Data Analysis. Là, j'ai dirigé une équipe qui a développé diverses méthodes d'apprentissage automatique pour Yandex Taxi (un analogue d'Uber en Russie). J'ai rejoint ce groupe dès sa création et j'ai eu la chance de travailler dans une équipe soudée et dynamique qui a connu une croissance rapide en quatre ans, tant en effectif (de 30 à 500 personnes) qu'en capitalisation boursière (elle est devenue le plus grand service de taxi fournisseur en Russie, dépassant Uber et autres).

Tout au long de cette période, j'ai eu le privilège de construire beaucoup de choses à partir de zéro et de lancer plusieurs projets de zéro à un. L'un des derniers projets sur lesquels j'ai travaillé consistait à créer des chatbots pour le support technique. Là, j’ai eu un premier aperçu de la puissance des grands modèles de langage et j’ai été fasciné par l’importance qu’ils pourraient avoir à l’avenir. Cette prise de conscience m'a conduit chez Google, où j'ai rejoint l'équipe Google Assistant, rebaptisée plus tard Google Bard (l'un des concurrents de Perplexity).

Chez Google, j'ai eu l'occasion d'apprendre à quoi ressemble une infrastructure de classe mondiale, comment fonctionnent la recherche et les LLM et comment ils interagissent les uns avec les autres pour fournir des réponses factuelles et précises. Ce fut une formidable expérience d'apprentissage, mais au fil du temps, je suis devenu frustré par la lenteur de Google et le sentiment que rien n'était jamais fait. Je voulais trouver une entreprise qui travaillait sur la recherche et les LLM et qui évoluait aussi vite, voire plus vite, que lorsque j'étais chez Yandex. Heureusement, cela s’est produit de manière organique.

En interne chez Google, j'ai commencé à voir des captures d'écran de Perplexity et des tâches qui nécessitaient de comparer Google Assistant à Perplexity. Cela a piqué mon intérêt pour l'entreprise et après plusieurs semaines de recherche, j'étais convaincu que je voulais y travailler, j'ai donc contacté l'équipe et proposé mes services.

Pouvez-vous définir votre rôle et vos responsabilités actuels chez Perplexity ?

Je suis actuellement à la tête de l'équipe de recherche et je suis responsable de la construction de notre système de récupération interne qui alimente Perplexity. Notre équipe de recherche travaille à la création d'un système d'exploration Web, d'un moteur de récupération et d'algorithmes de classement. Ces défis me permettent de profiter de l'expérience que j'ai acquise chez Google (en travaillant sur le Search et les LLM) ainsi que chez Yandex. D'un autre côté, le produit de Perplexity offre des opportunités uniques pour repenser et réorganiser l'apparence d'un système de récupération dans un monde doté de LLM très puissants. Par exemple, il n’est plus important d’optimiser les algorithmes de classement pour augmenter la probabilité d’un clic ; au lieu de cela, nous nous concentrons sur l’amélioration de l’utilité et de la factualité de nos réponses. Il s'agit d'une distinction fondamentale entre un moteur de réponse et un moteur de recherche. Mon équipe et moi essayons de construire quelque chose qui ira au-delà des traditionnels 10 liens bleus, et je ne vois rien de plus excitant sur lequel travailler actuellement.

Pouvez-vous nous expliquer la transition chez Perplexity, du développement d'un outil texte vers SQL à la transition vers la création d'une recherche basée sur l'IA ?

Nous avons initialement travaillé sur la création d'un moteur texte vers SQL qui fournit un moteur de réponse spécialisé dans les situations où vous avez besoin d'obtenir une réponse rapide basée sur vos données structurées (par exemple, une feuille de calcul ou un tableau). Travailler sur un projet text-to-SQL nous a permis d'acquérir une compréhension beaucoup plus approfondie des LLM et des RAG, et nous a conduit à une réalisation clé : cette technologie est beaucoup plus puissante et générale que nous le pensions au départ. Nous avons rapidement réalisé que nous pouvions aller bien au-delà des sources de données bien structurées et nous attaquer également aux données non structurées.

Quels ont été les principaux défis et perspectives au cours de ce changement ?

Les principaux défis de cette transition ont consisté à faire évoluer notre entreprise du B2B vers le B2C et à repenser notre infrastructure pour prendre en charge la recherche non structurée. Très vite, au cours de cette migration, nous avons réalisé qu'il était bien plus agréable de travailler sur un produit orienté client, car nous recevions un flux constant de retours et d'engagement, ce qui était rare lorsque nous développions un moteur de conversion de texte en SQL et que nous nous concentrions sur les solutions d'entreprise.

La génération augmentée de données (RAG) semble être la pierre angulaire des capacités de recherche de Perplexity. Pourriez-vous expliquer en quoi Perplexity utilise RAG différemment des autres plateformes et quel impact cela a sur la précision des résultats de recherche ?

RAG est un concept général permettant de fournir des connaissances externes à un LLM. Même si l’idée peut paraître simple à première vue, construire un tel système qui servira des dizaines de millions d’utilisateurs de manière efficace et précise constitue un défi de taille. Nous avons dû concevoir ce système en interne à partir de zéro et construire de nombreux composants personnalisés qui se sont révélés essentiels pour atteindre les dernières caractéristiques de précision et de performances. Nous avons conçu notre système dans lequel des dizaines de LLM (de grande à petite taille) travaillent en parallèle pour traiter une demande d'utilisateur rapidement et de manière rentable. Nous avons également construit une infrastructure de formation et d'inférence qui nous permet de former les LLM avec la recherche de bout en bout, afin qu'ils soient étroitement intégrés. Cela réduit considérablement les hallucinations et améliore l’utilité de nos réponses.

Avec les limitations par rapport aux ressources de Google, comment Perplexity gère-t-il ses stratégies d'exploration et d'indexation Web pour rester compétitif et garantir des informations à jour ?

Construire un index aussi complet que celui de Google nécessite beaucoup de temps et de ressources. Nous nous concentrons donc sur les sujets fréquemment abordés par nos utilisateurs sur Perplexity. Il s'avère que la majorité de nos utilisateurs utilisent Perplexity comme un assistant de travail ou de recherche, et que de nombreuses requêtes recherchent des ressources web de qualité, fiables et utiles. Il s'agit d'une distribution de puissance, où une approche 80/20 permet d'obtenir des résultats significatifs. Grâce à ces informations, nous avons pu construire un index beaucoup plus compact, optimisé pour la qualité et la véracité. Actuellement, nous passons moins de temps à rechercher les informations les plus pertinentes, mais à mesure que notre infrastructure évoluera, nous nous y intéresserons également.

Comment les grands modèles linguistiques (LLM) améliorent-ils les capacités de recherche de Perplexity, et qu'est-ce qui les rend particulièrement efficaces pour analyser et présenter les informations du Web ?

Nous utilisons les LLM partout, à la fois pour le traitement en temps réel et hors ligne. Les LLM nous permettent de nous concentrer sur les parties les plus importantes et les plus pertinentes des pages Web. Ils vont au-delà de tout ce qui était auparavant en maximisant le rapport signal/bruit, ce qui permet de s'attaquer beaucoup plus facilement à de nombreuses choses qui n'étaient pas réalisables auparavant par une petite équipe. En général, c'est peut-être l'aspect le plus important des LLM : ils permettent de faire des choses sophistiquées avec une très petite équipe.

Pour l’avenir, quels sont les principaux défis technologiques ou de marché anticipés par Perplexity ?

À l’avenir, les défis technologiques les plus importants pour nous consisteront à continuer d’améliorer l’utilité et l’exactitude de nos réponses. Nous visons à accroître la portée et la complexité des types de requêtes et de questions auxquelles nous pouvons répondre de manière fiable. Parallèlement à cela, nous nous soucions beaucoup de la rapidité et de l'efficacité du service de notre système et nous nous concentrerons fortement sur la réduction autant que possible des coûts de service sans compromettre la qualité de notre produit.

À votre avis, pourquoi l'approche de recherche de Perplexity est-elle supérieure à l'approche de Google consistant à classer les sites Web en fonction des backlinks et d'autres mesures de classement des moteurs de recherche éprouvées ?

Nous optimisons une métrique de classement complètement différente de celle des moteurs de recherche classiques. Notre objectif de classement est conçu pour combiner nativement le système de récupération et les LLM. Cette approche est assez différente de celle des moteurs de recherche classiques, qui optimisent la probabilité d'un clic ou d'une impression publicitaire.

Merci pour cette excellente interview, les lecteurs qui souhaitent en savoir plus devraient visiter IA perplexité.