Alexandr Yarats, responsable de la recherche chez Perplexity – Série d’entretiens

Alexandr Yarats est le responsable de la recherche chez Perplexity AI. Il a commencé sa carrière chez Yandex en 2017, tout en poursuivant ses études à l’école d’analyse de données de Yandex. Les premières années ont été intenses mais gratifiantes, propulsant sa croissance pour devenir un chef d’équipe d’ingénierie. Animé par son aspiration à travailler pour un géant de la technologie, il a rejoint Google (GOOGL ) en 2022 en tant qu’ingénieur logiciel senior, se concentrant sur l’équipe Google Assistant (plus tard Google Bard). Il a ensuite rejoint Perplexity en tant que responsable de la recherche.

Perplexity AI est un moteur de recherche conversationnel et un outil de recherche basé sur l’IA qui répond aux requêtes en utilisant un texte prédictif en langage naturel. Lancé en 2022, Perplexity génère des réponses en utilisant des sources du web et cite des liens dans la réponse textuelle.

Qu’est-ce qui vous a initialement intéressé dans l’apprentissage automatique ?

Mon intérêt pour l’apprentissage automatique (ML) a été un processus progressif. Pendant mes années scolaires, j’ai passé beaucoup de temps à étudier les mathématiques, la théorie des probabilités et les statistiques, et j’ai eu l’occasion de jouer avec des algorithmes d’apprentissage automatique classiques tels que la régression linéaire et KNN. C’était fascinant de voir comment vous pouvez construire une fonction prédictive directement à partir des données et l’utiliser pour prédire des données non vues. Cet intérêt m’a mené à l’école d’analyse de données de Yandex, un programme de maîtrise en apprentissage automatique très compétitif en Russie (seulement 200 personnes sont acceptées chaque année). Là, j’ai appris beaucoup sur des algorithmes d’apprentissage automatique plus avancés et j’ai construit mon intuition. Le point le plus crucial pendant ce processus a été lorsque j’ai appris sur les réseaux de neurones et l’apprentissage profond. Il est devenu très clair pour moi que c’était quelque chose que je voulais poursuivre pendant les deux prochaines décennies.

Auparavant, vous avez travaillé chez Google en tant qu’ingénieur logiciel senior pendant un an, quels ont été vos principaux enseignements tirés de cette expérience ?

Avant de rejoindre Google, j’ai passé plus de quatre ans chez Yandex, juste après avoir obtenu mon diplôme de l’école d’analyse de données de Yandex. Là, j’ai dirigé une équipe qui a développé diverses méthodes d’apprentissage automatique pour Yandex Taxi (un analogue d’Uber en Russie). J’ai rejoint ce groupe à ses débuts et j’ai eu la chance de travailler dans une équipe compacte et dynamique qui a rapidement grandi pendant quatre ans, à la fois en termes de personnel (de 30 à 500 personnes) et de capitalisation boursière (il est devenu le plus grand fournisseur de services de taxi en Russie, dépassant Uber et d’autres).

Pendant cette période, j’ai eu le privilège de construire de nombreuses choses à partir de zéro et de lancer plusieurs projets de zéro à un. L’un des derniers projets sur lesquels j’ai travaillé était la construction de chatbots pour le support de service. Là, j’ai eu un premier aperçu de la puissance des grands modèles de langage et j’ai été fasciné par leur importance potentielle à l’avenir. Cette réalisation m’a mené à Google, où j’ai rejoint l’équipe Google Assistant, qui a été plus tard renommée Google Bard (l’un des concurrents de Perplexity).

Chez Google, j’ai eu l’opportunité d’apprendre à quoi ressemble une infrastructure de classe mondiale, comment fonctionnent la recherche et les LLM, et comment ils interagissent pour fournir des réponses factuelles et précises. C’était une grande expérience d’apprentissage, mais avec le temps, je me suis senti frustré par le rythme lent de Google et le sentiment que rien ne se faisait jamais. Je voulais trouver une entreprise qui travaillait sur la recherche et les LLM et qui bougeait aussi vite, ou même plus vite, que lorsque j’étais chez Yandex. Heureusement, cela s’est produit de manière organique.

À l’intérieur de Google, j’ai commencé à voir des captures d’écran de Perplexity et des tâches qui nécessitaient de comparer Google Assistant à Perplexity. Cela a piqué mon intérêt pour l’entreprise, et après plusieurs semaines de recherche, j’étais convaincu que je voulais y travailler, donc j’ai contacté l’équipe et j’ai offert mes services.

Pouvez-vous définir votre rôle actuel et vos responsabilités chez Perplexity ?

Je suis actuellement responsable de l’équipe de recherche et je suis chargé de construire notre système de récupération interne qui alimente Perplexity. Notre équipe de recherche travaille sur la construction d’un système de crawling web, d’un moteur de récupération et d’algorithmes de classement. Ces défis me permettent de tirer parti de l’expérience que j’ai acquise chez Google (en travaillant sur la recherche et les LLM) ainsi que chez Yandex. D’un autre côté, le produit de Perplexity pose des opportunités uniques de réaménager et de réingénier la façon dont un système de récupération devrait fonctionner dans un monde qui a des LLM très puissants. Par exemple, il n’est plus important d’optimiser les algorithmes de classement pour augmenter la probabilité d’un clic ; au lieu de cela, nous nous concentrons sur l’amélioration de l’utilité et de la factualité de nos réponses. C’est une distinction fondamentale entre un moteur de recherche et un moteur de réponse. Mon équipe et moi essayons de construire quelque chose qui ira au-delà des 10 liens bleus traditionnels, et je ne peux pas penser à quelque chose de plus excitant à travailler actuellement.

Pouvez-vous élaborer sur la transition chez Perplexity de l’élaboration d’un outil text-to-SQL à la création d’une recherche alimentée par l’IA ?

Nous avons initialement travaillé sur la construction d’un moteur text-to-SQL qui fournit un moteur de réponse spécialisé dans les situations où vous avez besoin d’obtenir une réponse rapide basée sur vos données structurées (par exemple, une feuille de calcul ou un tableau). Le travail sur un projet text-to-SQL nous a permis de mieux comprendre les LLM et RAG, et nous a menés à une réalisation clé : cette technologie est beaucoup plus puissante et générale que nous ne l’avions initialement pensé. Nous avons rapidement réalisé que nous pouvions aller bien au-delà des sources de données structurées et aborder les données non structurées.

Quels ont été les principaux défis et enseignements pendant cette transition ?

Les principaux défis pendant cette transition ont été de passer de l’entreprise B2B à B2C et de reconstruire notre pile d’infrastructure pour prendre en charge la recherche non structurée. Très rapidement pendant ce processus de migration, nous avons réalisé que c’est beaucoup plus agréable de travailler sur un produit orienté client car vous commencez à recevoir un flux constant de commentaires et d’engagement, quelque chose que nous n’avons pas vu beaucoup lorsque nous construisions un moteur text-to-SQL et que nous nous concentrions sur les solutions d’entreprise.

La génération assistée par récupération (RAG) semble être un élément clé des capacités de recherche de Perplexity. Pouvez-vous expliquer comment Perplexity utilise RAG de manière différente par rapport à d’autres plateformes, et comment cela affecte la précision des résultats de recherche ?

RAG est un concept général pour fournir des connaissances externes à un LLM. Bien que l’idée puisse sembler simple à première vue, la construction d’un tel système qui sert des dizaines de millions d’utilisateurs de manière efficace et précise est un défi important. Nous avons dû concevoir ce système en interne à partir de zéro et construire de nombreux composants personnalisés qui se sont avérés critiques pour atteindre les derniers bits de précision et de performances. Nous avons conçu notre système où des dizaines de LLM (allant des grands aux petits) travaillent en parallèle pour traiter une requête utilisateur rapidement et de manière rentable. Nous avons également construit une infrastructure d’entraînement et d’inférence qui nous permet d’entraîner les LLM avec la recherche de bout en bout, de sorte qu’ils soient étroitement intégrés. Cela réduit considérablement les hallucinations et améliore l’utilité de nos réponses.

Compte tenu des limites par rapport aux ressources de Google, comment Perplexity gère-t-elle ses stratégies de crawling et d’indexation web pour rester compétitive et assurer des informations à jour ?

Construire un index aussi vaste que celui de Google nécessite beaucoup de temps et de ressources. Au lieu de cela, nous nous concentrons sur les sujets que nos utilisateurs interrogent fréquemment sur Perplexity. Il s’avère que la majorité de nos utilisateurs utilisent Perplexity comme un assistant de travail/recherche, et de nombreuses requêtes recherchent des parties de haute qualité, fiables et utiles du web. C’est une distribution de loi de puissance, où vous pouvez obtenir des résultats significatifs avec une approche 80/20. Sur la base de ces connaissances, nous avons pu construire un index beaucoup plus compact, optimisé pour la qualité et la véracité. Actuellement, nous passons moins de temps à poursuivre la queue, mais à mesure que nous développons notre infrastructure, nous allons également poursuivre la queue.

Comment les grands modèles de langage (LLM) améliorent-ils les capacités de recherche de Perplexity, et qu’est-ce qui les rend particulièrement efficaces pour analyser et présenter des informations à partir du web ?

Nous utilisons les LLM partout, à la fois pour le traitement en temps réel et hors ligne. Les LLM nous permettent de nous concentrer sur les parties les plus importantes et les plus pertinentes des pages web. Ils vont au-delà de tout ce qui a été fait auparavant pour maximiser le rapport signal/bruit, ce qui rend beaucoup plus facile de traiter de nombreuses choses qui n’étaient pas abordables auparavant par une petite équipe. En général, c’est peut-être l’aspect le plus important des LLM : ils nous permettent de faire des choses sophistiquées avec une très petite équipe.

En regardant vers l’avenir, quels sont les principaux défis technologiques ou de marché que Perplexity anticipe ?

Alors que nous regardons vers l’avenir, les principaux défis technologiques pour nous seront centrés autour de l’amélioration continue de l’utilité et de la précision de nos réponses. Nous visons à augmenter la portée et la complexité des types de requêtes et de questions que nous pouvons répondre de manière fiable. En parallèle, nous nous soucions beaucoup de la vitesse et de l’efficacité de notre système et nous allons nous concentrer fortement sur la réduction des coûts de service autant que possible sans compromettre la qualité de notre produit.

Selon vous, pourquoi l’approche de Perplexity en matière de recherche est-elle supérieure à l’approche de Google qui classe les sites web en fonction des liens de retour et d’autres métriques de classement de moteur de recherche éprouvées ?

Nous optimisons une métrique de classement complètement différente de celle des moteurs de recherche classiques. Notre objectif de classement est conçu pour combiner de manière native le système de récupération et les LLM. Cette approche est très différente de celle des moteurs de recherche classiques, qui optimisent la probabilité d’un clic ou d’une impression de publicité.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Perplexity AI.