Alexandr Yarats, Head of Search bei Perplexity – Interviewreihe

Alexandr Yarats ist Head of Search bei Ratlosigkeit KI. Er begann seine Karriere bei Yandex im Jahr 2017 und studierte gleichzeitig an der Yandex School of Data Analysis. Die ersten Jahre waren intensiv und dennoch lohnend und trieben seine Entwicklung zum Engineering-Teamleiter voran. Angetrieben von seinem Wunsch, mit einem Technologieriesen zusammenzuarbeiten, kam er 2022 als Senior Software Engineer zu Google und konzentrierte sich auf das Google Assistant-Team (später Google Bard). Anschließend wechselte er als Head of Search zu Perplexity.

Perplexity AI ist eine auf KI-Chatbots basierende Recherche- und Konversationssuchmaschine, die Anfragen mithilfe von prädiktivem Text in natürlicher Sprache beantwortet. Perplexity wurde 2022 eingeführt und generiert Antworten anhand der Quellen aus dem Internet und zitiert Links in der Textantwort.

Was hat Ihr Interesse am maschinellen Lernen geweckt?

Mein Interesse am maschinellen Lernen (ML) war ein schrittweiser Prozess. Während meiner Schulzeit habe ich viel Zeit damit verbracht, Mathematik, Wahrscheinlichkeitstheorie und Statistik zu studieren und hatte die Gelegenheit, mit klassischen Algorithmen für maschinelles Lernen wie linearer Regression und KNN zu spielen. Es war faszinierend zu sehen, wie man direkt aus den Daten eine Vorhersagefunktion erstellen und diese dann zur Vorhersage unsichtbarer Daten verwenden kann. Dieses Interesse führte mich zur Yandex School of Data Analysis, einem hart umkämpften Masterstudiengang für maschinelles Lernen in Russland (nur 200 Personen werden jedes Jahr aufgenommen). Dort habe ich viel über fortgeschrittenere Algorithmen für maschinelles Lernen gelernt und meine Intuition entwickelt. Der wichtigste Punkt in diesem Prozess war, als ich etwas über neuronale Netze und Deep Learning lernte. Mir wurde sehr klar, dass ich dies in den nächsten Jahrzehnten verfolgen wollte.

Sie haben zuvor ein Jahr lang als Senior Software Engineer bei Google gearbeitet. Was waren Ihre wichtigsten Erkenntnisse aus dieser Erfahrung?

Bevor ich zu Google kam, verbrachte ich direkt nach meinem Abschluss an der Yandex School of Data Analysis über vier Jahre bei Yandex. Dort leitete ich ein Team, das verschiedene Methoden des maschinellen Lernens für Yandex Taxi (ein Analogon zu Uber in Russland) entwickelte. Ich bin dieser Gruppe gleich zu Beginn beigetreten und hatte die Chance, in einem engmaschigen und schnelllebigen Team zu arbeiten, das im Laufe von vier Jahren schnell wuchs, sowohl hinsichtlich der Mitarbeiterzahl (von 30 auf 500 Personen) als auch der Marktkapitalisierung (es wurde zum größten Taxidienst). Anbieter in Russland, der Uber und andere übertrifft).

Während dieser Zeit hatte ich das Privileg, viele Dinge von Grund auf neu aufzubauen und mehrere Projekte von Null auf Eins zu starten. Eines der letzten Projekte, an denen ich dort gearbeitet habe, war die Entwicklung von Chatbots zur Serviceunterstützung. Dort bekam ich einen ersten Einblick in die Leistungsfähigkeit großer Sprachmodelle und war fasziniert davon, wie wichtig sie in Zukunft sein könnten. Diese Erkenntnis führte mich zu Google, wo ich dem Google Assistant-Team beitrat, das später in Google Bard (einer der Konkurrenten von Perplexity) umbenannt wurde.

Bei Google hatte ich die Gelegenheit zu erfahren, wie eine erstklassige Infrastruktur aussieht, wie Suche und LLMs funktionieren und wie sie miteinander interagieren, um sachliche und genaue Antworten zu liefern. Das war eine großartige Lernerfahrung, aber mit der Zeit frustrierte mich das langsame Tempo bei Google und das Gefühl, dass nie etwas getan wurde. Ich wollte ein Unternehmen finden, das sich mit Suche und LLMs beschäftigt und genauso schnell oder sogar schneller agiert als zu meiner Zeit bei Yandex. Glücklicherweise geschah dies organisch.

Intern bei Google sah ich Screenshots von Perplexity und Aufgaben, die einen Vergleich von Google Assistant mit Perplexity erforderten. Dies weckte mein Interesse an dem Unternehmen und nach mehreren Wochen der Recherche war ich überzeugt, dass ich dort arbeiten wollte, also wandte ich mich an das Team und bot meine Dienste an.

Können Sie Ihre aktuelle Rolle und Verantwortlichkeiten bei Perplexity definieren?

Ich fungiere derzeit als Leiter des Suchteams und bin für den Aufbau unseres internen Retrieval-Systems verantwortlich, das Perplexity antreibt. Unser Suchteam arbeitet am Aufbau eines Web-Crawling-Systems, einer Retrieval-Engine und Ranking-Algorithmen. Diese Herausforderungen ermöglichen es mir, die Erfahrungen zu nutzen, die ich bei Google (Arbeit an der Suche und LLMs) sowie bei Yandex gesammelt habe. Andererseits bietet das Produkt von Perplexity einzigartige Möglichkeiten zur Neugestaltung und Neugestaltung, wie ein Retrieval-System in einer Welt mit sehr leistungsstarken LLMs aussehen sollte. Beispielsweise ist es nicht mehr wichtig, Ranking-Algorithmen zu optimieren, um die Wahrscheinlichkeit eines Klicks zu erhöhen; Stattdessen konzentrieren wir uns darauf, die Nützlichkeit und Sachlichkeit unserer Antworten zu verbessern. Dies ist ein grundlegender Unterschied zwischen einer Antwortmaschine und einer Suchmaschine. Mein Team und ich versuchen, etwas aufzubauen, das über die traditionellen 10 blauen Links hinausgeht, und ich kann mir derzeit nichts Aufregenderes für die Arbeit vorstellen.

Können Sie den Übergang bei Perplexity von der Entwicklung eines Text-zu-SQL-Tools hin zur Entwicklung einer KI-gestützten Suche näher erläutern?

Wir haben zunächst daran gearbeitet, eine Text-zu-SQL-Engine zu entwickeln, die eine spezielle Antwort-Engine für Situationen bietet, in denen Sie eine schnelle Antwort auf der Grundlage Ihrer strukturierten Daten (z. B. einer Tabelle oder Tabelle) benötigen. Die Arbeit an einem Text-to-SQL-Projekt ermöglichte es uns, ein viel tieferes Verständnis von LLMs und RAG zu erlangen und führte uns zu einer wichtigen Erkenntnis: Diese Technologie ist viel leistungsfähiger und allgemeiner, als wir ursprünglich dachten. Uns wurde schnell klar, dass wir weit über gut strukturierte Datenquellen hinausgehen und auch unstrukturierte Daten bewältigen können.

Was waren die wichtigsten Herausforderungen und Erkenntnisse während dieses Wandels?

Die größten Herausforderungen bei diesem Übergang bestanden darin, unser Unternehmen von B2B auf B2C umzustellen und unsere Infrastruktur neu aufzubauen, um die unstrukturierte Suche zu unterstützen. Während dieses Migrationsprozesses wurde uns sehr schnell klar, dass es viel mehr Spaß macht, an einem kundenorientierten Produkt zu arbeiten, da man einen ständigen Strom an Feedback und Engagement erhält, etwas, von dem wir bei der Entwicklung eines Produkts nicht viel gesehen haben Text-to-SQL-Engine mit Schwerpunkt auf Unternehmenslösungen.

Retrieval-Augmented Generation (RAG) scheint ein Eckpfeiler der Suchfunktionen von Perplexity zu sein. Können Sie erklären, warum Perplexity RAG im Vergleich zu anderen Plattformen anders nutzt und wie sich dies auf die Genauigkeit der Suchergebnisse auswirkt?

RAG ist ein allgemeines Konzept zur Bereitstellung von externem Wissen für einen LLM. Auch wenn die Idee auf den ersten Blick einfach erscheinen mag, ist der Aufbau eines solchen Systems, das Millionen von Benutzern effizient und präzise bedient, eine große Herausforderung. Wir mussten dieses System von Grund auf intern entwickeln und viele kundenspezifische Komponenten bauen, die sich als entscheidend für das Erreichen der letzten Präzisions- und Leistungsmerkmale erwiesen. Wir haben unser System so konzipiert, dass Dutzende von LLMs (von groß bis klein) parallel arbeiten, um eine Benutzeranfrage schnell und kosteneffizient zu bearbeiten. Wir haben außerdem eine Trainings- und Inferenzinfrastruktur aufgebaut, die es uns ermöglicht, LLMs zusammen mit der End-to-End-Suche zu trainieren, sodass sie eng integriert sind. Dadurch werden Halluzinationen deutlich reduziert und die Nützlichkeit unserer Antworten verbessert.

Wie verwaltet Perplexity angesichts der Einschränkungen im Vergleich zu den Ressourcen von Google seine Web-Crawling- und Indexierungsstrategien, um wettbewerbsfähig zu bleiben und aktuelle Informationen sicherzustellen?

Der Aufbau eines so umfangreichen Indexes wie der von Google erfordert viel Zeit und Ressourcen. Stattdessen konzentrieren wir uns auf Themen, nach denen unsere Benutzer häufig auf Perplexity nachfragen. Es stellt sich heraus, dass die Mehrheit unserer Benutzer Perplexity als Arbeits-/Rechercheassistenten nutzen und viele Suchanfragen nach hochwertigen, vertrauenswürdigen und hilfreichen Teilen des Webs suchen. Hierbei handelt es sich um eine Potenzgesetzverteilung, bei der Sie mit einem 80/20-Ansatz signifikante Ergebnisse erzielen können. Basierend auf diesen Erkenntnissen konnten wir einen viel kompakteren Index erstellen, der auf Qualität und Wahrhaftigkeit optimiert ist. Derzeit verbringen wir weniger Zeit damit, dem Schwanz nachzujagen, aber wenn wir unsere Infrastruktur skalieren, werden wir auch dem Schwanz hinterherjagen.

Wie verbessern große Sprachmodelle (LLMs) die Suchfunktionen von Perplexity und was macht sie besonders effektiv beim Parsen und Präsentieren von Informationen aus dem Web?

Wir nutzen LLMs überall, sowohl für die Echtzeit- als auch für die Offline-Verarbeitung. LLMs ermöglichen es uns, uns auf die wichtigsten und relevantesten Teile von Webseiten zu konzentrieren. Bei der Maximierung des Signal-Rausch-Verhältnisses gehen sie über alles bisherige hinaus, was es viel einfacher macht, viele Dinge zu bewältigen, die zuvor von einem kleinen Team nicht bewältigt werden konnten. Im Allgemeinen ist dies vielleicht der wichtigste Aspekt von LLMs: Sie ermöglichen es Ihnen, anspruchsvolle Dinge mit einem sehr kleinen Team zu erledigen.

Was sind mit Blick auf die Zukunft die größten technologischen oder Marktherausforderungen, die Perplexity erwartet?

Mit Blick auf die Zukunft werden sich die wichtigsten technologischen Herausforderungen für uns darauf konzentrieren, die Nützlichkeit und Genauigkeit unserer Antworten weiter zu verbessern. Unser Ziel ist es, den Umfang und die Komplexität der Arten von Anfragen und Fragen zu erhöhen, die wir zuverlässig beantworten können. Darüber hinaus legen wir großen Wert auf die Geschwindigkeit und Serviereffizienz unseres Systems und werden uns stark darauf konzentrieren, die Servierkosten so weit wie möglich zu senken, ohne die Qualität unseres Produkts zu beeinträchtigen.

Warum ist der Suchansatz von Perplexity Ihrer Meinung nach dem Ansatz von Google, Websites nach Backlinks und anderen bewährten Suchmaschinen-Ranking-Metriken zu bewerten, überlegen?

Wir optimieren eine völlig andere Ranking-Metrik als klassische Suchmaschinen. Unser Ranking-Ziel besteht darin, das Retrieval-System und LLMs nativ zu kombinieren. Dieser Ansatz unterscheidet sich deutlich von dem klassischer Suchmaschinen, die die Wahrscheinlichkeit eines Klicks oder einer Anzeigenimpression optimieren.

Vielen Dank für das tolle Interview, Leser, die mehr erfahren möchten, sollten vorbeischauen Ratlosigkeit KI.