Alexandr Yarats, Leiter der Suche bei Perplexity – Interview-Serie

Alexandr Yarats ist der Leiter der Suche bei Perplexity AI. Er begann seine Karriere bei Yandex im Jahr 2017, während er gleichzeitig an der Yandex School of Data Analysis studierte. Die ersten Jahre waren intensiv, aber auch sehr lohnend, und trieben sein Wachstum voran, um schließlich zum Leiter des Engineering-Teams zu werden. Getrieben von seinem Wunsch, für ein Tech-Unternehmen zu arbeiten, wechselte er 2022 zu Google (GOOGL ) als Senior Software Engineer und konzentrierte sich auf das Google Assistant-Team (später Google Bard). Anschließend wechselte er zu Perplexity als Leiter der Suche.

Perplexity AI ist ein von KI-Chatbots angetriebener Forschungs- und Konversations-Suchdienst, der Anfragen mit Hilfe von natürlicher Sprache und vorhersehbarem Text beantwortet. Im Jahr 2022 gestartet, generiert Perplexity Antworten mithilfe von Quellen aus dem Web und zitiert Links innerhalb der Textantwort.

Was hat Sie ursprünglich für das Maschinelles Lernen interessiert?

Mein Interesse am Maschinellen Lernen (ML) war ein allmählicher Prozess. Während meiner Schulzeit verbrachte ich viel Zeit mit dem Studium von Mathematik, Wahrscheinlichkeitstheorie und Statistik und hatte die Gelegenheit, mit klassischen Maschinellen-Lernen-Algorithmen wie linearer Regression und KNN zu experimentieren. Es war faszinierend zu sehen, wie man eine Vorhersagefunktion direkt aus den Daten aufbauen und dann verwenden kann, um unbekannte Daten vorherzusagen. Dieses Interesse führte mich zur Yandex School of Data Analysis, einem sehr wettbewerbsorientierten Master-Studiengang für Maschinelles Lernen in Russland (nur 200 Personen werden jährlich angenommen). Dort lernte ich viel über fortgeschrittenere Maschinelle-Lernen-Algorithmen und baute meine Intuition auf. Der wichtigste Punkt während dieses Prozesses war, als ich von neuronalen Netzen und Deep Learning erfuhr. Es wurde sehr klar, dass dies etwas war, was ich über die nächsten paar Jahrzehnte verfolgen wollte.

Sie haben zuvor bei Google als Senior Software Engineer für ein Jahr gearbeitet. Was waren einige Ihrer wichtigsten Erkenntnisse aus dieser Erfahrung?

Bevor ich zu Google kam, verbrachte ich über vier Jahre bei Yandex, direkt nach meinem Abschluss an der Yandex School of Data Analysis. Dort leitete ich ein Team, das verschiedene Maschinelle-Lernen-Methoden für Yandex Taxi (ein Analogon zu Uber in Russland) entwickelte. Ich kam zu dieser Gruppe, als sie gerade gegründet wurde, und hatte die Chance, in einem engen und schnellen Team zu arbeiten, das sich über vier Jahre hinweg schnell vergrößerte, sowohl in Bezug auf die Anzahl der Mitarbeiter (von 30 auf 500 Personen) als auch auf den Marktwert (es wurde der größte Taxi-Dienstleister in Russland und übertraf Uber und andere).

Während dieser Zeit hatte ich das Privileg, viele Dinge von Grund auf aufzubauen und mehrere Projekte von null auf eins zu starten. Eines der letzten Projekte, an denen ich dort arbeitete, war die Entwicklung von Chatbots für den Kundenservice. Dort erhielt ich einen ersten Einblick in die Macht von großen Sprachmodellen und war fasziniert von ihrer Bedeutung für die Zukunft. Diese Erkenntnis führte mich zu Google, wo ich dem Google Assistant-Team beitrat, das später in Google Bard umbenannt wurde (einer der Wettbewerber von Perplexity).

Bei Google hatte ich die Gelegenheit, zu lernen, wie eine weltklasse-Infrastruktur aussieht, wie Suche und LLMs zusammenarbeiten und wie sie miteinander interagieren, um sachliche und genaue Antworten zu liefern. Dies war eine großartige Lernerfahrung, aber mit der Zeit wurde ich von der langsamen Geschwindigkeit bei Google und dem Gefühl, dass nichts jemals erledigt wurde, frustriert. Ich suchte nach einem Unternehmen, das an Suche und LLMs arbeitete und genauso schnell oder sogar schneller war wie bei Yandex. Glücklicherweise geschah dies organisch.

Intern bei Google sah ich Screenshots von Perplexity und Aufgaben, die den Vergleich von Google Assistant mit Perplexity erforderten. Dies weckte mein Interesse an dem Unternehmen, und nach mehreren Wochen der Recherche war ich überzeugt, dass ich dort arbeiten wollte, also kontaktierte ich das Team und bot meine Dienste an.

Können Sie Ihre aktuelle Rolle und Verantwortungen bei Perplexity beschreiben?

Ich bin derzeit der Leiter des Suchteams und bin für den Aufbau unseres internen Retrieval-Systems verantwortlich, das Perplexity antreibt. Unser Suchteam arbeitet an der Entwicklung eines Web-Crawling-Systems, eines Retrieval-Engines und von Ranking-Algorithmen. Diese Herausforderungen ermöglichen es mir, die Erfahrungen, die ich bei Google (bei der Arbeit an Suche und LLMs) und bei Yandex gesammelt habe, zu nutzen. Andererseits bietet Perplexitys Produkt einzigartige Chancen, die Art und Weise, wie ein Retrieval-System in einer Welt mit sehr leistungsfähigen LLMs aussehen sollte, neu zu entwerfen und umzubauen. Zum Beispiel ist es nicht mehr wichtig, Ranking-Algorithmen zu optimieren, um die Wahrscheinlichkeit eines Klicks zu erhöhen; stattdessen konzentrieren wir uns darauf, die Nützlichkeit und Sachlichkeit unserer Antworten zu verbessern. Dies ist ein grundlegender Unterschied zwischen einer Antwort-Engine und einer Suchmaschine. Mein Team und ich versuchen, etwas zu bauen, das über die traditionellen 10 blauen Links hinausgeht, und ich kann mir nichts Aufregenderes vorstellen, an dem ich derzeit arbeiten könnte.

Können Sie die Transition bei Perplexity von der Entwicklung eines Text-to-SQL-Tools zur Entwicklung einer KI-gestützten Suche erläutern?

Wir haben ursprünglich an der Entwicklung eines Text-to-SQL-Engines gearbeitet, der eine spezialisierte Antwort-Engine in Situationen bietet, in denen Sie eine schnelle Antwort auf der Grundlage Ihrer strukturierten Daten benötigen (z. B. eine Tabelle oder ein Spreadsheet). Die Arbeit an einem Text-to-SQL-Projekt ermöglichte es uns, ein viel tieferes Verständnis von LLMs und RAG zu erlangen und führte uns zu einer wichtigen Erkenntnis: Diese Technologie ist viel leistungsfähiger und allgemeiner, als wir ursprünglich dachten. Wir erkannten schnell, dass wir über strukturierte Datenquellen hinausgehen und unstrukturierte Daten angehen konnten.

Welche waren die wichtigsten Herausforderungen und Erkenntnisse während dieses Übergangs?

Die wichtigsten Herausforderungen während dieses Übergangs waren der Wechsel von einem B2B- zu einem B2C-Unternehmen und der Umbau unseres Infrastruktur-Stapels, um unstrukturierte Suche zu unterstützen. Sehr schnell während dieses Migrationsprozesses erkannten wir, dass es viel angenehmer ist, an einem kundenorientierten Produkt zu arbeiten, da Sie eine ständige Flut von Feedback und Engagement erhalten, etwas, das wir nicht viel gesehen haben, als wir an einem Text-to-SQL-Engine arbeiteten und uns auf Unternehmenslösungen konzentrierten.

Retrieval-augmented generation (RAG) scheint ein Eckpfeiler von Perplexitys Suchfähigkeiten zu sein. Können Sie erklären, wie Perplexity RAG im Vergleich zu anderen Plattformen anders nutzt und wie dies die Genauigkeit der Suchergebnisse beeinflusst?

RAG ist ein allgemeines Konzept, um externes Wissen an ein LLM zu liefern. Während die Idee auf den ersten Blick einfach erscheinen mag, ist der Aufbau eines solchen Systems, das effizient und genau für Millionen von Nutzern arbeitet, eine erhebliche Herausforderung. Wir mussten dieses System von Grund auf aufbauen und viele benutzerdefinierte Komponenten entwickeln, die sich als entscheidend für die Erreichung der letzten Bits an Genauigkeit und Leistung erwiesen. Wir haben unser System so konzipiert, dass Dutzende von LLMs (von großen bis kleinen) parallel arbeiten, um eine Benutzeranfrage schnell und kosteneffizient zu bearbeiten. Wir haben auch eine Trainings- und Inferenz-Infrastruktur aufgebaut, die es uns ermöglicht, LLMs zusammen mit der Suche von Ende zu Ende zu trainieren, so dass sie eng integriert sind. Dies reduziert Halluzinationen erheblich und verbessert die Nützlichkeit unserer Antworten.

Wie bewältigt Perplexity mit den im Vergleich zu Google begrenzten Ressourcen seine Web-Crawling- und Indexierungsstrategien, um wettbewerbsfähig zu bleiben und sicherzustellen, dass die Informationen auf dem neuesten Stand sind?

Der Aufbau eines so umfassenden Index wie bei Google erfordert erhebliche Zeit und Ressourcen. Stattdessen konzentrieren wir uns auf Themen, nach denen unsere Nutzer häufig auf Perplexity suchen. Es stellt sich heraus, dass die meisten unserer Nutzer Perplexity als Arbeits- oder Forschungsassistenten nutzen und viele Anfragen nach hochwertigen, vertrauenswürdigen und nützlichen Teilen des Internets suchen. Dies ist eine Potenzverteilung, bei der Sie mit einem 80/20-Ansatz erhebliche Ergebnisse erzielen können. Basierend auf diesen Erkenntnissen konnten wir einen viel kompakten Index aufbauen, der auf Qualität und Wahrhaftigkeit optimiert ist. Derzeit verbringen wir weniger Zeit damit, dem Schwanz nachzujagen, aber wenn wir unsere Infrastruktur skalieren, werden wir auch den Schwanz verfolgen.

Wie verbessern große Sprachmodelle (LLMs) Perplexitys Suchfunktionen, und was macht sie besonders effektiv bei der Analyse und Darstellung von Informationen aus dem Internet?

Wir verwenden LLMs überall, sowohl für Echtzeit- als auch für Offline-Verarbeitung. LLMs ermöglichen es uns, uns auf die wichtigsten und relevantesten Teile von Webseiten zu konzentrieren. Sie gehen über alles hinaus, was es vorher gab, um das Signal-Rausch-Verhältnis zu maximieren, was es viel einfacher macht, viele Dinge zu bewältigen, die zuvor nicht von einem kleinen Team zu bewältigen waren. Im Allgemeinen ist dies vielleicht der wichtigste Aspekt von LLMs: Sie ermöglichen es uns, komplexe Dinge mit einem sehr kleinen Team zu tun.

Was sind die wichtigsten technologischen oder marktbedingten Herausforderungen, die Perplexity in Zukunft erwartet?

Wenn wir in die Zukunft blicken, werden die wichtigsten technologischen Herausforderungen für uns darin bestehen, die Nützlichkeit und Genauigkeit unserer Antworten kontinuierlich zu verbessern. Wir zielen darauf ab, den Umfang und die Komplexität der Arten von Anfragen und Fragen, die wir zuverlässig beantworten können, zu erhöhen. Neben diesem Ziel kümmern wir uns sehr um die Geschwindigkeit und die Effizienz unseres Systems und werden uns stark auf die Senkung der Betriebskosten konzentrieren, ohne die Qualität unseres Produkts zu beeinträchtigen.

Warum ist Perplexitys Ansatz für die Suche Ihrer Meinung nach überlegen gegenüber Googles Ansatz, der Webseiten nach Backlinks und anderen etablierten Suchmaschinen-Ranking-Metriken bewertet?

Wir optimieren ein völlig anderes Ranking-Metrik als klassische Suchmaschinen. Unser Ranking-Ziel ist darauf ausgelegt, das Retrieval-System und LLMs nativ zu kombinieren. Dieser Ansatz ist ganz anders als der von klassischen Suchmaschinen, die die Wahrscheinlichkeit eines Klicks oder einer Anzeigenschaltung optimieren.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Perplexity AI besuchen.