Alexandr Yarats, Hoofd van Zoekopdrachten bij Perplexity – Interviewreeks

Alexandr Yarats is het Hoofd van Zoekopdrachten bij Perplexity AI. Hij begon zijn carrière bij Yandex in 2017, waar hij tegelijkertijd studeerde aan de Yandex School of Data Analysis. De eerste jaren waren intensief, maar ook zeer waardevol, waardoor hij kon groeien tot een Engineering Team Lead. Gedreven door zijn ambitie om te werken voor een techgigant, sloot hij zich in 2022 aan bij Google (GOOGL ) als Senior Software Engineer, waar hij zich richtte op het Google Assistant-team (later Google Bard). Vervolgens maakte hij de overstap naar Perplexity als Hoofd van Zoekopdrachten.

Perplexity AI is een AI-chatbot-gebaseerd onderzoeks- en conversational zoekplatform dat vragen beantwoordt met behulp van natuurlijke taalvoorspellende tekst. Gelanceerd in 2022, genereert Perplexity antwoorden met behulp van bronnen van het web en citeert links in de tekstuele reactie.

Wat heeft je oorspronkelijk geïnteresseerd in machine learning?

Mijn interesse in machine learning (ML) was een geleidelijk proces. Tijdens mijn schooljaren besteedde ik veel tijd aan het studeren van wiskunde, waarschijnlijkheidsleer en statistiek, en kreeg ik de kans om te werken met klassieke machine learning-algoritmen zoals lineaire regressie en KNN. Het was fascinerend om te zien hoe je een voorspellende functie rechtstreeks uit de gegevens kon opbouwen en deze vervolgens kon gebruiken om ongeziene gegevens te voorspellen. Deze interesse leidde me naar de Yandex School of Data Analysis, een zeer competitief machine learning-masterprogramma in Rusland (slechts 200 mensen worden per jaar toegelaten). Daar leerde ik veel over geavanceerdere machine learning-algoritmen en ontwikkelde ik mijn intuïtie. Het meest cruciale punt tijdens dit proces was toen ik leerde over neurale netwerken en diepe leren. Het werd heel duidelijk voor me dat dit iets was wat ik de komende paar decennia wilde nastreven.

Je werkte eerder bij Google als Senior Software Engineer voor een jaar, wat waren enkele van je belangrijkste inzichten uit deze ervaring?

Voordat ik bij Google kwam, werkte ik meer dan vier jaar bij Yandex, direct na mijn afstuderen aan de Yandex School of Data Analysis. Daar leidde ik een team dat verschillende machine learning-methoden ontwikkelde voor Yandex Taxi (een soortgelijk bedrijf als Uber in Rusland). Ik sloot me aan bij deze groep bij de start en had de kans om te werken in een hechte en snelgroeiende team dat snel groeide, zowel in aantal medewerkers (van 30 tot 500 mensen) als in marktaandeel (het werd de grootste taxidienstverlener in Rusland, voorbij Uber en anderen).

Tijdens deze periode had ik de kans om veel dingen van scratch te bouwen en verschillende projecten van nul tot een te lanceren. Een van de laatste projecten waar ik aan werkte, was het bouwen van chatbots voor servicesteun. Daar kreeg ik voor het eerst een glimp van de kracht van grote taalmodellen en was ik gefascineerd door hoe belangrijk ze in de toekomst konden zijn. Deze realisatie leidde me naar Google, waar ik me aansloot bij het Google Assistant-team, dat later werd omgedoopt tot Google Bard (een van de concurrenten van Perplexity).

Bij Google had ik de kans om te leren wat wereldklasse-infrastructuur eruit ziet, hoe Zoeken en LLM’s werken en hoe ze met elkaar samenwerken om feitelijke en accurate antwoorden te geven. Dit was een geweldige leerervaring, maar na verloop van tijd werd ik gefrustreerd door het trage tempo bij Google en het gevoel dat niets ooit werd gedaan. Ik wilde een bedrijf vinden dat werkte aan zoeken en LLM’s en zo snel of nog sneller bewoog als toen ik bij Yandex was. Gelukkig gebeurde dit organisch.

Intern bij Google begon ik screenshots van Perplexity te zien en taken die het vergelijken van Google Assistant met Perplexity vereisten. Dit wekte mijn interesse in het bedrijf, en na enkele weken van onderzoek was ik ervan overtuigd dat ik daar wilde werken, dus bood ik mijn diensten aan aan het team.

Kun je je huidige rol en verantwoordelijkheden bij Perplexity beschrijven?

Ik ben momenteel het hoofd van het zoekteam en ben verantwoordelijk voor het opbouwen van ons interne ophaalsysteem dat Perplexity aandrijft. Ons zoekteam werkt aan het opbouwen van een webschraapsysteem, ophaalmotor en rangschikkingsalgoritmen. Deze uitdagingen stellen me in staat om gebruik te maken van de ervaring die ik bij Google (werken aan Zoeken en LLM’s) en bij Yandex heb opgedaan. Aan de andere kant biedt Perplexity’s product unieke kansen om te herontwerpen en te herengineeren hoe een ophaalsysteem eruit zou moeten zien in een wereld met zeer krachtige LLM’s. Zo is het bijvoorbeeld niet langer belangrijk om rangschikkingsalgoritmen te optimaliseren om de kans op een klik te verhogen; in plaats daarvan richten we ons op het verbeteren van de behulpzaamheid en feitelijkheid van onze antwoorden. Dit is een fundamenteel onderscheid tussen een antwoordmachine en een zoekmachine. Mijn team en ik proberen iets te bouwen dat verder gaat dan de traditionele 10 blauwe links, en ik kan niets spannenders bedenken om momenteel aan te werken.

Kun je uitleggen over de overgang bij Perplexity van het ontwikkelen van een tekst-naar-SQL-hulpmiddel naar het creëren van AI-gebaseerde zoekopdrachten?

We werkten aanvankelijk aan het ontwikkelen van een tekst-naar-SQL-motor die een gespecialiseerde antwoordmachine biedt in situaties waarin je snel een antwoord nodig hebt op basis van je gestructureerde gegevens (bijv. een spreadsheet of tabel). Het werken aan een tekst-naar-SQL-project stelde ons in staat om een veel diepere kennis van LLM’s en RAG te verwerven en leidde ons naar een belangrijke realisatie: deze technologie is veel krachtiger en algemener dan we oorspronkelijk dachten. We realiseerden ons snel dat we verder konden gaan dan goed gestructureerde gegevensbronnen en ongestructureerde gegevens konden aanpakken.

Wat waren de belangrijkste uitdagingen en inzichten tijdens deze overgang?

De belangrijkste uitdagingen tijdens deze overgang waren het omschakelen van ons bedrijf van B2B naar B2C en het opnieuw opbouwen van onze infrastructuurstapel om ongestructureerde zoekopdrachten te ondersteunen. Zeer snel tijdens dit migratieproces realiseerden we ons dat het veel leuker is om te werken aan een klantgericht product, omdat je een constante stroom van feedback en betrokkenheid begint te ontvangen, iets wat we niet veel zagen toen we een tekst-naar-SQL-motor aan het bouwen waren en ons richtten op enterprise-oplossingen.

Retrieval-augmented generation (RAG) lijkt een hoeksteen te zijn van Perplexity’s zoekmogelijkheden. Kun je uitleggen hoe Perplexity RAG anders gebruikt dan andere platforms, en hoe dit de nauwkeurigheid van de zoekresultaten beïnvloedt?

RAG is een algemeen concept voor het bieden van externe kennis aan een LLM. Hoewel het idee op het eerste gezicht eenvoudig lijkt, is het opbouwen van een dergelijk systeem dat efficiënt en nauwkeurig tientallen miljoenen gebruikers kan bedienen, een aanzienlijke uitdaging. We moesten dit systeem in-house van scratch ontwikkelen en veel aangepaste componenten bouwen die kritiek waren voor het bereiken van de laatste bits van nauwkeurigheid en prestaties. We ontwierpen ons systeem waar tientallen LLM’s (van groot tot klein) parallel werken om één gebruikersaanvraag snel en kostenefficiënt te verwerken. We bouwden ook een trainings- en inferentie-infrastructuur die ons in staat stelt om LLM’s samen met zoekopdrachten eind-tot-eind te trainen, zodat ze nauw geïntegreerd zijn. Dit reduceert hallucinaties aanzienlijk en verbetert de behulpzaamheid van onze antwoorden.

Met de beperkingen in vergelijking met de middelen van Google, hoe beheert Perplexity zijn webcrawl- en indexeerstrategieën om concurrerend te blijven en up-to-date-informatie te garanderen?

Het opbouwen van een index die zo uitgebreid is als die van Google, vereist aanzienlijke tijd en middelen. In plaats daarvan richten we ons op onderwerpen waar onze gebruikers vaak naar vragen op Perplexity. Het blijkt dat de meeste van onze gebruikers Perplexity gebruiken als een werk-/onderzoekshulp, en veel zoekopdrachten zoeken naar hoge kwaliteit, betrouwbare en behulpzame delen van het web. Dit is een power-law-verdeling, waarbij je significante resultaten kunt behalen met een 80/20-benadering. Op basis van deze inzichten konden we een veel compactere index opbouwen die geoptimaliseerd is voor kwaliteit en waarheid. Momenteel besteden we minder tijd aan het najagen van de staart, maar naarmate we onze infrastructuur uitbreiden, zullen we ook de staart najagen.

Hoe verhogen grote taalmodellen (LLM’s) de zoekmogelijkheden van Perplexity, en wat maakt ze bijzonder effectief in het parseren en presenteren van informatie van het web?

We gebruiken LLM’s overal, zowel voor real-time als offline-verwerking. LLM’s stellen ons in staat om ons te concentreren op de meest belangrijke en relevante delen van webpagina’s. Ze gaan verder dan alles wat ervoor kwam in het maximaliseren van het signaal-ruisverhouding, waardoor het veel gemakkelijker wordt om veel dingen aan te pakken die eerder niet haalbaar waren voor een klein team. In het algemeen is dit misschien het belangrijkste aspect van LLM’s: ze stellen ons in staat om geavanceerde dingen te doen met een zeer klein team.

Kijkend naar de toekomst, wat zijn de belangrijkste technologische of marktuitdagingen waar Perplexity naar verwacht?

Als we vooruitkijken, zullen de belangrijkste technologische uitdagingen voor ons gericht zijn op het blijven verbeteren van de behulpzaamheid en nauwkeurigheid van onze antwoorden. We streven ernaar om het bereik en de complexiteit van de soorten zoekopdrachten en vragen die we betrouwbaar kunnen beantwoorden, te vergroten. Daarnaast zijn we erg geïnteresseerd in de snelheid en het serveren van onze systeem en zullen we ons sterk richten op het verlagen van de serveringskosten zoveel mogelijk zonder de kwaliteit van ons product te compromitteren.

Volgens jou, waarom is Perplexity’s aanpak van zoekopdrachten superieur aan die van Google, die websites rangschikt op basis van backlinks en andere bewezen zoekmachine-rangschikkingsmetrics?

We optimaliseren een compleet andere rangschikkingsmetric dan klassieke zoekmachines. Ons rangschikkingsdoel is ontworpen om het ophaalsysteem en LLM’s native te combineren. Deze aanpak is heel anders dan die van klassieke zoekmachines, die de kans op een klik of advertentie-impressie optimaliseren.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Perplexity AI bezoeken.