Alexandr Yarats, Head of Search på Perplexity – Intervju-serie

Alexandr Yarats är Head of Search på Perplexity AI. Han började sin karriär på Yandex 2017, samtidigt som han studerade på Yandex School of Data Analysis. De första åren var intensiva men givande, och han växte till att bli en ledare för ett ingenjörsteam. Driven av sin strävan att arbeta med en teknikjätte, gick han med i Google (GOOGL ) 2022 som Senior Software Engineer, med fokus på Google Assistant-teamet (senare Google Bard). Han gick sedan till Perplexity som Head of Search.

Perplexity AI är en AI-chattbot-driven forsknings- och konversationsbaserad sökmotor som svarar på frågor med hjälp av naturligt språk och prediktiv text. Lanserad 2022, genererar Perplexity svar med hjälp av källor från webben och citerar länkar i textsvaret.

Vad fick dig att börja intressera dig för maskinlärning?

Mitt intresse för maskinlärning (ML) var en gradvis process. Under mina skolår tillbringade jag mycket tid med att studera matematik, sannolikhetslära och statistik, och fick möjlighet att arbeta med klassiska maskinlärningsalgoritmer som linjär regression och KNN. Det var fascinerande att se hur man kunde bygga en prediktiv funktion direkt från data och sedan använda den för att förutsäga osynliga data. Detta intresse ledde mig till Yandex School of Data Analysis, ett mycket konkurrenskraftigt maskinlärningsprogram i Ryssland (endast 200 personer antas varje år). Där lärde jag mig mycket om mer avancerade maskinlärningsalgoritmer och byggde min intuition. Den viktigaste punkten under denna process var när jag lärde mig om neuronnät och djupinlärning. Det blev mycket tydligt för mig att detta var något jag ville fortsätta med under de kommande decennierna.

Tidigare arbetade du på Google som Senior Software Engineer i ett år, vad var några av dina viktigaste erfarenheter från den tiden?

Innan jag gick med i Google, tillbringade jag över fyra år på Yandex, direkt efter att jag avslutat min utbildning på Yandex School of Data Analysis. Där ledde jag ett team som utvecklade olika maskinlärningsmetoder för Yandex Taxi (en analog till Uber i Ryssland). Jag gick med i denna grupp vid dess start och hade möjlighet att arbeta i en tight och snabbt växande grupp som snabbt växte under fyra år, både i antal anställda (från 30 till 500 personer) och marknadsvärde (det blev den största taxitjänsteleverantören i Ryssland, och överträffade Uber och andra).

Under denna tid hade jag privilegiet att bygga många saker från scratch och lansera flera projekt från noll till ett. Ett av de sista projekten jag arbetade med där var att bygga chattbotar för kundsupport. Där fick jag en första glimt av kraften i stora språkmodeller och blev fascinerad av hur viktiga de kunde vara i framtiden. Denna insikt ledde mig till Google, där jag gick med i Google Assistant-teamet, som senare bytte namn till Google Bard (en av konkurrenterna till Perplexity).

På Google hade jag möjlighet att lära mig vad världsklassens infrastruktur ser ut, hur Sök och LLM fungerar, och hur de interagerar med varandra för att ge faktiska och precisa svar. Detta var en stor lärupplevelse, men med tiden blev jag frustrerad över det långsamma tempot på Google och känslan av att ingenting någonsin blev gjort. Jag ville hitta ett företag som arbetade med sökning och LLM, och som rörde sig lika snabbt, eller ännu snabbare, än när jag var på Yandex. Lyckligtvis hände detta organiskt.

Internt på Google började jag se skärmdumpar av Perplexity och uppgifter som krävde att jämföra Google Assistant med Perplexity. Detta väckte mitt intresse för företaget, och efter flera veckors forskning var jag övertygad om att jag ville arbeta där, så jag kontaktade teamet och erbjöd mina tjänster.

Kan du definiera din nuvarande roll och ansvarsområden på Perplexity?

Jag är för närvarande chef för sökteamet och ansvarar för att bygga vår interna återvinningssystem som driver Perplexity. Vårt sökteam arbetar med att bygga ett webbkrypningsystem, återvinningssystem och rangordningsalgoritmer. Dessa utmaningar gör att jag kan dra nytta av den erfarenhet jag fick på Google (att arbeta med Sök och LLM) samt på Yandex. Å andra sidan erbjuder Perplexitys produkt unika möjligheter att omkonstruera och omkonstruera hur ett återvinningssystem bör se ut i en värld med mycket kraftfulla LLM. Till exempel är det inte längre viktigt att optimera rangordningsalgoritmer för att öka sannolikheten för ett klick; istället fokuserar vi på att förbättra nyttan och fakticiteten i våra svar. Detta är en grundläggande distinktion mellan en svarsmotor och en sökmotor. Mitt team och jag försöker bygga något som kommer att gå utöver de traditionella 10 blå länkarna, och jag kan inte tänka mig något mer spännande att arbeta med just nu.

Kan du förklara övergången på Perplexity från att utveckla ett text-till-SQL-verktyg till att skapa AI-drivet sök?

Vi arbetade initialt med att bygga ett text-till-SQL-motor som tillhandahåller ett specialiserat svarsmotor i situationer där du behöver få ett snabbt svar baserat på din strukturerade data (t.ex. ett kalkylblad eller en tabell). Att arbeta med ett text-till-SQL-projekt gjorde att vi kunde få en mycket djupare förståelse för LLM och RAG, och ledde oss till en nyckelinsikt: denna teknik är mycket kraftfullare och mer allmän än vi ursprungligen trodde. Vi insåg snabbt att vi kunde gå långt utöver välordnade datakällor och hantera ostrukturerad data också.

Vilka var de viktigaste utmaningarna och insikterna under denna övergång?

De viktigaste utmaningarna under denna övergång var att flytta företaget från att vara B2B till B2C och bygga om vår infrastrukturstack för att stödja ostrukturerad sökning. Mycket snabbt under denna migrationsprocess insåg vi att det är mycket roligare att arbeta med en kundorienterad produkt eftersom du börjar få en konstant ström av feedback och engagemang, något som vi inte såg mycket av när vi byggde ett text-till-SQL-motor och fokuserade på företagslösningar.

Retrieval-augmented generation (RAG) verkar vara en hörnsten i Perplexitys sökfunktioner. Kan du förklara hur Perplexity använder RAG på ett annat sätt jämfört med andra plattformar, och hur detta påverkar sökresultatens noggrannhet?

RAG är ett allmänt koncept för att tillhandahålla extern kunskap till en LLM. Medan idén kan verka enkel vid första anblicken, är det att bygga ett sådant system som kan betjäna tiotals miljoner användare effektivt och korrekt en betydande utmaning. Vi var tvungna att konstruera detta system in-house från scratch och bygga många anpassade komponenter som visade sig vara avgörande för att uppnå den sista biten av noggrannhet och prestanda. Vi konstruerade vårt system så att tiotals LLM (från stora till små) arbetar parallellt för att hantera en användarbegäran snabbt och kostnadseffektivt. Vi byggde också en utbildnings- och inferensinfrastruktur som tillåter oss att utbilda LLM tillsammans med sökning från slutet, så att de är tätt integrerade. Detta minskar hallucinationer och förbättrar nyttan av våra svar.

Med de begränsningar som jämförs med Googles resurser, hur hanterar Perplexity sin webbkrypning och indexstrategier för att förbli konkurrenskraftig och säkerställa uppdaterad information?

Att bygga ett index som är så omfattande som Googles kräver betydande tid och resurser. Istället fokuserar vi på ämnen som våra användare ofta frågar om på Perplexity. Det visar sig att de flesta av våra användare använder Perplexity som en arbets-/forskningsassistent, och många frågor söker efter högkvalitativa, pålitliga och hjälpsamma delar av webben. Detta är en maktlag-fördelning, där du kan uppnå betydande resultat med en 80/20-ansats. Baserat på dessa insikter kunde vi bygga ett mycket mer kompaktt index som är optimerat för kvalitet och sanning. För närvarande tillbringar vi mindre tid med att jaga svansen, men när vi skalar vår infrastruktur kommer vi också att förfölja svansen.

Hur förbättrar stora språkmodeller (LLM) Perplexitys sökfunktioner, och vad gör dem särskilt effektiva i att tolka och presentera information från webben?

Vi använder LLM överallt, både för realtids- och offlinebearbetning. LLM tillåter oss att fokusera på de viktigaste och mest relevanta delarna av webbsidor. De går utöver allt som tidigare var möjligt och maximerar signal-till-brus-förhållandet, vilket gör det mycket lättare att hantera många saker som tidigare inte var hanterbara av ett litet team. I allmänhet är detta kanske den viktigaste aspekten av LLM: de möjliggör att du kan göra sofistikerade saker med ett mycket litet team.

Vad ligger framåt, vilka är de viktigaste tekniska eller marknadsutmaningarna som Perplexity förutser?

När vi ser framåt kommer de viktigaste tekniska utmaningarna för oss att vara centrerade kring att fortsätta förbättra nyttan och noggrannheten i våra svar. Vi syftar till att öka omfattningen och komplexiteten i de typer av frågor och frågor vi kan svara på tillförlitligt. Tillsammans med detta bryr vi oss mycket om hastigheten och servereffektiviteten i vårt system och kommer att fokusera kraftigt på att driva serverkostnaderna ner så mycket som möjligt utan att kompromissa med kvaliteten på vår produkt.

I din åsikt, varför är Perplexitys tillvägagångssätt för sökning överlägset Googles tillvägagångssätt för att rangordna webbplatser enligt baklänkar och andra beprövade sökmotor-rangordningsmetoder?

Vi optimerar en helt annan rangordningsmetrik än klassiska sökmotorer. Vårt rangordningsmål är utformat för att naturligt kombinera återvinningssystemet och LLM. Detta tillvägagångssätt skiljer sig avsevärt från det som klassiska sökmotorer använder, som optimerar sannolikheten för ett klick eller en annonsvisning.

Tack för det underbara samtalet, läsare som vill lära sig mer kan besöka Perplexity AI.