Alexandr Yarats, sjef for søk i Perplexity – Intervju-serie

Alexandr Yarats er sjef for søk i Perplexity AI. Han begynte sin karriere i Yandex i 2017, samtidig som han studerte ved Yandex School of Data Analysis. De første årene var intense, men gav god uttelling, og han ble etter hvert leder for et ingeniørteam. Drevet av et ønske om å jobbe for en teknologigigant, gikk han til Google (GOOGL ) i 2022 som senior programvareutvikler, med fokus på Google Assistant-teamet (senere Google Bard). Deretter gikk han til Perplexity som sjef for søk.

Perplexity AI er en søkemotor som bruker kunstig intelligens og chatbot-teknologi til å svare på spørsmål ved hjelp av naturlig språk og prediktiv tekst. Lansert i 2022, genererer Perplexity svar ved hjelp av kilder fra nettet og oppgir lenker i tekstsvaret.

Hva var det som først interesserte deg for maskinlæring?

Min interesse for maskinlæring (ML) var en gradvis prosess. Under skoletiden brukte jeg mye tid på å studere matematikk, sannsynlighetsteori og statistikk, og fikk mulighet til å jobbe med klassiske maskinlæringsalgoritmer som lineær regresjon og KNN. Det var fascinerende å se hvordan man kunne bygge en prediktiv funksjon direkte fra data og deretter bruke den til å forutsi ukjent data. Dette interesset ledet meg til Yandex School of Data Analysis, et meget konkurransedyktig masterprogram i maskinlæring i Russland (kun 200 personer blir tatt inn hvert år). Der lærte jeg mye om mer avanserte maskinlæringsalgoritmer og bygde min intuition. Det viktigste punktet under denne prosessen var da jeg lærte om neurale nettverk og dyp læring. Det ble veldig tydelig for meg at dette var noe jeg ville følge opp i de neste tiårene.

Tidligere jobbet du i Google som senior programvareutvikler i ett år, hva var noen av dine viktigste erfaringer fra denne perioden?

Før jeg gikk til Google, tilbrakte jeg over fire år i Yandex, like etter at jeg var ferdig med Yandex School of Data Analysis. Der ledet jeg et team som utviklet ulike maskinlæringsmetoder for Yandex Taxi (en analog til Uber i Russland). Jeg gikk med i denne gruppen da den ble etablert og fikk mulighet til å jobbe i et nært og raskt voksende team som økte både i antall ansatte (fra 30 til 500 personer) og markedsværdi (det ble den største taxiserviceleverandøren i Russland, og overgikk Uber og andre).

Under denne perioden fikk jeg mulighet til å bygge mange ting fra bunnen av og lansere flere prosjekter fra null til en. Et av de siste prosjektene jeg jobbet med der var å bygge chatboter for kundeservice. Der fikk jeg en første glimt av kraften i store språkmodeller og ble fascinert av hvor viktig de kunne være i fremtiden. Denne erkjennelsen ledet meg til Google, der jeg gikk med i Google Assistant-teamet, som senere ble omdøpt til Google Bard (en av konkurrentene til Perplexity).

I Google fikk jeg mulighet til å lære hva verdensklasse-infrastruktur ser ut til å være, hvordan søk og LLM fungerer, og hvordan de samarbeider for å gi faktiske og nøyaktige svar. Dette var en stor læringsopplevelse, men over tid ble jeg frustrert over det langsomme tempoet i Google og følelsen av at ingenting noen gang ble gjort. Jeg ønsket å finne en bedrift som jobbet med søk og LLM, og som beveget seg like raskt, eller enda raskere, enn da jeg var i Yandex. Heldigvis skjedde dette organisk.

Internt i Google begynte jeg å se skjermbilder av Perplexity og oppgaver som krevde sammenligning av Google Assistant med Perplexity. Dette vekket min interesse for bedriften, og etter flere uker med forskning, var jeg overbevist om at jeg ønsket å jobbe der, så jeg tok kontakt med teamet og tilbød mine tjenester.

Kan du definere din nåværende rolle og ansvar i Perplexity?

Jeg er nå sjef for søkteamet og er ansvarlig for å bygge vårt interne søkesystem som driver Perplexity. Vårt søkteam jobber med å bygge et web-crawling-system, et søkesystem og rangeringsalgoritmer. Disse utfordringene lar meg ta nytte av erfaringen jeg fikk i Google (arbeid med søk og LLM) samt i Yandex. På den andre siden, stiller Perplexitys produkt unike muligheter til å redesigne og ombygge hvordan et søkesystem bør se ut i en verden med svært kraftfulle LLM. For eksempel er det ikke lenger viktig å optimere rangeringsalgoritmer for å øke sannsynligheten for et klikk; i stedet fokuserer vi på å forbedre nyttigheten og faktualiteten av våre svar. Dette er en grunnleggende forskjell mellom en svar-motor og en søkemotor. Mitt team og jeg prøver å bygge noe som vil gå utenfor de tradisjonelle 10 blå lenkene, og jeg kan ikke tenke meg noe mer spennende å jobbe med nå.

Kan du utdype overgangen i Perplexity fra å utvikle et tekst-til-SQL-verktøy til å gå over til å lage AI-drevet søk?

Vi jobbet opprinnelig med å bygge en tekst-til-SQL-motor som gir et spesialisert svar på situasjoner der du trenger å få et raskt svar basert på din strukturerte data (for eksempel en regneark eller en tabell). Arbeid med et tekst-til-SQL-prosjekt ga oss en mye dypere forståelse av LLM og RAG, og ledet oss til en nøkkel-innsikt: denne teknologien er mye kraftfullere og mer generell enn vi opprinnelig trodde. Vi innsett raskt at vi kunne gå langt utenfor strukturerte datakilder og takle ustrukturert data også.

Hva var de viktigste utfordringene og innsiktene under denne overgangen?

De viktigste utfordringene under denne overgangen var å endre bedriftens fokus fra B2B til B2C og å bygge om vårt infrastruktur-stack for å støtte ustrukturert søk. Veldig raskt under denne migreringsprosessen, innsett vi at det er mye mer morsomt å jobbe med en kunde-orientert produkt ettersom du begynner å motta en konstant strøm av tilbakemeldinger og engasjement, noe vi ikke så mye av da vi bygde en tekst-til-SQL-motor og fokuserte på bedriftsløsninger.

Retrieval-augmented generation (RAG) ser ut til å være en hjørnesten i Perplexitys søkefunksjoner. Kan du forklare hvordan Perplexity bruker RAG forskjellig fra andre plattformer, og hvordan dette påvirker søkeresultatets nøyaktighet?

RAG er en generell konsept for å gi ekstern kunnskap til en LLM. Mens ideen kan se enkel ut på overflaten, å bygge et slikt system som kan betjene titalls millioner brukere effektivt og nøyaktig, er en betydelig utfordring. Vi måtte bygge dette systemet fra bunnen av og utvikle mange tilpassede komponenter som viste seg å være kritiske for å oppnå de siste bitene av nøyaktighet og ytelse. Vi bygde vårt system slik at titalls LLM (fra store til små) arbeider parallelt for å håndtere en enkelt brukerforespørsel raskt og kostnadseffektivt. Vi bygde også en trening- og inferens-infrastruktur som lar oss trene LLM sammen med søk fra ende til ende, så de er tett integrert. Dette reduserer betydelig hallucinasjoner og forbedrer nyttigheten av våre svar.

Med begrensningene sammenlignet med Googles ressurser, hvordan håndterer Perplexity sine web-crawling- og indekseringsstrategier for å forbli konkurransedyktig og sikre oppdatert informasjon?

Å bygge en indeks like omfattende som Googles, krever betydelig tid og ressurser. I stedet fokuserer vi på emner som våre brukere ofte spør om på Perplexity. Det viser seg at de fleste av våre brukere bruker Perplexity som en arbeids-/forskningsassistent, og mange spørsmål søker etter høykvalitets-, pålitelige- og nyttige deler av nettet. Dette er en effekt av en kraftig lov, hvor du kan oppnå betydelige resultater med en 80/20-tilnærming. Basert på disse innsiktene, var vi i stand til å bygge en mye mer kompakt indeks som er optimert for kvalitet og sannhet. For tiden bruker vi mindre tid på å jage halen, men ettersom vi skalerer vår infrastruktur, vil vi også forfølge halen.

Hvordan forbedrer store språkmodeller (LLM) Perplexitys søkefunksjoner, og hva gjør dem spesielt effektive i å parsere og presentere informasjon fra nettet?

Vi bruker LLM overalt, både for sanntid- og offline-prosessering. LLM lar oss fokusere på de viktigste og mest relevante delene av websider. De går langt utover alt tidligere i å maksimere signal-til-støy-forholdet, noe som gjør det mye enklere å takle mange ting som ikke var mulig tidligere for et lite team. Generelt er dette kanskje det viktigste aspektet ved LLM: de lar oss gjøre sofistikerte ting med et svært lite team.

Ser fremover, hva er de viktigste tekniske eller markedsmessige utfordringene Perplexity forventer?

Ettersom vi ser fremover, vil de viktigste tekniske utfordringene for oss være å forbedre nyttigheten og nøyaktigheten av våre svar. Vi har som mål å øke omfanget og kompleksiteten av typene spørsmål og spørsmål vi kan svare på pålitelig. Sammen med dette, bryr vi oss mye om hastigheten og serviceringseffektiviteten av vårt system og vil fokusere tungt på å drive serviceringkostnadene ned så mye som mulig uten å kompromittere kvaliteten av vårt produkt.

I din mening, hvorfor er Perplexitys tilnærming til søk overlegen Googles tilnærming til å rangere nettsider etter baklenker og andre etablerte søkemotor-rangeringsmetrikker?

Vi optimaliserer en helt annen rangeringsmetrikk enn klassiske søkemotorer. Vårt rangeringsmål er designet for å naturlig kombinere søkesystemet og LLM. Denne tilnærmingen er ganske forskjellig fra klassiske søkemotorer, som optimaliserer sannsynligheten for et klikk eller en annonsvisning.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, kan besøke Perplexity AI.