Alexandr Yarats, Head of Search at Perplexity – Interviewserie

Alexandr Yarats er Head of Search hos Perplexity AI. Han startede sin karriere hos Yandex i 2017, samtidig med at han studerede på Yandex School of Data Analysis. De første år var intense, men også meget givende, og han voksede til at blive en Engineering Team Lead. Drevet af sin aspiration til at arbejde med en teknologigigant, sluttede han sig til Google (GOOGL ) i 2022 som Senior Software Engineer, hvor han fokuserede på Google Assistant-teamet (senere Google Bard). Han gik herefter til Perplexity som Head of Search.

Perplexity AI er en AI-chatbot-drevet forsknings- og søgemaskine, der besvarer spørgsmål ved hjælp af naturligt sprog og prædictiv tekst. Lanceret i 2022, genererer Perplexity svar ved hjælp af kilder fra internettet og citerer links i tekstsvaret.

Hvad fik dig interesseret i maskinlæring?

Mit interesse for maskinlæring (ML) var en gradvis proces. Under min skoletid brugte jeg meget tid på at studere matematik, sandsynlighedsteori og statistik, og fik mulighed for at arbejde med klassiske maskinlæringsalgoritmer som lineær regression og KNN. Det var fascinerende at se, hvordan man kan bygge en prædictiv funktion direkte fra data og derefter bruge den til at prædictere usete data. Dette interesse ledte mig til Yandex School of Data Analysis, et højt konkurrerende maskinlærings-masterprogram i Rusland (kun 200 personer bliver optaget hvert år). Der lærte jeg meget om mere avancerede maskinlæringsalgoritmer og byggede min intuition. Det mest kritiske punkt under denne proces var, da jeg lærte om neurale netværk og dyb læring. Det blev meget klart for mig, at dette var noget, jeg ville gerne forfølge i de næste par årtier.

I før havde du arbejdet hos Google som Senior Software Engineer i et år, hvad var nogle af dine vigtigste erfaringer fra denne oplevelse?

Før jeg sluttede mig til Google, havde jeg tilbragt over fire år hos Yandex, lige efter at jeg var færdig med Yandex School of Data Analysis. Der ledte jeg et team, der udviklede forskellige maskinlæringsmetoder til Yandex Taxi (en analog til Uber i Rusland). Jeg sluttede mig til denne gruppe ved dens oprettelse og havde chancen for at arbejde i en tæt og hurtig team, der voksede hurtigt over fire år, både i antal medarbejdere (fra 30 til 500 personer) og markedsværdi (det blev den største taxa-serviceudbyder i Rusland, overgående Uber og andre).

Under denne tid havde jeg privilegium til at bygge mange ting fra bunden og lancere flere projekter fra nul til en. Et af de sidste projekter, jeg arbejdede på, var at bygge chatbots til service-support. Der fik jeg en første glimt af kraften i store sprogmodeller og blev fascineret af, hvor vigtige de kunne være i fremtiden. Denne realisation ledte mig til Google, hvor jeg sluttede mig til Google Assistant-teamet, der senere blev omdøbt til Google Bard (en af konkurrenterne til Perplexity).

Hos Google havde jeg mulighed for at lære, hvordan en verdensklasse-infrastruktur ser ud, hvordan Søgning og LLM’er fungerer, og hvordan de interagerer med hinanden for at give faktuelle og præcise svar. Dette var en stor læringsoplevelse, men over tid blev jeg frustreret over det langsomme tempo hos Google og følelsen af, at intet nogensinde blev gjort. Jeg ville finde en virksomhed, der arbejdede med søgning og LLM’er og bevægede sig hurtigere, eller endda hurtigere, end da jeg var hos Yandex. Heldigvis skete dette organisk.

Internt hos Google begyndte jeg at se skærmbilleder af Perplexity og opgaver, der krævede sammenligning af Google Assistant med Perplexity. Dette vækkede min interesse for virksomheden, og efter flere ugers research var jeg overbevist om, at jeg ville gerne arbejde der, så jeg kontaktede teamet og tilbød mine tjenester.

Kan du definere din nuværende rolle og ansvar hos Perplexity?

Jeg er i øjeblikket ansvarlig for at bygge vores interne retrieval-system, der driver Perplexity. Vores søgeteam arbejder på at bygge et web-crawling-system, et retrieval-engine og rangalgoritmer. Disse udfordringer giver mig mulighed for at udnytte den erfaring, jeg har fået hos Google (arbejde med Søgning og LLM’er) samt hos Yandex. På den anden side giver Perplexitys produkt unikke muligheder for at redesigne og genopbygge, hvordan et retrieval-system skal se ud i en verden med meget kraftfulde LLM’er. For eksempel er det ikke længere vigtigt at optimere rangalgoritmer for at øge sandsynligheden for et klik; i stedet fokuserer vi på at forbedre hjælpsomheden og faktualiteten af vores svar. Dette er en fundamental forskel mellem en answer-engine og en søgemaskine. Mit team og jeg prøver at bygge noget, der vil gå ud over de traditionelle 10 blå links, og jeg kan ikke tænke på noget mere spændende at arbejde på lige nu.

Kan du uddybe overgangen hos Perplexity fra at udvikle et text-to-SQL-værktøj til at skifte fokus mod at skabe AI-drevet søgning?

Vi arbejdede initialt på at bygge en text-to-SQL-motor, der giver et specialiseret answer-engine i situationer, hvor du har brug for at få et hurtigt svar baseret på din strukturerede data (f.eks. en regneark eller tabel). Arbejdet med et text-to-SQL-projekt gav os en dybere forståelse af LLM’er og RAG, og ledte os til en nøgle-realisation: denne teknologi er meget mere kraftfuld og generel, end vi oprindeligt troede. Vi opdagede hurtigt, at vi kunne gå langt ud over velstrukturerede datakilder og tackle ustrukturerede data også.

Hvad var de vigtigste udfordringer og indsighter under denne skift?

De vigtigste udfordringer under denne overgang var at skifte vores virksomhed fra at være B2B til B2C og genopbygge vores infrastruktur-stack for at understøtte ustruktureret søgning. Meget hurtigt under denne migrationsproces opdagede vi, at det er meget mere behageligt at arbejde på en kundeorienteret produkt, da du begynder at modtage en konstant strøm af feedback og engagement, noget som vi ikke så meget af, da vi byggede en text-to-SQL-motor og fokuserede på enterprise-løsninger.

Retrieval-augmented generation (RAG) synes at være en hjørnesten i Perplexitys søgefunktioner. Kan du forklare, hvordan Perplexity udnytter RAG anderledes i forhold til andre platforme, og hvordan dette påvirker søgeresultatets nøjagtighed?

RAG er en generel koncept for at give ekstern viden til en LLM. Mens idéen kan synes enkel på overfladen, er det at bygge et sådant system, der kan betjene ti millioner brugere effektivt og nøjagtigt, en betydelig udfordring. Vi måtte udvikle dette system fra bunden og bygge mange brugerdefinerede komponenter, der viste sig at være kritiske for at opnå den sidste bit af nøjagtighed og ydeevne. Vi udviklede vores system, hvor ti LLM’er (fra store til små) arbejder i parallel for at håndtere en brugeranmodning hurtigt og omkostningseffektivt. Vi byggede også en trænings- og inferens-infrastruktur, der giver os mulighed for at træne LLM’er sammen med søgning fra ende til anden, så de er tæt integreret. Dette reducerer hallucinationer og forbedrer hjælpsomheden af vores svar.

Med begrænsningerne i forhold til Googles ressourcer, hvordan håndterer Perplexity sin web-crawling og indekseringsstrategi for at forblive konkurrencedygtig og sikre opdateret information?

At bygge en indeks så omfattende som Googles kræver betydelig tid og ressourcer. I stedet fokuserer vi på emner, som vores brugere ofte spørger om på Perplexity. Det viser sig, at de fleste af vores brugere anvender Perplexity som en arbejds-/forskningsassistent, og mange spørgsmål søger efter højkvalitets-, troværdige og hjælpsomme dele af internettet. Dette er en power-law-distribution, hvor du kan opnå betydelige resultater med en 80/20-tilgang. Baseret på disse indsighter var vi i stand til at bygge en meget mere kompakt indeks, der er optimeret til kvalitet og sandhed. For øjeblikket bruger vi mindre tid på at jage halen, men da vi skalerer vores infrastruktur, vil vi også forfølge halen.

Hvordan forbedrer store sprogmodeller (LLM’er) Perplexitys søgefunktioner, og hvad gør dem særligt effektive i at parse og præsentere information fra internettet?

Vi bruger LLM’er overalt, både til realtids- og offline-behandling. LLM’er giver os mulighed for at fokusere på de vigtigste og mest relevante dele af web-sider. De går ud over alt, hvad der tidligere var muligt, i at maksimere signal-til-støj-forholdet, hvilket gør det meget lettere at tackle mange ting, der ikke tidligere var mulige for et lille team. Generelt er dette måske det vigtigste aspekt af LLM’er: de giver os mulighed for at gøre sofistikerede ting med et meget lille team.

Settende blikket fremad, hvad er de vigtigste teknologiske eller markedsmæssige udfordringer, Perplexity forventer?

Da vi ser fremad, vil de vigtigste teknologiske udfordringer for os være centreret om at forbedre hjælpsomheden og nøjagtigheden af vores svar. Vi sigter mod at øge omfanget og kompleksiteten af de typer af spørgsmål og svar, vi kan besvare pålideligt. Samtidig med dette er vi meget optaget af at drive serving-omkostningerne ned så meget som muligt uden at gå på kompromis med kvaliteten af vores produkt.

I din mening, hvorfor er Perplexitys tilgang til søgning overlegen i forhold til Googles tilgang med at rangere websites efter backlinks og andre beprøvede søgemaskine-rangmetrikker?

Vi optimerer en helt anden rangmetrik end klassiske søgemaskiner. Vores rangmål er designet til at naturligt kombinerer retrieval-systemet og LLM’er. Denne tilgang er ret forskellig fra den, der bruges af klassiske søgemaskiner, der optimerer sandsynligheden for et klik eller en annonce-impulsion.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Perplexity AI.