Alexandr Yarats, Perplexityn hakutuotepäällikkö – Haastattelusarja

Alexandr Yarats on Perplexityn hakutuotepäällikkö. Hän aloitti uransa Yandexissa vuonna 2017, opiskellen samaan aikaan Yandexin data-analytiikan koulussa. Alkuvuodet olivat intensiivisiä, mutta palkitsevia, ja ne edistivät hänen kasvuaan insinööritiimin johtajaksi. Hänen pyrkimyksensä työskennellä teknologiayhtiössä vei hänet Googleen vuonna 2022 senior-ohjelmistosuunnittelijaksi, keskittyen Google Assistant -tiimiin (myöhemmin Google Bard). Sitten hän siirtyi Perplexityyn hakutuotepäälliköksi.

Perplexity AI on tekoälykäyttöinen tutkimus- ja keskusteluhakukone, joka vastaa kysymyksiin luonnollisen kielen ennustusTekstien avulla. Perplexity lanseerattiin vuonna 2022, ja se tuottaa vastauksia verkkolähteistä ja mainitsee linkkejä tekstivastauksessa.

Mikä alun perin herätti sinussa kiinnostuksen koneoppimiseen?

Minun kiinnostukseni koneoppimiseen (ML) oli vähittäinen prosessi. Kouluaikoinani vietin paljon aikaa opiskellen matematiikkaa, todennäköisyysteoriaa ja tilastoa, ja sain mahdollisuuden kokeilla klassisia koneoppimisalgoritmeja, kuten lineaarista regressiota ja KNN:ää. Se oli mielenkiintoista nähdä, miten voit rakentaa ennustavan funktion suoraan datasta ja sitten käyttää sitä ennustamaan näkymättömiä dataa. Tämä kiinnostus vei minut Yandexin data-analytiikan koulutusohjelmaan, joka on kilpailukykyinen koneoppimisen maisteriohjelma Venäjällä (vain 200 henkilöä hyväksytään vuosittain). Siellä opin paljon enemmän edistyneistä koneoppimisalgoritmeista ja kehittelin intuitiotani. Tärkein vaihe tässä prosessissa oli, kun opin neuroverkoista ja syvän oppimisen. Se tuli minulle selkeäksi, että tämä on jotain, mitä haluan jatkaa seuraavien muutaman vuosikymmenen ajan.

Et aiemmin työskennellyt Googlessa senior-ohjelmistosuunnittelijana vuoden ajan, mitkä olivat joitain tärkeitä oppeja tästä kokemuksesta?

Ennen kuin liityin Googleen, olin yli neljä vuotta Yandexissa, heti Yandexin data-analytiikan koulutusohjelman jälkeen. Siellä johtamin tiimiä, joka kehitti erilaisia koneoppimismenetelmiä Yandex Taxiin (analogia Uberiin Venäjällä). Liityin tähän ryhmään sen perustamisvaiheessa ja sain mahdollisuuden työskennellä tiiviissä ja nopeasti kasvavassa tiimissä, joka kasvoi nopeasti neljän vuoden aikana sekä henkilöstömäärältään (30:stä 500 henkilöön) että markkina-arvoltaan (seestä tuli Venäjän suurin taksipalveluntarjoaja, joka ohitti Uberin ja muut).

Tänä aikana minulla oli etuoikeus rakentaa monia asioita alusta alkaen ja käynnistää useita projekteja nollasta yhteen. Yksi viimeisistä projekteista, joihin työskentelin siellä, oli chatbottien kehittäminen asiakastukea varten. Siellä sain ensimmäisen näyn suurten kielen mallien voimasta ja olin lumoutunut siitä, kuinka tärkeitä ne voivat olla tulevaisuudessa. Tämä johti minun Googleen, jossa liityin Google Assistant -tiimiin, joka myöhemmin nimettiin uudelleen Google Bardiksi (yksi Perplexityn kilpailijoista).

Googlessa minulla oli mahdollisuus oppia, miltä maailmanluokan infrastruktuuri näyttää, miten hakukoneet ja LLM:t toimivat ja miten ne vuorovaikuttavat toistensa kanssa tarjoamaan tosiasiallisia ja tarkkoja vastauksia. Tämä oli erinomainen oppimiskokemus, mutta ajan myötä minusta tuli turhautunut Googlen hitaasta tahdista ja tunteesta, ettei mitään koskaan saada aikaan. Halusin löytää yhtiön, joka työskentelee hakujärjestelmissä ja LLM:issä ja liikkuu yhtä nopeasti tai jopa nopeammin kuin Yandexissä. Onneksi tämä tapahtui luonnollisesti.

Sisäisesti Googlessa aloin nähdä Perplexityn ruutukaappauksia ja tehtäviä, jotka edellyttivät Google Assistantin vertaamista Perplexityyn. Tämä herätti minussa mielenkiinnon yhtiötä kohtaan, ja useiden viikkojen tutkimisen jälkeen olin vakuuttunut siitä, että haluan työskennellä siellä, joten otin yhteyttä tiimiin ja tarjosin palvelujani.

Voitko määritellä nykyisen roolisi ja vastuualueesi Perplexityssä?

Toimin tällä hetkellä hakutiimin johtajana ja olen vastuussa sisäisen hakujärjestelmän kehittämisestä, joka mahdollistaa Perplexityn toiminnan. Hakutiimimme työskentelee verkkokävelijän, hakukoneen ja sijoitusalgoritmien kehittämisessä. Nämä haasteet antavat minulle mahdollisuuden hyödyntää kokemusta, jonka olen saanut Googlessa (työskennellessäni hakukoneissa ja LLM:issä) sekä Yandexissä. Toisaalta Perplexityn tuote tarjoaa ainutlaatuisia mahdollisuuksia uudelleenmuotoilla ja uudelleenrakentaa sitä, miten hakujärjestelmän tulisi näyttää maailmassa, jossa on erittäin voimakkaita LLM:itä. Esimerkiksi se, että sijoitusalgoritmia ei enää optimoida klikin todennäköisyyden lisäämiseksi, vaan keskitytään parantamaan vastausten hyödyllisyyttä ja tosiasiallisuutta. Tämä on perustavanlaatuinen ero vastausmoottorin ja hakukoneen välillä. Tiimini ja minä yritämme rakentaa jotain, joka menee perinteisten 10 sinisen linkin tuolle puolen, ja en voi ajatella mitään jännittävämpää työskennellä tällä hetkellä.

Voitko selittää siirtymistä Perplexityssä teksti-SQL-työkalun kehittämisestä kohti tekoälyvoimaisen hakukoneen luomista?

Aluksi työskentelimme teksti-SQL-moottorin kehittämisessä, joka tarjoaa erikoistuneen vastausmoottorin tilanteissa, joissa tarvitset nopean vastauksen rakenteellisen datan (esim. taulukon tai taulun) perusteella. Teksti-SQL-projektin työskenteleminen antoi meille syvemmän ymmärryksen LLM:istä ja RAG:sta, ja johti meidät tärkeään toteamaan: tämä teknologia on paljon voimakkaampi ja yleisempi kuin mitä olemme alun perin ajatelleet. Pian meille selvisi, että voimme mennä paljon pidemmälle kuin vain rakenteelliset datalähteet ja ottaa haltuun myös rakenteettoman datan.

Mitkä olivat tärkeimmät haasteet ja näkökulmat tässä siirtymävaiheessa?

Tärkeimmät haasteet tässä siirtymävaiheessa olivat yhtiön siirtäminen B2B:stä B2C:hen ja infrastruktuuripinojen uudelleenrakentaminen tukemaan epästrukturoidun hakutoiminnon. Hyvin nopeasti tämän muutoksen aikana meille selvisi, että on paljon miellyttävämpää työskennellä asiakaslähtöisessä tuotteessa, kun aloitetaan jatkuva palaute- ja käyttäjäkokemus, mitä emme nähneet paljon, kun kehitimme teksti-SQL-moottoria ja keskityimme yritysratkaisuihin.

Hakutoiminnan täydentäminen (RAG) näyttää olevan Perplexityn hakutoiminnan kulmakivi. Voitko selittää, miten Perplexity käyttää RAG:ia eri tavoin verrattuna muihin alustoihin, ja miten tämä vaikuttaa hakutulosten tarkkuuteen?

RAG on yleinen käsite, jolla tarjotaan ulkoista tietoa LLM:ille. Vaikka idea saattaa tuntua yksinkertaiselta ensimmäisellä vilkaisulla, tällaisen järjestelmän rakentaminen, joka palvelee kymmeniä miljoonia käyttäjiä tehokkaasti ja tarkasti, on merkittävä haaste. Meidän piti suunnitella tämä järjestelmä itse alusta alkaen ja rakentaa monia mukautettuja komponentteja, jotka osoittautuivat kriittisiksi saavuttamaan viimeiset virheet ja suorituskyvyn. Rakensimme järjestelmämme siten, että kymmenet LLM:t (pieniä ja suuria) toimivat rinnakkain käsitelläkseen yhden käyttäjän pyynnön nopeasti ja kustannustehokkaasti. Rakensimme myös koulutus- ja päätöksentekojärjestelmän, joka mahdollistaa LLM:ien kouluttamisen hakujärjestelmän kanssa päätöksenteon aikana, jolloin ne ovat tiiviisti integroitu. Tämä vähentää merkittävästi harhaluuloja ja parantaa vastausten hyödyllisyyttä.

Googlen resursseihin verrattuna, miten Perplexity hallinnoi verkkokävely- ja indeksointistrategioitaan pysyäkseen kilpailukykyisenä ja varmistamaan ajanmukaisen tiedon?

Laajan indeksin, kuten Googlen, rakentaminen vaatii merkittävästi aikaa ja resursseja. Sen sijaan keskitymme aiheisiin, joista Perplexityn käyttäjät usein kysyvät. Käyttäjistä suurin osa käyttää Perplexityä työ- / tutkimusavustajana, ja monet kysymykset etsivät laadukkaita, luotettavia ja hyödyllisiä verkkolähteitä. Tämä on voimakas jakautuma, jossa voit saavuttaa merkittäviä tuloksia 80/20-lähestymistavalla. Näiden näkökulmien perusteella pystyimme rakentamaan paljon kompaktimman indeksin, joka on optimoitu laadun ja totuudenmukaisuuden mukaan. Tällä hetkellä vietämme vähemmän aikaa hännän ajamiseen, mutta kun laajennamme infrastruktuuriamme, tavoitamme myös hännän.

Miten suuret kielen mallit (LLM) parantavat Perplexityn hakutoimintoja, ja mitä niissä on erityistä, mikä tekee niistä erityisen tehokkaita tiedon parsimisessa ja esittämisessä verkkotiedosta?

Käytämme LLM:itä kaikkialla, sekä reaaliajassa että offline-prosessoinnissa. LLM:t antavat meille mahdollisuuden keskittyä verkkosivujen tärkeimpiin ja merkittävimpiin osiin. Ne ylittävät kaiken, mitä on ennen tehty, maksimoiden signaali-kohina-suhteen, mikä tekee monista asioista helpommin hallittavissa, mitä pienellä tiimillä ei ole aiemmin ollut mahdollista. Yleisesti ottaen tämä on ehkä tärkein LLM:ien ominaisuus: ne mahdollistavat monimutkaisten asioiden tekemisen hyvin pienellä tiimillä.

Miten Perplexity näkee tulevaisuuden tärkeimmät teknologiset tai markkinahaasteet?

Tulevaisuudessa tärkeimmät teknologiset haasteet meille ovat keskittyneet parantamaan vastausten hyödyllisyyttä ja tarkkuutta. Tavoitteenamme on lisätä kysymysten ja kyselyiden laajuutta ja monimutkaisuutta, joita voimme vastata luotettavasti. Samalla huolehdimme palvelun nopeudesta ja palvelun kustannustehokkuudesta ja panostamme voimakkaasti kustannusten laskemiseen ilman laatutason heikentymistä.

Miksi Perplexityn lähestymistapa hakutoimintaan on parempi kuin Googlen lähestymistapa, joka perustuu verkkosivujen sijoittamiseen takaisinviittauksien perusteella ja muihin vakiintuneisiin hakukoneen sijoitusmittareihin?

Optimoidaan täysin eri sijoitusmittaria kuin perinteiset hakukoneet. Hakumme sijoitusohjelma on suunniteltu yhdistämään hakujärjestelmän ja LLM:t luonnollisella tavalla. Tämä lähestymistapa on erilainen kuin perinteisten hakukoneiden, jotka optimoivat klikin todennäköisyyttä tai mainosnäyttökertoja.

Kiitos haastattelusta, lukijoille, jotka haluavat oppia lisää, on suositeltavaa vierailla Perplexity AI:ssa.