Alexandr Yarats, Șef de Căutare la Perplexity – Seria de Interviuri

Alexandr Yarats este Șef de Căutare la Perplexity AI. El și-a început cariera la Yandex în 2017, concomitent cu studiile la Școala de Analiză a Datelor Yandex. Anii inițiali au fost intenși, dar și încununati de succese, ceea ce i-a propulsat creșterea și a devenit lider de echipă de ingineri. Împins de aspirația de a lucra cu un gigant tehnologic, el s-a alăturat companiei Google (GOOGL ) în 2022, în calitate de inginer software senior, axându-se pe echipa Google Assistant (ulterior redenumită Google Bard). Apoi, el s-a mutat la Perplexity, în calitate de Șef de Căutare.

Perplexity AI este un motor de căutare și un chatbot bazat pe inteligență artificială, care răspunde la întrebări utilizând text predictiv în limbaj natural. Lansat în 2022, Perplexity generează răspunsuri utilizând surse de pe web și citează link-uri în cadrul răspunsului text.

Ce v-a atras inițial spre învățarea mașinilor?

Interesul meu pentru învățarea mașinilor (ML) a fost un proces treptat. În timpul anilor de școală, am petrecut mult timp studiind matematică, teoria probabilităților și statistică, și am avut ocazia să lucrez cu algoritmi clasici de învățare mașinilor, cum ar fi regresia liniară și KNN. A fost fascinant să văd cum puteți construi o funcție predictivă direct din date și apoi să o utilizați pentru a prezice date nevăzute. Acest interes m-a condus la Școala de Analiză a Datelor Yandex, un program de masterat în învățarea mașinilor foarte competitiv din Rusia (doar 200 de persoane sunt acceptate anual). Acolo, am învățat mult despre algoritmi mai avansați de învățare mașinilor și am dezvoltat intuiția mea. Punctul cel mai important în acest proces a fost atunci când am aflat despre rețelele neuronale și învățarea profundă. A devenit foarte clar pentru mine că acesta este ceva pe care vreau să-l urmăresc pe parcursul următorilor douăzeci de ani.

Ați lucrat anterior la Google ca inginer software senior timp de un an, care au fost câteva dintre principalele concluzii ale acestei experiențe?

Înainte de a mă alătura Google, am petrecut peste patru ani la Yandex, imediat după absolvirea Școlii de Analiză a Datelor Yandex. Acolo, am condus o echipă care a dezvoltat diverse metode de învățare mașinilor pentru Yandex Taxi (un analog al Uber în Rusia). M-am alăturat acestui grup la începuturile sale și am avut șansa de a lucra într-o echipă unită și dinamică care a crescut rapid timp de patru ani, atât în ceea ce privește numărul de angajați (de la 30 la 500 de persoane), cât și valoarea de piață (a devenit cel mai mare furnizor de servicii de taxi din Rusia, depășind Uber și alții).

De-a lungul acestui timp, am avut privilegiul de a construi multe lucruri de la zero și de a lansa mai multe proiecte de la zero la unu. Unul dintre ultimele proiecte la care am lucrat acolo a fost construirea de chatboti pentru suportul serviciilor. Acolo, am avut o primă vedere asupra puterii modelelor de limbaj mari și am fost fascinat de cât de importante ar putea fi în viitor. Această realizare m-a condus la Google, unde m-am alăturat echipei Google Assistant, care a fost ulterior redenumită Google Bard (unul dintre competitorii Perplexity).

La Google, am avut ocazia de a învăța ce înseamnă o infrastructură de clasă mondială, cum funcționează căutarea și modelele de limbaj mari și cum interacționează acestea pentru a oferi răspunsuri exacte și precise. Acesta a fost un mare experiment de învățare, dar, în timp, am devenit frustrat de ritmul lent de la Google și de sentimentul că nimic nu se realizează niciodată. Am vrut să găsesc o companie care să lucreze la căutare și modele de limbaj mari și să se miște la fel de rapid, sau chiar mai rapid, decât atunci când eram la Yandex. Din fericire, acest lucru s-a întâmplat în mod organic.

În interiorul Google, am început să văd capturi de ecran ale Perplexity și sarcini care necesitau compararea Google Assistant cu Perplexity. Acest lucru a trezit interesul meu pentru companie, și, după câteva săptămâni de cercetare, am fost convins că vreau să lucrez acolo, așa că m-am oferit să mă alătur echipei.

Puteți defini rolul și responsabilitățile dvs. actuale la Perplexity?

Sunt în prezent Șef de Căutare și sunt responsabil pentru construirea sistemului nostru intern de recuperare care alimentează Perplexity. Echipa noastră de căutare lucrează la construirea unui sistem de crawlare web, un motor de recuperare și algoritmi de rang. Aceste provocări îmi permit să utilizez experiența pe care am câștigat-o la Google (lucrând la căutare și modele de limbaj mari) și la Yandex. Pe de altă parte, produsul Perplexity oferă oportunități unice de a redesena și reingineriza modul în care ar trebui să arate un sistem de recuperare într-o lume care are modele de limbaj mari foarte puternice. De exemplu, nu mai este important să optimizați algoritmii de rang pentru a crește probabilitatea unui clic; în schimb, ne concentrăm pe îmbunătățirea utilității și exactității răspunsurilor noastre. Acesta este un contrast fundamental între un motor de răspunsuri și un motor de căutare. Echipa mea și eu încercăm să construim ceva care va depăși link-urile albastre tradiționale, și nu pot gândi la nimic mai interesant de lucru în prezent.

Puteți explica tranziția de la Perplexity de la dezvoltarea unui instrument text-to-SQL la crearea de căutare bazată pe inteligență artificială?

Inițial, am lucrat la construirea unui motor text-to-SQL care oferă un motor de răspunsuri specializat în situații în care aveți nevoie de un răspuns rapid pe baza datelor structurate (de exemplu, o foaie de calcul sau o tabelă). Lucrul la un proiect text-to-SQL ne-a permis să înțelegem mult mai bine modelele de limbaj mari și RAG, și ne-a condus la o realizare cheie: această tehnologie este mult mai puternică și generală decât am crezut inițial. Am realizat rapid că putem merge mult dincolo de surse de date structurate și să abordăm date nestructurate.

Care au fost principalele provocări și insight-uri în timpul acestui schimb?

Principalele provocări în timpul acestei tranziții au fost schimbarea companiei noastre de la B2B la B2C și reconstruirea stivei noastre de infrastructură pentru a sprijini căutarea nestructurată. Foarte repede în timpul acestui proces de migrare, am realizat că este mult mai plăcut să lucrați la un produs cu față către client, deoarece începeți să primiți un flux constant de feedback și implicare, ceva pe care nu l-am văzut mult atunci când construiam un motor text-to-SQL și ne concentrăm pe soluții pentru întreprinderi.

Generarea augmentată de recuperare (RAG) pare a fi o piatră de temelie a capacităților de căutare ale Perplexity. Puteți explica cum Perplexity utilizează RAG în mod diferit comparativ cu alte platforme și cum afectează aceasta exactitatea rezultatelor căutării?

RAG este un concept general pentru furnizarea de cunoștințe externe unui model de limbaj mare. Deși ideea poate părea simplă la prima vedere, construirea unui astfel de sistem care deservește eficient și exact zeci de milioane de utilizatori este o provocare semnificativă. Am trebuit să proiectăm acest sistem de la zero și să construim multe componente personalizate care s-au dovedit a fi critice pentru atingerea ultimelor biti de exactitate și performanță. Am proiectat sistemul nostru astfel încât zeci de modele de limbaj mare (de la mici la mari) să lucreze în paralel pentru a gestiona rapid și eficient o solicitare a utilizatorului. De asemenea, am construit o infrastructură de antrenament și inferență care ne permite să antrenăm modele de limbaj mare împreună cu căutarea de la capăt la capăt, astfel încât acestea să fie strâns integrate. Acest lucru reduce semnificativ halucinațiile și îmbunătățește utilitatea răspunsurilor noastre.

Cum gestionează Perplexity strategiile de crawlare web și indexare pentru a rămâne competitiv și a asigura informații actualizate, având în vedere limitările în comparație cu resursele Google?

Construirea unui index la fel de vast ca al Google necesită mult timp și resurse. În schimb, ne concentrăm pe subiectele pe care utilizatorii noștri le solicită frecvent pe Perplexity. S-a dovedit că majoritatea utilizatorilor noștri utilizează Perplexity ca asistent de lucru/cercetare, și multe solicitări caută părți de calitate, de încredere și utile ale web-ului. Acesta este un distribuție puternică, în care puteți obține rezultate semnificative cu o abordare 80/20. Pe baza acestor insight-uri, am reușit să construim un index mult mai compact, optimizat pentru calitate și adevăr. În prezent, petrecem mai puțin timp urmărind coada, dar pe măsură ce vom scala infrastructura noastră, vom urmări și coada.

Cum modelele de limbaj mari (LLM) îmbunătățesc capacitățile de căutare ale Perplexity și ce le face deosebit de eficiente în analiza și prezentarea informațiilor de pe web?

Utilizăm LLM-uri peste tot, atât pentru procesarea în timp real, cât și pentru procesarea offline. LLM-urile ne permit să ne concentrăm pe cele mai importante și relevante părți ale paginilor web. Acestea merg dincolo de orice altceva anterior în maximizarea raportului semnal/zgomot, ceea ce face mult mai ușor să abordați multe lucruri care nu erau fezabile anterior pentru o echipă mică. În general, acesta este, probabil, cel mai important aspect al LLM-urilor: ele vă permit să faceți lucruri sofisticate cu o echipă foarte mică.

Privind înainte, care sunt principalele provocări tehnologice sau de piață pe care le anticipă Perplexity?

Pe măsură ce privim înainte, principalele provocări tehnologice pentru noi vor fi concentrate în jurul îmbunătățirii continue a utilității și exactității răspunsurilor noastre. Ne propunem să creștem sfera și complexitatea tipurilor de solicitări și întrebări pe care le putem răspunde în mod fiabil. Împreună cu aceasta, ne pasă mult de viteza și eficiența sistemului nostru și ne vom concentra puternic pe reducerea costurilor de servire cât mai mult posibil, fără a compromite calitatea produsului nostru.

În opinia dvs., de ce abordarea Perplexity în căutare este superioară abordării Google de a clasifica site-urile în funcție de legături înapoi și alte metrii de clasare a motoarelor de căutare dovedite?

Noi optimizăm o metrică de clasare complet diferită față de motoarele de căutare clasice. Obiectivul nostru de clasare este proiectat pentru a combina în mod nativ sistemul de recuperare și LLM-urile. Acestă abordare este destul de diferită de cea a motoarelor de căutare clasice, care optimizează probabilitatea unui clic sau a unei impresii publicitare.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Perplexity ar trebui să viziteze Perplexity AI.