Alexandr Yarats, Head of Search at Perplexity – Interview Series

Alexandr Yarats je Head of Search ve společnosti Perplexity AI. Začal svou kariéru v Yandexu v roce 2017, současně studoval na Yandex School of Data Analysis. První roky byly intenzivní, ale také velmi obohacující, a přispěly k jeho růstu na pozici Engineering Team Lead. Poháněn svým zájmem pracovat pro technologického giganta, v roce 2022 přešel do Google (GOOGL ) jako Senior Software Engineer, kde se zaměřil na tým Google Assistant (později Google Bard). Poté přešel do Perplexity jako Head of Search.

Perplexity AI je AI-chatbotem poháněný výzkumný a konverzační vyhledávač, který odpovídá na dotazy pomocí předpovědního textu v přirozeném jazyce. Spuštěn v roce 2022, Perplexity generuje odpovědi pomocí zdrojů z webu a cituje odkazy uvnitř textu.

Co vás最初 got interested in machine learning?

Můj zájem o machine learning (ML) byl postupný proces. Během školních let jsem strávil hodně času studiem matematiky, teorie pravděpodobnosti a statistiky a dostal příležitost pracovat s klasickými algoritmy machine learning, jako je lineární regrese a KNN. Bylo fascinující vidět, jak můžete postavit predikční funkci přímo z dat a poté ji použít k predikci neviditelných dat. Tento zájem mě vedl k Yandex School of Data Analysis, vysoce konkurenčnímu magisterskému programu machine learning v Rusku (pouze 200 lidí je přijato každý rok). Tam jsem se naučil mnoho o pokročilejších algoritmech machine learning a vyvinul svou intuici. Nejzásadnějším bodem během tohoto procesu bylo, když jsem se naučil o neuronových sítích a hlubokém učení. Stalo se mi velmi jasné, že tohle je něco, co chci sledovat dalších pár desetiletí.

Předtím jste pracoval v Google jako Senior Software Engineer po dobu jednoho roku, co byly některé z vašich klíčových poznatků z této zkušenosti?

Předtím, než jsem přešel do Google, jsem strávil více než čtyři roky v Yandexu, hned po absolvování Yandex School of Data Analysis. Tam jsem vedl tým, který vyvíjel různé metody machine learning pro Yandex Taxi (analog Uberu v Rusku). Připojil jsem se k této skupině na jejím vzniku a měl jsem možnost pracovat v úzkém a rychlém týmu, který rychle rostl po čtyři roky, a to jak co do počtu lidí (z 30 na 500 lidí), tak i tržní kapitalizace (stalo se největší taxislužbou v Rusku, předčilo Uber a další).

Během této doby jsem měl možnost postavit mnoho věcí od začátku a spustit několik projektů od nuly. Jedním z posledních projektů, na kterém jsem pracoval, bylo budování chatbotů pro servisní podporu. Tam jsem dostal první pohled na sílu velkých jazykových modelů a byl jsem fascinován tím, jak důležité mohou být v budoucnu. Tato realizace mě vedla do Google, kde jsem se připojil k týmu Google Assistant, který byl později přejmenován na Google Bard (jedním z konkurentů Perplexity).

V Google jsem měl možnost naučit se, jak vypadá infrastruktura světové třídy, jak funguje vyhledávání a LLM, a jak spolu interagují, aby poskytly faktické a přesné odpovědi. Tato zkušenost byla velmi užitečná, ale postupem času jsem se stal frustrovaným pomalým tempem v Google a pocitem, že se nikdy nic neděje. Chtěl jsem najít společnost, která pracuje na vyhledávání a LLM, a pohybuje se stejně rychle, nebo ještě rychleji, než když jsem byl v Yandexu. Naštěstí se to stalo organicky.

Interně v Google jsem začal vidět snímky Perplexity a úkoly, které vyžadovaly srovnání Google Assistant s Perplexity. To mě zaujalo o společnosti, a po několika týdnech výzkumu jsem byl přesvědčen, že chci pracovat tam, takže jsem se obrátil na tým a nabídl své služby.

Můžete definovat svou současnou roli a odpovědnosti v Perplexity?

V současné době sloužím jako head týmu vyhledávání a jsem zodpovědný za budování našeho interního systému vyhledávání, který pohání Perplexity. Náš tým vyhledávání pracuje na budování systému procházení webu, vyhledávacího motoru a algoritmů排名. Tyto výzvy mi umožňují využít zkušeností, které jsem získal v Google (práce na vyhledávání a LLM), stejně jako v Yandexu. Na druhou stranu produkt Perplexity nabízí jedinečné příležitosti k přestavbě a přepracování toho, jak by měl vypadat systém vyhledávání ve světě, který má velmi silné LLM. Například již není důležité optimalizovat algoritmy排名, aby se zvýšila pravděpodobnost kliknutí; místo toho se soustředíme na zlepšení užitečnosti a faktičnosti našich odpovědí. To je zásadní rozdíl mezi answer engine a vyhledávačem. Můj tým a já se snažíme postavit něco, co půjde za hranice tradičních 10 modrých odkazů, a nemohu si představit nic víc vzrušujícího, na čem bych mohl pracovat právě teď.

Můžete vysvětlit přechod v Perplexity z vývoje nástroje text-to-SQL na přechod k tvorbě AI-poháněného vyhledávání?

Původně jsme pracovali na budování text-to-SQL engine, který poskytuje specializovaný answer engine v situacích, kdy potřebujete získat rychlou odpověď na základě vašich strukturovaných dat (například tabulky nebo tabulku). Práce na projektu text-to-SQL nám umožnila získat mnohem hlubší pochopení LLM a RAG, a vedla nás k zásadnímu uvědomění: tato technologie je mnohem silnější a obecnější, než jsme původně mysleli. Rychle jsme si uvědomili, že můžeme jít mnohem dále než dobře strukturované zdroje dat a zvládnout i nestrukturovaná data.

Jaké byly klíčové výzvy a poznatky během tohoto přechodu?

Klíčové výzvy během tohoto přechodu byly přechod naší společnosti z B2B na B2C a přestavba naší infrastruktury, aby podporovala nestrukturované vyhledávání. Velmi rychle během tohoto migračního procesu jsme si uvědomili, že je mnohem příjemnější pracovat na zákaznicky orientovaném produktu, protože začnete dostávat konstantní proud zpětné vazby a zapojení, něco, co jsme neviděli mnoho, když jsme stavěli text-to-SQL engine a zaměřovali se na podniková řešení.

Retrieval-augmented generation (RAG) parece být jedním z kamenů, na kterých spočívají vyhledávací schopnosti Perplexity. Můžete vysvětlit, jak Perplexity využívá RAG odlišně ve srovnání s ostatními platformami, a jak to ovlivňuje přesnost výsledků vyhledávání?

RAG je obecný koncept pro poskytování externích znalostí LLM. Zatímco myšlenka může vypadat jednoduše na první pohled, stavba takového systému, který efektivně a přesně slouží desítkám milionů uživatelů, je významnou výzvou. Museli jsme tento systém vyvinout sami od začátku a postavit mnoho vlastních komponent, které se ukázaly jako kritické pro dosažení posledních procent přesnosti a výkonu. Našim systémem je tak, že desítky LLM (od velkých po malé) pracují paralelně, aby zpracovaly jeden uživatelský požadavek rychle a nákladově efektivně. Také jsme postavili tréninkovou a inferenční infrastrukturu, která nám umožňuje trénovat LLM společně s vyhledávacím koncem, takže jsou těsně integrovány. To výrazně snižuje halucinace a zlepšuje užitečnost našich odpovědí.

Jak Perplexity spravuje svou strategii procházení webu a indexování, aby zůstala konkurenceschopná a zajistila aktuální informace, vzhledem k omezením ve srovnání s prostředky Google?

Postavení indexu tak rozsáhlého, jako je index Google, vyžaduje značné množství času a zdrojů. Místo toho se soustředíme na témata, o kterých se naši uživatelé často ptají na Perplexity. Ukázalo se, že většina našich uživatelů využívá Perplexity jako pracovního/research asistenta, a mnoho dotazů hledá kvalitní, důvěryhodné a užitečné části webu. To je zákonitý vztah, kde můžete dosáhnout významných výsledků s přístupem 80/20. Na základě těchto poznatků jsme byli schopni postavit mnohem kompaktnější index optimalizovaný pro kvalitu a pravdivost. V současné době trávíme méně času pronásledováním ocasu, ale jak budeme škálovat naši infrastrukturu, budeme také pronásledovat ocas.

Jak velké jazykové modely (LLM) zlepšují vyhledávací schopnosti Perplexity, a co z nich dělá zvláště efektivní při zpracování a prezentaci informací z webu?

Používáme LLM všude, jak pro zpracování v reálném čase, tak pro offline zpracování. LLM nám umožňují soustředit se na nejvýznamnější a nejrelevantnější části webových stránek. Jdou za hranice všeho, co bylo dříve možné, a maximalizují poměr signálu k šumu, což nám umožňuje zvládnout mnoho věcí, které nebyly dříve zvládnutelné malým týmem. Obecně je to snad nejvýznamnější aspekt LLM: umožňují vám dělat sofistikované věci s velmi malým týmem.

Jaké jsou hlavní technologické nebo tržní výzvy, kterým Perplexity čelí, když se dívá dopředu?

Jak se díváme dopředu, nejvýznamnější technologické výzvy pro nás budou soustředěny kolem pokračujícího zlepšování užitečnosti a přesnosti našich odpovědí. Cílíme na zvýšení rozsahu a složitosti typů dotazů a otázek, na které můžeme spolehlivě odpovědět. Kromě toho se velmi zajímáme o rychlost a efektivitu našeho systému a budeme se soustředit na snižování nákladů na službu, aniž bychom ohrozili kvalitu našeho produktu.

Proč je podle vás přístup Perplexity k vyhledávání lepší než přístup Google, který řadí webové stránky podle zpětných odkazů a dalších osvědčených vyhledávacích metrik?

Optimalizujeme zcela jinou vyhledávací metriku než klasické vyhledávače. Naše vyhledávací metrika je navržena tak, aby kombinvala vyhledávací systém a LLM. Tento přístup je khá odlišný od přístupu klasických vyhledávačů, které optimalizují pravděpodobnost kliknutí nebo zobrazení reklamy.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se více dozvědět, by měli navštívit Perplexity AI.