Alexandr Yarats, Szef Działu Wyszukiwania w Perplexity – Wywiad

Alexandr Yarats jest Szefem Działu Wyszukiwania w Perplexity AI. Rozpoczął swoją karierę w Yandex w 2017 roku, jednocześnie studiując w Szkole Analityki Danych Yandex. Początkowe lata były intensywne, ale również nagradzające, co przyczyniło się do jego rozwoju i awansu na stanowisko Lidera Zespołu Inżynierskiego. Podyktowane było to jego aspiracjami do pracy z tech-gigantem, dołączył do Google (GOOGL ) w 2022 roku jako Starszy Inżynier Oprogramowania, koncentrując się na zespole Asystenta Google (później Google Bard). Następnie przeniósł się do Perplexity jako Szef Działu Wyszukiwania.

Perplexity AI to silnik wyszukiwania i platforma badawcza zasilana przez czatbota, która odpowiada na zapytania przy użyciu przewidywanego tekstu językowego. Uruchomiona w 2022 roku, Perplexity generuje odpowiedzi przy użyciu źródeł z sieci i cytowań w odpowiedziach tekstowych.

Czym było to, co początkowo zainteresowało Cię machine learningiem?

Mój zainteresowanie machine learningiem (ML) było stopniowym procesem. Podczas moich lat szkolnych spędzałem wiele czasu na studiowaniu matematyki, teorii prawdopodobieństwa i statystyki, oraz miałem okazję pracować z klasycznymi algorytmami machine learning, takimi jak regresja liniowa i KNN. Było fascynujące widzieć, jak można zbudować funkcję przewidywania bezpośrednio z danych i następnie użyć jej do przewidywania niewidocznych danych. To zainteresowanie doprowadziło mnie do Szkoły Analityki Danych Yandex, bardzo konkurencyjnego programu magisterskiego z zakresu machine learning w Rosji (tylko 200 osób jest przyjmowanych co roku). Tam nauczyłem się wiele o bardziej zaawansowanych algorytmach machine learning i zbudowałem swoją intuicję. Najważniejszym punktem podczas tego procesu było to, kiedy nauczyłem się o sieciach neuronowych i głębokim sieciach neuronowych. Stało się bardzo jasne, że to jest coś, co chcę rozwijać przez następne kilka dekad.

Poprzednio pracowałeś w Google jako Starszy Inżynier Oprogramowania przez rok, jakie były Twoje najważniejsze wnioski z tego doświadczenia?

Przed dołączeniem do Google spędziłem ponad cztery lata w Yandex, zaraz po ukończeniu Szkoły Analityki Danych Yandex. Tam prowadziłem zespół, który rozwijał różne metody machine learning dla Yandex Taxi (analog do Ubera w Rosji). Dołączyłem do tej grupy na jej początku i miałem okazję pracować w zespole, który szybko rosł, zarówno pod względem liczby pracowników (z 30 do 500 osób), jak i kapitalizacji rynkowej (stał się największym dostawcą usług taksówkarskich w Rosji, przewyższając Ubera i innych).

W tym czasie miałem przywilej zbudować wiele rzeczy od podstaw i uruchomić kilka projektów od zera do jednego. Jednym z ostatnich projektów, nad którym pracowałem, było budowanie czatbotów do obsługi serwisowej. Tam po raz pierwszy zobaczyłem potęgę dużych modeli językowych i byłem zafascynowany tym, jak ważne mogą być one w przyszłości. To doprowadziło mnie do Google, gdzie dołączyłem do zespołu Asystenta Google, który później został przemianowany na Google Bard (jeden z konkurentów Perplexity).

W Google miałem okazję nauczyć się, jak wygląda infrastruktura światowej klasy, jak działa wyszukiwanie i LLM, oraz jak współpracują one ze sobą, aby dostarczać faktualne i dokładne odpowiedzi. Było to wielkie doświadczenie, ale z czasem zacząłem czuć frustrację z powodu wolnego tempa w Google i poczucia, że nic nigdy nie zostaje zrobione. Chciałem znaleźć firmę, która pracowałaby nad wyszukiwaniem i LLM, i poruszałaby się tak szybko, lub nawet szybciej, niż kiedyś w Yandex. Na szczęście to się zdarzyło organicznie.

Wewnętrznie w Google zacząłem widzieć zrzuty ekranu Perplexity i zadania, które wymagały porównania Asystenta Google z Perplexity. To wzbudziło moje zainteresowanie firmą, i po kilku tygodniach badań byłem przekonany, że chcę tam pracować, więc skontaktowałem się z zespołem i zaoferowałem swoje usługi.

Czy możesz zdefiniować swoją obecną rolę i odpowiedzialność w Perplexity?

Obecnie pełnię rolę szefa zespołu wyszukiwania i jestem odpowiedzialny za budowanie naszego wewnętrznego systemu wyszukiwania, który napędza Perplexity. Nasz zespół wyszukiwania pracuje nad budową systemu przeszukiwania sieci, silnika wyszukiwania i algorytmów rangowania. Te wyzwania pozwalają mi wykorzystać doświadczenie, które zdobyłem w Google (pracując nad wyszukiwaniem i LLM), oraz w Yandex. Z drugiej strony, produkt Perplexity stwarza unikalne możliwości, aby przeprojektować i zmodernizować, jak system wyszukiwania powinien wyglądać w świecie, w którym mamy bardzo potężne LLM. Na przykład, nie jest już ważne optymalizowanie algorytmów rangowania, aby zwiększyć prawdopodobieństwo kliknięcia; zamiast tego, koncentrujemy się na poprawie przydatności i faktualności naszych odpowiedzi. To jest fundamentalna różnica między silnikiem odpowiedzi a silnikiem wyszukiwania. Mój zespół i ja staramy się zbudować coś, co pójdzie poza tradycyjne 10 niebieskie linki, i nie mogę myśleć o niczym bardziej ekscytującym do pracy nad tym obecnie.

Czy możesz wyjaśnić przejście w Perplexity od rozwoju narzędzia text-to-SQL do zorientowania się na tworzenie wyszukiwania zasilanego przez AI?

Początkowo pracowaliśmy nad budową silnika text-to-SQL, który dostarcza specjalistyczny silnik odpowiedzi w sytuacjach, w których potrzebujesz uzyskać szybką odpowiedź na podstawie Twoich danych strukturalnych (np. arkusz kalkulacyjny lub tabela). Praca nad projektem text-to-SQL pozwoliła nam uzyskać znacznie głębsze zrozumienie LLM i RAG, i doprowadziła nas do kluczowego zrozumienia: ta technologia jest o wiele potężniejsza i bardziej ogólna, niż myśleliśmy. Szybko zrozumieliśmy, że możemy iść znacznie dalej niż źródła danych strukturalnych i rozwiązać również dane niestrukturalne.

Jakie były kluczowe wyzwania i spostrzeżenia podczas tego przejścia?

Kluczowymi wyzwaniami podczas tego przejścia była zmiana naszej firmy z B2B na B2C i odbudowa naszego stosu infrastrukturalnego, aby wspierać wyszukiwanie niestrukturalne. Bardzo szybko podczas tego procesu migracji zrozumieliśmy, że jest o wiele przyjemniej pracować nad produktem skierowanym do klienta, ponieważ zaczynasz otrzymywać stały strumień informacji zwrotnej i zaangażowania, czegoś, czego nie widzieliśmy zbyt wiele, gdy budowaliśmy silnik text-to-SQL i koncentrowaliśmy się na rozwiązaniach dla przedsiębiorstw.

Retrieval-augmented generation (RAG) wydaje się być kamieniem węgielnym możliwości wyszukiwania Perplexity. Czy możesz wyjaśnić, jak Perplexity wykorzystuje RAG inaczej w porównaniu z innymi platformami, i jak to wpływa na dokładność wyników wyszukiwania?

RAG to ogólny koncept dostarczania zewnętrznej wiedzy do LLM. Chociaż idea może się wydawać prosta na pierwszy rzut oka, budowanie takiego systemu, który obsługuje efektywnie i dokładnie dziesiątki milionów użytkowników, jest znaczącym wyzwaniem. Musieliśmy zbudować ten system od podstaw i stworzyć wiele niestandardowych komponentów, które okazały się kluczowe dla osiągnięcia ostatnich bitów dokładności i wydajności. Zbudowaliśmy nasz system, w którym dziesiątki LLM (od dużych do małych) pracują równolegle, aby obsłużyć jeden żądanie użytkownika szybko i efektywnie. Zbudowaliśmy również infrastrukturę szkolenia i inferencji, która pozwala nam szkolić LLM razem z wyszukiwaniem od końca do końca, tak aby były one ściśle zintegrowane. To znacznie redukuje halucynacje i poprawia przydatność naszych odpowiedzi.

Wraz z ograniczeniami w porównaniu z zasobami Google, jak Perplexity zarządza swoimi strategiami przeszukiwania sieci i indeksowania, aby pozostać konkurencyjnym i zapewnić najnowsze informacje?

Budowanie indeksu tak rozległego jak Google wymaga znacznego czasu i zasobów. Zamiast tego, koncentrujemy się na tematach, które nasi użytkownicy często pytają o w Perplexity. Okazuje się, że większość naszych użytkowników wykorzystuje Perplexity jako asystenta do pracy lub badań, i wiele zapytań szuka wysokiej jakości, zaufanych i przydatnych części sieci. To jest rozkład potęgowy, w którym możesz osiągnąć znaczące wyniki z podejściem 80/20. Na podstawie tych spostrzeżeń, byliśmy w stanie zbudować znacznie bardziej kompaktowy indeks zoptymalizowany pod kątem jakości i prawdziwości. Obecnie spędzamy mniej czasu na gonieniu ogonów, ale gdy skalujemy naszą infrastrukturę, będziemy również ścigać ogony.

Jak duże modele językowe (LLM) zwiększają możliwości wyszukiwania Perplexity, i co sprawia, że są one szczególnie skuteczne w parsowaniu i prezentowaniu informacji z sieci?

Używamy LLM wszędzie, zarówno w czasie rzeczywistym, jak i w przetwarzaniu offline. LLM pozwalają nam skoncentrować się na najważniejszych i najbardziej istotnych częściach stron internetowych. Idą one poza wszystko, co było wcześniej, w maksymalizowaniu stosunku sygnału do szumu, co sprawia, że jest o wiele łatwiej rozwiązać wiele rzeczy, które wcześniej nie były możliwe dla małego zespołu. Ogólnie, to jest być może najważniejszy aspekt LLM: pozwalają one robić skomplikowane rzeczy z bardzo małym zespołem.

Spójrzając w przyszłość, jakie są główne wyzwania technologiczne lub rynkowe, których Perplexity się spodziewa?

Gdy spoglądamy w przyszłość, najważniejszymi wyzwaniami technologicznymi dla nas będą skupione wokół ciągłej poprawy przydatności i dokładności naszych odpowiedzi. Chcemy zwiększyć zakres i złożoność typów zapytań i pytań, które możemy odpowiedzieć w sposób niezawodny. Wraz z tym, dbamy o szybkość i wydajność naszego systemu i będziemy się skoncentrować na obniżaniu kosztów obsługi jak najbardziej, nie kompromitując jakości naszego produktu.

Twoim zdaniem, dlaczego podejście Perplexity do wyszukiwania jest lepsze niż podejście Google, które opiera się na rankingu stron internetowych według odnośników i innych udowodnionych metryk rankingu silników wyszukiwania?

Optymalizujemy całkowicie inny wskaźnik rangowania niż klasyczne silniki wyszukiwania. Nasz cel rangowania jest zaprojektowany, aby rodzinnie łączyć system wyszukiwania i LLM. To podejście jest znacznie różne od podejścia klasycznych silników wyszukiwania, które optymalizują prawdopodobieństwo kliknięcia lub wyświetlenia reklamy.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Perplexity AI.