Alexandr Yarats, Head of Search at Perplexity – Intervista della serie

Alexandr Yarats è il responsabile della ricerca presso Perplexity AI. Ha iniziato la sua carriera a Yandex nel 2017, studiando contemporaneamente alla Yandex School of Data Analysis. I primi anni sono stati intensi ma gratificanti, favorendo la sua crescita come capo del team di ingegneria. Spinto dalla sua aspirazione a lavorare con un gigante tecnologico, si è unito a Google (GOOGL ) nel 2022 come ingegnere software senior, concentrandosi sul team di Google Assistant (successivamente ribattezzato Google Bard). Successivamente, si è trasferito a Perplexity come capo della ricerca.

Perplexity AI è un motore di ricerca e un sistema di ricerca conversazionale alimentato da chatbot AI che risponde alle query utilizzando il testo predittivo in linguaggio naturale. Lanciato nel 2022, Perplexity genera risposte utilizzando fonti web e cita collegamenti all’interno della risposta testuale.

Cosa ti ha inizialmente interessato al machine learning?

Il mio interesse per il machine learning (ML) è stato un processo graduale. Durante gli anni scolastici, ho trascorso molto tempo studiando matematica, teoria della probabilità e statistica, e ho avuto l’opportunità di lavorare con algoritmi di apprendimento automatico classici come la regressione lineare e KNN. È stato affascinante vedere come si può costruire una funzione predittiva direttamente dai dati e poi utilizzarla per prevedere dati non visti. Questo interesse mi ha portato alla Yandex School of Data Analysis, un master in apprendimento automatico molto competitivo in Russia (solo 200 persone vengono accettate ogni anno). Lì, ho imparato molto sugli algoritmi di apprendimento automatico più avanzati e ho costruito la mia intuizione. Il punto più critico durante questo processo è stato quando ho imparato sui reti neurali e sull’apprendimento profondo. È diventato molto chiaro per me che questo era qualcosa che volevo perseguire per le prossime decine di anni.

Prima di lavorare a Perplexity, hai lavorato a Google come ingegnere software senior per un anno, quali sono stati alcuni dei tuoi principali take-away da questa esperienza?

Prima di unirmi a Google, ho trascorso oltre quattro anni a Yandex, subito dopo essermi laureato alla Yandex School of Data Analysis. Lì, ho guidato un team che ha sviluppato vari metodi di apprendimento automatico per Yandex Taxi (un analogo di Uber in Russia). Mi sono unito a questo gruppo alla sua nascita e ho avuto la possibilità di lavorare in un team compatto e veloce che è cresciuto rapidamente nel corso di quattro anni, sia in termini di personale (da 30 a 500 persone) che di capitalizzazione di mercato (è diventato il più grande fornitore di servizi di taxi in Russia, superando Uber e altri).

Durante questo periodo, ho avuto il privilegio di costruire molte cose da zero e lanciare diversi progetti da zero a uno. Uno degli ultimi progetti su cui ho lavorato lì è stato la costruzione di chatbot per il supporto di servizio. Lì, ho avuto un primo sguardo sul potere dei grandi modelli linguistici e sono stato affascinato da quanto importante potessero essere nel futuro. Questa consapevolezza mi ha portato a Google, dove mi sono unito al team di Google Assistant, che in seguito è stato ribattezzato Google Bard (uno dei concorrenti di Perplexity).

A Google, ho avuto l’opportunità di imparare cosa significhi avere un’infrastruttura di classe mondiale, come funzionano la ricerca e i modelli linguistici e come interagiscono tra loro per fornire risposte accurate e fattuali. Questa è stata una grande esperienza di apprendimento, ma col tempo mi sono sentito frustrato dal ritmo lento di Google e dalla sensazione che nulla venisse mai fatto. Volevo trovare una società che lavorasse sulla ricerca e sui modelli linguistici e si muovesse alla stessa velocità, o addirittura più velocemente, di quando ero a Yandex. Fortunatamente, questo è successo in modo organico.

All’interno di Google, ho iniziato a vedere screenshot di Perplexity e compiti che richiedevano il confronto tra Google Assistant e Perplexity. Ciò ha suscitato il mio interesse per la società e, dopo diverse settimane di ricerca, sono stato convinto che volevo lavorare lì, quindi mi sono rivolto al team e ho offerto i miei servizi.

Puoi definire il tuo ruolo attuale e le tue responsabilità a Perplexity?

Attualmente, sto lavorando come capo del team di ricerca e sono responsabile della costruzione del nostro sistema di recupero interno che alimenta Perplexity. Il nostro team di ricerca lavora sulla costruzione di un sistema di crawling web, un motore di recupero e algoritmi di ranking. Queste sfide mi permettono di sfruttare l’esperienza che ho acquisito a Google (lavorando sulla ricerca e sui modelli linguistici) e a Yandex. D’altra parte, il prodotto di Perplexity presenta opportunità uniche per ridisegnare e ri-progettare come dovrebbe apparire un sistema di recupero in un mondo che ha modelli linguistici molto potenti. Ad esempio, non è più importante ottimizzare gli algoritmi di ranking per aumentare la probabilità di un clic; invece, ci stiamo concentrando sull’aumentare l’utilità e la fattualità delle nostre risposte. Questa è una distinzione fondamentale tra un motore di risposte e un motore di ricerca. Il mio team e io stiamo cercando di costruire qualcosa che andrà oltre i tradizionali 10 link blu, e non riesco a pensare a nulla di più emozionante su cui lavorare attualmente.

Puoi spiegare la transizione a Perplexity dallo sviluppo di uno strumento di testo-SQL alla creazione di una ricerca alimentata da AI?

Inizialmente, abbiamo lavorato sulla costruzione di un motore di testo-SQL che fornisce un motore di risposte specializzato in situazioni in cui è necessario ottenere una risposta rapida in base ai dati strutturati (ad esempio, un foglio di calcolo o una tabella). Lavorare su un progetto di testo-SQL ci ha permesso di acquisire una comprensione molto più profonda dei modelli linguistici e di RAG, e ci ha portato a una consapevolezza chiave: questa tecnologia è molto più potente e generale di quanto pensassimo inizialmente. Abbiamo rapidamente capito che potevamo andare ben oltre le fonti di dati strutturati e affrontare i dati non strutturati.

Quali sono stati i principali sfide e insight durante questo passaggio?

Le principali sfide durante questo passaggio sono state lo spostamento della nostra società da B2B a B2C e la ricostruzione della nostra infrastruttura per supportare la ricerca non strutturata. Molto rapidamente durante questo processo di migrazione, abbiamo capito che è molto più piacevole lavorare su un prodotto rivolto ai clienti in quanto si inizia a ricevere un flusso costante di feedback e coinvolgimento, qualcosa che non abbiamo visto molto quando stavamo costruendo un motore di testo-SQL e concentrandoci sulle soluzioni aziendali.

La generazione aumentata di recupero (RAG) sembra essere un angolo di Perplexity’s capacità di ricerca. Puoi spiegare come Perplexity utilizza RAG in modo diverso rispetto ad altre piattaforme e come ciò influenza l’accuratezza dei risultati di ricerca?

RAG è un concetto generale per fornire conoscenza esterna a un modello linguistico. Sebbene l’idea possa sembrare semplice a prima vista, costruire un sistema del genere che serva decine di milioni di utenti in modo efficiente e accurato è una sfida significativa. Abbiamo dovuto progettare questo sistema in-house da zero e costruire molti componenti personalizzati che si sono rivelati critici per raggiungere gli ultimi bit di accuratezza e prestazioni. Abbiamo progettato il nostro sistema in modo che decine di modelli linguistici (che vanno dal grande al piccolo) lavorino in parallelo per gestire una richiesta utente in modo rapido e efficiente in termini di costo. Abbiamo anche costruito un’infrastruttura di formazione e inferenza che ci consente di formare modelli linguistici insieme alla ricerca end-to-end, in modo che siano strettamente integrati. Ciò riduce notevolmente le allucinazioni e migliora l’utilità delle nostre risposte.

Con le limitazioni rispetto alle risorse di Google, come fa Perplexity a gestire le sue strategie di crawling e indicizzazione per rimanere competitiva e garantire informazioni aggiornate?

Costruire un indice così esteso come quello di Google richiede molto tempo e risorse. Invece, ci stiamo concentrando sugli argomenti di cui i nostri utenti chiedono frequentemente informazioni su Perplexity. Risulta che la maggior parte dei nostri utenti utilizza Perplexity come assistente di lavoro/ricerca e molti quesiti cercano parti di alta qualità, attendibili e utili del web. Si tratta di una distribuzione di legge di potenza, in cui è possibile ottenere risultati significativi con un approccio 80/20. Sulla base di queste informazioni, siamo stati in grado di costruire un indice molto più compatto ottimizzato per la qualità e la veridicità. Attualmente, spendiamo meno tempo a inseguire la coda, ma man mano che scaleremo la nostra infrastruttura, perseguiremo anche la coda.

Come i grandi modelli linguistici (LLM) migliorano le capacità di ricerca di Perplexity e cosa li rende particolarmente efficaci nel parsare e presentare informazioni dal web?

Utilizziamo LLM ovunque, sia per l’elaborazione in tempo reale che per l’elaborazione offline. LLM ci consente di concentrarci sulle parti più importanti e rilevanti delle pagine web. Vanno oltre tutto ciò che c’è stato prima nel massimizzare il rapporto segnale/rumore, il che rende molto più facile affrontare molte cose che non erano fattibili prima per un team piccolo. In generale, questo è forse l’aspetto più importante degli LLM: ci consentono di fare cose sofisticate con un team molto piccolo.

Guardando avanti, quali sono le principali sfide tecnologiche o di mercato che Perplexity anticipa?

Mentre guardiamo avanti, le principali sfide tecnologiche per noi saranno centrate sull’aumentare l’utilità e l’accuratezza delle nostre risposte. Ci proponiamo di aumentare la portata e la complessità dei tipi di query e domande che possiamo rispondere in modo affidabile. Insieme a ciò, ci preoccupiamo molto della velocità e dell’efficienza del nostro sistema e ci concentreremo pesantemente sul ridurre i costi di servizio il più possibile senza compromettere la qualità del nostro prodotto.

Secondo te, perché l’approccio di Perplexity alla ricerca è superiore a quello di Google, che consiste nel classificare i siti web in base ai collegamenti in entrata e ad altri metriche di classificazione dei motori di ricerca?

Stiamo ottimizzando una metrica di classificazione completamente diversa rispetto ai motori di ricerca classici. Il nostro obiettivo di classificazione è progettato per combinare in modo nativo il sistema di recupero e gli LLM. Questo approccio è abbastanza diverso da quello dei motori di ricerca classici, che ottimizzano la probabilità di un clic o di un’impressione pubblicitaria.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Perplexity AI.