Alexandr Yarats, responsabile della ricerca presso Perplexity – Serie di interviste

Alexandr Yarats è il responsabile della ricerca presso Perplessità AI. Ha iniziato la sua carriera in Yandex nel 2017, studiando contemporaneamente alla Yandex School of Data Analysis. I primi anni sono stati intensi ma gratificanti, spingendo la sua crescita fino a diventare un responsabile del team di ingegneri. Spinto dalla sua aspirazione a lavorare con un gigante della tecnologia, è entrato in Google nel 2022 come Senior Software Engineer, concentrandosi sul team di Google Assistant (in seguito Google Bard). È poi passato a Perplexity come capo della ricerca.

Perplexity AI è un motore di ricerca e ricerca conversazionale basato su chatbot basato sull'intelligenza artificiale che risponde alle domande utilizzando testo predittivo in linguaggio naturale. Lanciato nel 2022, Perplexity genera risposte utilizzando fonti dal Web e cita collegamenti all'interno della risposta testuale.

Cosa ti ha inizialmente interessato al machine learning?

Il mio interesse per l'apprendimento automatico (ML) è stato un processo graduale. Durante gli anni di scuola, ho dedicato molto tempo allo studio di matematica, teoria della probabilità e statistica, e ho avuto l'opportunità di sperimentare algoritmi di apprendimento automatico classici come la regressione lineare e la KNN. È stato affascinante vedere come si possa costruire una funzione predittiva direttamente dai dati e poi utilizzarla per prevedere dati inediti. Questo interesse mi ha portato alla Yandex School of Data Analysis, un master in apprendimento automatico altamente competitivo in Russia (solo 200 persone vengono ammesse ogni anno). Lì, ho imparato molto sugli algoritmi di apprendimento automatico più avanzati e ho sviluppato la mia intuizione. Il momento più cruciale di questo processo è stato quando ho scoperto le reti neurali e il deep learning. Mi è diventato subito chiaro che si trattava di qualcosa che volevo perseguire nei successivi due decenni.

In precedenza hai lavorato presso Google come Senior Software Engineer per un anno, quali sono stati alcuni dei principali insegnamenti tratti da questa esperienza?

Prima di entrare in Google, ho trascorso più di quattro anni in Yandex, subito dopo essermi diplomato alla Yandex School of Data Analysis. Lì ho guidato un team che ha sviluppato vari metodi di apprendimento automatico per Yandex Taxi (un analogo di Uber in Russia). Sono entrato a far parte di questo gruppo fin dalla sua nascita e ho avuto la possibilità di lavorare in un team affiatato e frenetico che è cresciuto rapidamente in quattro anni, sia in termini di organico (da 30 a 500 persone) che di capitalizzazione di mercato (è diventato il più grande servizio di taxi fornitore in Russia, superando Uber e altri).

Durante tutto questo tempo, ho avuto il privilegio di costruire molte cose da zero e lanciare diversi progetti da zero a uno. Uno degli ultimi progetti su cui ho lavorato è stato la creazione di chatbot per il supporto del servizio. Lì ho avuto un primo assaggio del potere dei grandi modelli linguistici e sono rimasto affascinato da quanto potrebbero essere importanti in futuro. Questa consapevolezza mi ha portato a Google, dove sono entrato a far parte del team di Google Assistant, successivamente ribattezzato Google Bard (uno dei concorrenti di Perplexity).

In Google ho avuto l'opportunità di scoprire che aspetto ha un'infrastruttura di livello mondiale, come funzionano la ricerca e i LLM e come interagiscono tra loro per fornire risposte concrete e accurate. È stata un'ottima esperienza di apprendimento, ma col tempo sono diventato frustrato dalla lentezza di Google e dalla sensazione che non si riuscisse mai a fare nulla. Volevo trovare un'azienda che lavorasse sulla ricerca e sui LLM e si muovesse più velocemente, o anche più velocemente, di quando ero in Yandex. Fortunatamente, questo è avvenuto in modo organico.

Internamente in Google, ho iniziato a vedere screenshot di Perplexity e attività che richiedevano il confronto dell'Assistente Google con Perplexity. Ciò ha suscitato il mio interesse per l'azienda e, dopo diverse settimane di ricerca, ero convinto di voler lavorare lì, quindi ho contattato il team e ho offerto i miei servizi.

Puoi definire il tuo attuale ruolo e le tue responsabilità in Perplexity?

Attualmente ricopro il ruolo di capo del team di ricerca e sono responsabile della creazione del nostro sistema di recupero interno che alimenta Perplexity. Il nostro team di ricerca lavora alla creazione di un sistema di scansione web, di un motore di recupero e di algoritmi di classificazione. Queste sfide mi consentono di sfruttare l'esperienza maturata in Google (lavorando su Ricerca e LLM) e in Yandex. D'altra parte, il prodotto di Perplexity offre opportunità uniche per riprogettare e riprogettare l'aspetto che dovrebbe avere un sistema di recupero in un mondo che dispone di LLM molto potenti. Ad esempio, non è più importante ottimizzare gli algoritmi di ranking per aumentare la probabilità di un clic; ci stiamo invece concentrando sul miglioramento dell’utilità e della fattualità delle nostre risposte. Questa è una distinzione fondamentale tra un motore di risposta e un motore di ricerca. Io e il mio team stiamo cercando di costruire qualcosa che vada oltre i tradizionali 10 collegamenti blu e non riesco a pensare a niente di più entusiasmante su cui lavorare al momento.

Puoi approfondire la transizione di Perplexity dallo sviluppo di uno strumento da testo a SQL all'orientamento verso la creazione di una ricerca basata sull'intelligenza artificiale?

Inizialmente abbiamo lavorato alla creazione di un motore testo-SQL che fornisca un motore di risposta specializzato in situazioni in cui è necessario ottenere una risposta rapida basata sui dati strutturati (ad esempio, un foglio di calcolo o una tabella). Lavorare su un progetto text-to-SQL ci ha permesso di acquisire una comprensione molto più profonda di LLM e RAG e ci ha portato a una realizzazione chiave: questa tecnologia è molto più potente e generale di quanto pensassimo inizialmente. Ci siamo subito resi conto che potevamo andare ben oltre le fonti di dati ben strutturate e affrontare anche i dati non strutturati.

Quali sono state le principali sfide e intuizioni durante questo cambiamento?

Le sfide principali durante questa transizione sono state il passaggio della nostra azienda da B2B a B2C e la ricostruzione del nostro stack infrastrutturale per supportare la ricerca non strutturata. Molto rapidamente, durante questo processo di migrazione, ci siamo resi conto che è molto più piacevole lavorare su un prodotto rivolto al cliente quando si inizia a ricevere un flusso costante di feedback e coinvolgimento, cosa che non vedevamo molto quando sviluppavamo un motore di conversione da testo a SQL e ci concentravamo su soluzioni aziendali.

La generazione aumentata dal recupero (RAG) sembra essere un pilastro delle funzionalità di ricerca di Perplexity. Potresti spiegare in che modo Perplexity utilizza la RAG in modo diverso rispetto ad altre piattaforme e in che modo ciò influisce sull'accuratezza dei risultati di ricerca?

RAG è un concetto generale per fornire conoscenza esterna a un LLM. Sebbene l’idea possa sembrare semplice a prima vista, costruire un sistema del genere che serva decine di milioni di utenti in modo efficiente e accurato rappresenta una sfida significativa. Abbiamo dovuto progettare internamente questo sistema da zero e costruire molti componenti personalizzati che si sono rivelati fondamentali per raggiungere gli ultimi livelli di precisione e prestazioni. Abbiamo progettato il nostro sistema in cui decine di LLM (da grandi a piccoli) lavorano in parallelo per gestire la richiesta di un utente in modo rapido ed efficiente in termini di costi. Abbiamo anche creato un'infrastruttura di formazione e inferenza che ci consente di formare LLM insieme alla ricerca end-to-end, in modo che siano strettamente integrati. Ciò riduce significativamente le allucinazioni e migliora l'utilità delle nostre risposte.

Considerando i limiti rispetto alle risorse di Google, come riesce Perplexity a gestire le sue strategie di indicizzazione e scansione del web per rimanere competitiva e garantire informazioni aggiornate?

Creare un indice esteso come quello di Google richiede tempo e risorse considerevoli. Ci stiamo invece concentrando sugli argomenti che i nostri utenti consultano frequentemente su Perplexity. A quanto pare, la maggior parte dei nostri utenti utilizza Perplexity come assistente di lavoro/ricerca e molte query cercano parti del web di alta qualità, affidabili e utili. Si tratta di una distribuzione di potenza, in cui è possibile ottenere risultati significativi con un approccio 80/20. Sulla base di queste informazioni, siamo stati in grado di creare un indice molto più compatto, ottimizzato per qualità e veridicità. Attualmente, dedichiamo meno tempo a inseguire la coda, ma man mano che la nostra infrastruttura cresce, inseguiremo anche la coda.

In che modo i modelli linguistici di grandi dimensioni (LLM) migliorano le capacità di ricerca di Perplexity e cosa li rende particolarmente efficaci nell'analisi e nella presentazione delle informazioni dal web?

Utilizziamo LLM ovunque, sia per l'elaborazione in tempo reale che offline. I LLM ci consentono di concentrarci sulle parti più importanti e rilevanti delle pagine web. Vanno oltre qualsiasi cosa prima nel massimizzare il rapporto segnale-rumore, il che rende molto più semplice affrontare molte cose che prima non erano gestibili da un piccolo team. In generale, questo è forse l’aspetto più importante dei LLM: ti consentono di fare cose sofisticate con un team molto piccolo.

Guardando al futuro, quali sono le principali sfide tecnologiche o di mercato anticipate da Perplexity?

Guardando al futuro, le sfide tecnologiche più importanti per noi saranno incentrate sul continuo miglioramento dell’utilità e dell’accuratezza delle nostre risposte. Il nostro obiettivo è aumentare la portata e la complessità dei tipi di domande e domande a cui possiamo rispondere in modo affidabile. Oltre a ciò, teniamo molto alla velocità e all'efficienza del servizio del nostro sistema e ci concentreremo fortemente sulla riduzione dei costi di servizio il più possibile senza compromettere la qualità del nostro prodotto.

Secondo te, perché l'approccio di Perplexity alla ricerca è superiore all'approccio di Google di classificare i siti web in base ai backlink e ad altre metriche di classificazione dei motori di ricerca comprovate?

Stiamo ottimizzando una metrica di ranking completamente diversa rispetto ai motori di ricerca classici. Il nostro obiettivo di classificazione è progettato per combinare in modo nativo il sistema di recupero e i LLM. Questo approccio è molto diverso da quello dei motori di ricerca classici, che ottimizzano la probabilità di un clic o di un'impressione dell'annuncio.

Grazie per l'ottima intervista, i lettori che desiderano saperne di più dovrebbero visitare Perplessità AI.