Alexandr Yarats, Chefe de Busca da Perplexity – Série de Entrevistas

Alexandr Yarats é o Chefe de Busca da Perplexity AI. Ele começou sua carreira na Yandex em 2017, estudando simultaneamente na Yandex School of Data Analysis. Os primeiros anos foram intensos, mas gratificantes, impulsionando seu crescimento para se tornar Líder de Equipe de Engenharia. Impulsionado por sua aspiração de trabalhar com um gigante da tecnologia, ele se juntou à Google em 2022 como Engenheiro de Software Sênior, focando na equipe do Google Assistant (posteriormente renomeada para Google Bard). Em seguida, ele se mudou para a Perplexity como Chefe de Busca.

A Perplexity AI é um mecanismo de pesquisa e busca conversacional alimentado por chatbot de IA que responde a consultas usando texto preditivo de linguagem natural. Lançada em 2022, a Perplexity gera respostas usando fontes da web e cita links dentro da resposta de texto.

O que o levou a se interessar por aprendizado de máquina?

Meu interesse em aprendizado de máquina (ML) foi um processo gradual. Durante meus anos de escola, eu passei muito tempo estudando matemática, teoria da probabilidade e estatística, e tive a oportunidade de brincar com algoritmos clássicos de aprendizado de máquina, como regressão linear e KNN. Foi fascinante ver como você pode construir uma função preditiva diretamente a partir dos dados e, em seguida, usá-la para prever dados não vistos. Esse interesse me levou à Yandex School of Data Analysis, um programa de mestrado em aprendizado de máquina altamente competitivo na Rússia (apenas 200 pessoas são aceitas por ano). Lá, eu aprendi muito sobre algoritmos de aprendizado de máquina mais avançados e construí minha intuição. O ponto mais crucial durante esse processo foi quando eu aprendi sobre redes neurais e aprendizado profundo. Ficou muito claro para mim que essa era algo que eu queria perseguir nas próximas décadas.

Você trabalhou anteriormente na Google como Engenheiro de Software Sênior por um ano, quais foram suas principais lições aprendidas com essa experiência?

Antes de se juntar à Google, eu passei mais de quatro anos na Yandex, logo após me formar na Yandex School of Data Analysis. Lá, eu liderava uma equipe que desenvolvia vários métodos de aprendizado de máquina para o Yandex Taxi (um análogo ao Uber na Rússia). Eu me juntei a esse grupo em sua criação e tive a chance de trabalhar em uma equipe pequena e dinâmica que cresceu rapidamente ao longo de quatro anos, tanto em número de funcionários (de 30 para 500 pessoas) quanto em valor de mercado (se tornou o maior provedor de serviços de táxi na Rússia, superando o Uber e outros).

Durante esse tempo, eu tive o privilégio de construir muitas coisas do zero e lançar vários projetos do zero para um. Um dos últimos projetos em que trabalhei lá foi construir chatbots para suporte de serviço. Lá, eu tive um primeiro vislumbre do poder de grandes modelos de linguagem e fiquei fascinado por quão importantes eles poderiam ser no futuro. Essa realização me levou à Google, onde eu me juntei à equipe do Google Assistant, que mais tarde foi renomeada para Google Bard (um dos concorrentes da Perplexity).

Na Google, eu tive a oportunidade de aprender como é a infraestrutura de classe mundial, como o Search e os LLMs funcionam e como eles interagem entre si para fornecer respostas factuais e precisas. Essa foi uma grande experiência de aprendizado, mas com o tempo eu me senti frustrado com o ritmo lento da Google e a sensação de que nada nunca foi feito. Eu queria encontrar uma empresa que trabalhasse em busca e LLMs e se movesse tão rápido, ou mesmo mais rápido, do que quando eu estava na Yandex. Felizmente, isso aconteceu organicamente.

Internamente na Google, eu comecei a ver telas de Perplexity e tarefas que exigiam comparar o Google Assistant com a Perplexity. Isso despertou meu interesse na empresa, e após várias semanas de pesquisa, eu fiquei convencido de que queria trabalhar lá, então eu me ofereci para me juntar à equipe.

Pode definir seu papel atual e responsabilidades na Perplexity?

Atualmente, estou servindo como chefe da equipe de busca e sou responsável por construir nosso sistema de recuperação interno que alimenta a Perplexity. Nossa equipe de busca trabalha em construir um sistema de crawling da web, mecanismo de recuperação e algoritmos de ranqueamento. Esses desafios me permitem aproveitar a experiência que adquiri na Google (trabalhando em Search e LLMs) e na Yandex. Por outro lado, o produto da Perplexity apresenta oportunidades únicas para redesenhar e reengenhariaar como um sistema de recuperação deve parecer em um mundo que tem LLMs muito poderosos. Por exemplo, já não é importante otimizar algoritmos de ranqueamento para aumentar a probabilidade de um clique; em vez disso, estamos nos concentrando em melhorar a utilidade e a factualidade de nossas respostas. Essa é uma distinção fundamental entre um mecanismo de resposta e um mecanismo de busca. Minha equipe e eu estamos tentando construir algo que irá além dos 10 links azuis tradicionais, e não consigo pensar em nada mais emocionante para trabalhar atualmente.

Pode elaborar sobre a transição na Perplexity de desenvolver uma ferramenta de texto-para-SQL para criar uma busca alimentada por IA?

Inicialmente, trabalhamos em construir um mecanismo de texto-para-SQL que fornece um mecanismo de resposta especializado em situações em que você precisa obter uma resposta rápida com base em seus dados estruturados (por exemplo, uma planilha ou tabela). Trabalhar em um projeto de texto-para-SQL nos permitiu ganhar uma compreensão muito mais profunda dos LLMs e RAG, e nos levou a uma realização-chave: essa tecnologia é muito mais poderosa e geral do que pensávamos originalmente. Rapidamente percebemos que poderíamos ir muito além de fontes de dados estruturadas e lidar com dados não estruturados também.

Quais foram os principais desafios e insights durante essa mudança?

Os principais desafios durante essa transição foram mudar a empresa de B2B para B2C e reconstruir nossa pilha de infraestrutura para suportar busca não estruturada. Muito rapidamente durante esse processo de migração, percebemos que é muito mais agradável trabalhar em um produto orientado ao cliente, pois você começa a receber um fluxo constante de feedback e engajamento, algo que não víamos muito quando estávamos construindo um mecanismo de texto-para-SQL e nos concentrando em soluções empresariais.

A geração de recuperação aumentada (RAG) parece ser uma pedra angular das capacidades de busca da Perplexity. Pode explicar como a Perplexity utiliza a RAG de forma diferente em comparação com outras plataformas, e como isso impacta a precisão dos resultados de busca?

A RAG é um conceito geral para fornecer conhecimento externo a um LLM. Embora a ideia possa parecer simples à primeira vista, construir um sistema como esse que atende a dezenas de milhões de usuários de forma eficiente e precisa é um desafio significativo. Tivemos que engenharia esse sistema em casa, do zero, e construir muitos componentes personalizados que se provaram críticos para alcançar os últimos bits de precisão e desempenho. Nós engenhamos nosso sistema para que dezenas de LLMs (variando de grande a pequeno) trabalhem em paralelo para lidar com uma solicitação de usuário rapidamente e de forma eficiente em termos de custo. Também construímos uma infraestrutura de treinamento e inferência que permite que treinemos LLMs juntamente com a busca de ponta a ponta, de modo que eles estejam intimamente integrados. Isso reduz significativamente as alucinações e melhora a utilidade de nossas respostas.

Com as limitações em comparação com os recursos da Google, como a Perplexity gerencia suas estratégias de crawling e indexação da web para permanecer competitiva e garantir informações atualizadas?

Construir um índice tão extenso quanto o da Google requer um tempo e recursos consideráveis. Em vez disso, estamos nos concentrando em tópicos que nossos usuários frequentemente consultam na Perplexity. Verificou-se que a maioria dos nossos usuários utiliza a Perplexity como um assistente de trabalho/pesquisa, e muitas consultas buscam partes de alta qualidade, confiáveis e úteis da web. Isso é uma distribuição de lei de potência, onde você pode alcançar resultados significativos com uma abordagem 80/20. Com base nesses insights, fomos capazes de construir um índice muito mais compacto otimizado para qualidade e veracidade. Atualmente, passamos menos tempo perseguindo a cauda, mas à medida que escalamos nossa infraestrutura, também perseguiremos a cauda.

Como os grandes modelos de linguagem (LLMs) melhoram as capacidades de busca da Perplexity, e o que os torna particularmente eficazes em analisar e apresentar informações da web?

Nós usamos LLMs em todos os lugares, tanto para processamento em tempo real quanto para processamento offline. LLMs nos permitem nos concentrar nas partes mais importantes e relevantes das páginas da web. Eles vão além de qualquer coisa anterior em maximizar a relação sinal-ruído, o que torna muito mais fácil lidar com muitas coisas que não eram viáveis anteriormente por uma equipe pequena. Em geral, essa é talvez a aspecto mais importante dos LLMs: eles nos permitem fazer coisas sofisticadas com uma equipe muito pequena.

Olhando para o futuro, quais são os principais desafios tecnológicos ou de mercado que a Perplexity antecipa?

À medida que olhamos para o futuro, os principais desafios tecnológicos para nós serão centrados em continuar a melhorar a utilidade e a precisão de nossas respostas. Nossa meta é aumentar o escopo e a complexidade dos tipos de consultas e perguntas que podemos responder de forma confiável. Junto com isso, nos importamos muito com a velocidade e a eficiência de nosso sistema e nos concentraremos fortemente em reduzir os custos de serviço tanto quanto possível sem comprometer a qualidade de nosso produto.

Na sua opinião, por que a abordagem da Perplexity para busca é superior à abordagem da Google de ranquear sites de acordo com backlinks e outros métricas de ranqueamento de busca comprovadas?

Na sua opinião, por que a abordagem da Perplexity para busca é superior à abordagem da Google de ranquear sites de acordo com backlinks e outros métricas de ranqueamento de busca comprovadas?

Nós estamos otimizando uma métrica de ranqueamento completamente diferente em comparação com os mecanismos de busca clássicos. Nosso objetivo de ranqueamento é projetado para combinar naturalmente o sistema de recuperação e os LLMs. Essa abordagem é bastante diferente daquela dos mecanismos de busca clássicos, que otimizam a probabilidade de um clique ou impressão de anúncio.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Perplexity AI.