Alexandr Yarats, chefe de pesquisa da Perplexity – série de entrevistas

Alexandr Yarats é o chefe de pesquisa da Perplexidade IA. Ele começou sua carreira na Yandex em 2017, estudando simultaneamente na Yandex School of Data Analysis. Os primeiros anos foram intensos, mas gratificantes, impulsionando seu crescimento para se tornar Líder de Equipe de Engenharia. Impulsionado por sua aspiração de trabalhar com uma gigante da tecnologia, ele ingressou no Google em 2022 como engenheiro de software sênior, com foco na equipe do Google Assistant (mais tarde Google Bard). Ele então mudou para Perplexity como Chefe de Pesquisa.

Perplexity AI é um mecanismo de pesquisa e pesquisa conversacional baseado em chatbot de IA que responde a consultas usando texto preditivo em linguagem natural. Lançado em 2022, o Perplexity gera respostas usando fontes da web e cita links no texto da resposta.

O que inicialmente despertou seu interesse em aprendizado de máquina?

Meu interesse em aprendizado de máquina (ML) foi um processo gradual. Durante meus anos escolares, passei muito tempo estudando matemática, teoria das probabilidades e estatística, e tive a oportunidade de brincar com algoritmos clássicos de aprendizado de máquina, como regressão linear e KNN. Foi fascinante ver como é possível construir uma função preditiva diretamente a partir dos dados e depois usá-la para prever dados invisíveis. Esse interesse me levou à Yandex School of Data Analysis, um programa de mestrado em aprendizado de máquina altamente competitivo na Rússia (apenas 200 pessoas são aceitas a cada ano). Lá, aprendi muito sobre algoritmos de aprendizado de máquina mais avançados e desenvolvi minha intuição. O ponto mais crucial durante esse processo foi quando aprendi sobre redes neurais e aprendizado profundo. Ficou muito claro para mim que isso era algo que eu queria seguir nas próximas décadas.

Você já trabalhou no Google como engenheiro de software sênior por um ano. Quais foram algumas das principais conclusões dessa experiência?

Antes de ingressar no Google, passei mais de quatro anos na Yandex, logo após me formar na Yandex School of Data Analysis. Lá, liderei uma equipe que desenvolveu vários métodos de aprendizado de máquina para o Yandex Taxi (um análogo do Uber na Rússia). Entrei neste grupo desde o seu início e tive a oportunidade de trabalhar numa equipa unida e dinâmica que cresceu rapidamente ao longo de quatro anos, tanto em número de funcionários (de 30 a 500 pessoas) como em capitalização de mercado (tornou-se o maior serviço de táxi fornecedor na Rússia, superando o Uber e outros).

Ao longo deste tempo, tive o privilégio de construir muitas coisas do zero e lançar vários projetos do zero ao um. Um dos projetos finais em que trabalhei foi a construção de chatbots para suporte de serviço. Lá, tive um primeiro vislumbre do poder dos grandes modelos de linguagem e fiquei fascinado com a importância que eles poderiam ter no futuro. Essa constatação me levou ao Google, onde entrei para a equipe do Google Assistant, que mais tarde foi renomeada como Google Bard (um dos concorrentes do Perplexity).

No Google, tive a oportunidade de aprender como é uma infraestrutura de classe mundial, como funcionam a Pesquisa e os LLMs e como eles interagem entre si para fornecer respostas factuais e precisas. Foi uma ótima experiência de aprendizado, mas com o tempo fiquei frustrado com o ritmo lento do Google e com a sensação de que nada era feito. Eu queria encontrar uma empresa que trabalhasse com pesquisa e LLMs e se movesse tão rápido, ou até mais rápido, do que quando eu estava na Yandex. Felizmente, isso aconteceu organicamente.

Internamente no Google, comecei a ver capturas de tela do Perplexity e tarefas que exigiam a comparação do Google Assistant com o Perplexity. Isso despertou meu interesse pela empresa e, após várias semanas de pesquisa, fiquei convencido de que queria trabalhar lá, então entrei em contato com a equipe e ofereci meus serviços.

Você pode definir sua função e responsabilidades atuais na Perplexity?

Atualmente atuo como chefe da equipe de busca e sou responsável pela construção de nosso sistema interno de recuperação que alimenta o Perplexity. Nossa equipe de pesquisa trabalha na construção de um sistema de rastreamento da web, mecanismo de recuperação e algoritmos de classificação. Esses desafios me permitem aproveitar a experiência que adquiri no Google (trabalhando em Search e LLMs) e também na Yandex. Por outro lado, o produto da Perplexity apresenta oportunidades únicas para redesenhar e reprojetar a aparência de um sistema de recuperação em um mundo que possui LLMs muito poderosos. Por exemplo, não é mais importante otimizar algoritmos de classificação para aumentar a probabilidade de um clique; em vez disso, estamos nos concentrando em melhorar a utilidade e a factualidade de nossas respostas. Esta é uma distinção fundamental entre um mecanismo de resposta e um mecanismo de pesquisa. Minha equipe e eu estamos tentando construir algo que vá além dos tradicionais 10 links azuis, e não consigo pensar em nada mais interessante para trabalhar atualmente.

Você pode explicar a transição na Perplexity do desenvolvimento de uma ferramenta de texto para SQL para a criação de pesquisa baseada em IA?

Inicialmente trabalhamos na construção de um mecanismo de conversão de texto em SQL que fornece um mecanismo de resposta especializado em situações em que você precisa obter uma resposta rápida com base em seus dados estruturados (por exemplo, uma planilha ou tabela). Trabalhar em um projeto de texto para SQL nos permitiu obter uma compreensão muito mais profunda de LLMs e RAG e nos levou a uma conclusão importante: essa tecnologia é muito mais poderosa e geral do que pensávamos originalmente. Rapidamente percebemos que poderíamos ir muito além das fontes de dados bem estruturadas e também lidar com dados não estruturados.

Quais foram os principais desafios e insights durante essa mudança?

Os principais desafios durante esta transição foram mudar a nossa empresa de B2B para B2C e reconstruir a nossa pilha de infraestrutura para suportar a pesquisa não estruturada. Muito rapidamente, durante esse processo de migração, percebemos que é muito mais agradável trabalhar em um produto voltado para o cliente à medida que você começa a receber um fluxo constante de feedback e engajamento, algo que não víamos muito quando estávamos construindo um mecanismo de texto para SQL e com foco em soluções corporativas.

A geração aumentada de recuperação (RAG) parece ser a base dos recursos de pesquisa do Perplexity. Você poderia explicar como o Perplexity utiliza o RAG de maneira diferente em comparação com outras plataformas e como isso afeta a precisão dos resultados da pesquisa?

RAG é um conceito geral para fornecer conhecimento externo a um LLM. Embora a ideia possa parecer simples à primeira vista, construir um sistema que atenda dezenas de milhões de usuários com eficiência e precisão é um desafio significativo. Tivemos que projetar esse sistema internamente do zero e construir muitos componentes personalizados que se mostraram essenciais para alcançar os últimos bits de precisão e desempenho. Projetamos nosso sistema onde dezenas de LLMs (de grandes a pequenos) trabalham em paralelo para lidar com uma solicitação do usuário de forma rápida e econômica. Também construímos uma infraestrutura de treinamento e inferência que nos permite treinar LLMs junto com pesquisas de ponta a ponta, para que fiquem totalmente integrados. Isso reduz significativamente as alucinações e melhora a utilidade de nossas respostas.

Com as limitações em comparação com os recursos do Google, como a Perplexity gerencia suas estratégias de rastreamento e indexação da web para se manter competitiva e garantir informações atualizadas?

Construir um índice tão extenso quanto o do Google requer tempo e recursos consideráveis. Em vez disso, estamos nos concentrando em tópicos sobre os quais nossos usuários frequentemente perguntam no Perplexity. Acontece que a maioria de nossos usuários utiliza o Perplexity como assistente de trabalho/pesquisa, e muitas consultas buscam partes da web de alta qualidade, confiáveis ​​​​e úteis. Esta é uma distribuição de lei de potência, onde você pode obter resultados significativos com uma abordagem 80/20. Com base nesses insights, conseguimos construir um índice muito mais compacto, otimizado para qualidade e veracidade. Atualmente, gastamos menos tempo perseguindo a cauda, ​​mas à medida que dimensionamos nossa infraestrutura, também perseguiremos a cauda.

Como os grandes modelos de linguagem (LLMs) melhoram as capacidades de pesquisa do Perplexity e o que os torna particularmente eficazes na análise e apresentação de informações da web?

Usamos LLMs em todos os lugares, tanto para processamento em tempo real quanto offline. Os LLMs nos permitem focar nas partes mais importantes e relevantes das páginas da web. Eles vão além de tudo antes na maximização da relação sinal-ruído, o que torna muito mais fácil resolver muitas coisas que antes não eram tratáveis ​​por uma equipe pequena. Em geral, este é talvez o aspecto mais importante dos LLMs: eles permitem que você faça coisas sofisticadas com uma equipe muito pequena.

Olhando para o futuro, quais são os principais desafios tecnológicos ou de mercado que a Perplexity antecipa?

À medida que olhamos para o futuro, os desafios tecnológicos mais importantes para nós centrar-se-ão em continuar a melhorar a utilidade e a precisão das nossas respostas. Nosso objetivo é aumentar o escopo e a complexidade dos tipos de consultas e perguntas que podemos responder de forma confiável. Junto com isso, nos preocupamos muito com a velocidade e a eficiência do serviço do nosso sistema e nos concentraremos fortemente em reduzir ao máximo os custos do serviço, sem comprometer a qualidade do nosso produto.

Na sua opinião, por que a abordagem de pesquisa da Perplexity é superior à abordagem do Google de classificar sites de acordo com backlinks e outras métricas comprovadas de classificação de mecanismos de pesquisa?

Estamos otimizando uma métrica de classificação completamente diferente dos motores de busca clássicos. Nosso objetivo de classificação foi projetado para combinar nativamente o sistema de recuperação e LLMs. Esta abordagem é bastante diferente daquela dos motores de busca clássicos, que otimizam a probabilidade de um clique ou impressão de um anúncio.

Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar Perplexidade IA.