Edo Liberty, Fundador e Cientista Chefe da Pinecone – Série de Entrevistas

Edo Liberty, Fundador e Cientista Chefe da Pinecone, é um especialista líder em sistemas de dados em larga escala e aprendizado de máquina. Antes de lançar a Pinecone – o banco de dados de vetores construído para desempenho e escala – ele foi Diretor de Pesquisa da AWS e Chefe dos Laboratórios de IA da Amazon (AMZN ), onde sua equipe desenvolveu tecnologias fundamentais por trás do SageMaker, OpenSearch, Kinesis e muito mais. Ele liderou anteriormente o laboratório de pesquisa da Yahoo em Nova York, avançando plataformas e aplicações de aprendizado de máquina em busca, publicidade e segurança. Seu trabalho centra-se em algoritmos e fundamentos matemáticos para lidar com conjuntos de dados maciços, abrangendo redução de dimensionalidade, agrupamento, transmissão e álgebra linear em larga escala.

Pinecone é um banco de dados de vetores totalmente gerenciado, construído para alimentar buscas escaláveis e eficientes em grandes conjuntos de dados dinâmicos. Ele suporta tanto embeddings densos quanto esparsos, indexação em tempo real e filtragem baseada em metadados, integrando-se perfeitamente com nuvens, modelos e estruturas de ponta. Com escalabilidade sem servidor, segurança de nível empresarial e padrões de conformidade como SOC 2, ISO 27001, GDPR e HIPAA, a Pinecone fornece uma base confiável para implantar aplicações de IA em larga escala.

Você fundou a Pinecone em 2019, após liderar a pesquisa nos Laboratórios de IA da Amazon e construir sistemas como o SageMaker. O que o inspirou a lançar a Pinecone e se concentrar especificamente em bancos de dados de vetores?

Na AWS, nossa equipe de ML construiu sistemas incríveis, mas quando se tratava de memória, não havia como buscar semanticamente através de vastas quantidades de dados não estruturados. Isso exigia engenheiros extremamente especializados que sabiam como construir soluções de busca de vetores complexas. Eu sabia que, se houvesse uma maneira para as pessoas acessarem facilmente a riqueza semântica que os vetores capturam e combiná-la com modelos sofisticados, então qualquer um poderia acelerar o valor da IA para si mesmo. Então, eu deixei a AWS com o objetivo de realmente transformar como tornar o mais simples possível obter o máximo de valor a partir de dados não estruturados proprietários usando o poder da IA.

A Pinecone cresceu para se tornar a empresa definidora no espaço de bancos de dados de vetores. Olhando para trás, quais foram os principais obstáculos técnicos ou de mercado que você teve que superar para estabelecer essa nova categoria?

O maior desafio? Ninguém sabia o que era um banco de dados de vetores! Tivemos que educar o mercado sobre o que estávamos construindo e por que era importante. Perguntamos a nossos clientes o que eles chamavam de si mesmos e eles nos disseram que era um banco de dados de vetores.

Uma vez que os outros começaram a entender, as pessoas perguntavam por que não podiam simplesmente usar o código aberto? E tínhamos que explicar todas as limitações do código aberto e as trocas de desempenho e escala que você obteria – e, após tudo isso, você ainda precisaria de engenheiros experientes para construir sua infraestrutura. É por isso que sempre fomos um serviço gerenciado e nos concentramos na experiência do usuário. Nosso sistema é extremamente complicado por baixo dos panos, porque você precisa dessa infraestrutura especializada para busca de similaridade em larga escala. Mas tornamos isso acessível com uma chamada de API que qualquer desenvolvedor pode usar.

Isso significou abstrair toda a complexidade dos algoritmos de vizinho mais próximo aproximado, gerenciamento de índices e sistemas distribuídos. Os desenvolvedores não querem pensar sobre parâmetros HNSW, eles apenas querem que funcione.

Você recentemente transitou do cargo de CEO para o de Cientista Chefe, trazendo Ash Ashutosh para liderar a empresa. O que motivou essa decisão, e como você vê seu papel evoluindo no próximo capítulo da Pinecone?

A Pinecone, como empresa, é uma empresa de IA e centrada em pesquisa. Chegamos aonde estamos hoje porque redefinimos a busca, os sistemas e os algoritmos. E também fomos muito ativos academicamente, publicando relatórios técnicos e artigos, dando palestras e educando o mercado, mesmo escrevendo livros e dando cursos universitários sobre IA e Memória. À medida que a empresa cresce, precisamos formalizar esses esforços em um laboratório de pesquisa separado do restante dos negócios. Pense em DeepMind e Google (GOOGL ) como um exemplo. Em frente, vou me concentrar minha energia em liderar nossa pesquisa, tornar a IA conhecida e construir o próximo conjunto de produtos contextuais da Pinecone.

Ao mesmo tempo, Ash será um CEO e líder fantástico para a Pinecone. Ele fundou e escalou várias empresas de infraestrutura e sabe como operar uma empresa como a Pinecone de forma muito eficaz. Ele é profundamente conhecedor e criativo sobre nossa tecnologia e nosso mercado. E ele é intensamente obcecado pelo cliente. Ash e eu vamos nos associar profundamente para crescer a empresa e nossos negócios.

Em seu post de blog, você escreveu sobre se concentrar em “tornar a IA conhecida”. Pode descrever o que isso significa na prática e como a tecnologia da Pinecone está posicionada de forma única para permitir isso?

IA sem memória é como uma pessoa brilhante com amnésia: muita inteligência, mas nenhum contexto. “Tornar a IA conhecida” significa dar aos sistemas de IA a capacidade de acessar, entender e raciocinar sobre vastas quantidades de informações em tempo real.

Estamos habilitando aplicações impulsionadas por IA a fornecer insights relevantes em tempo real, extraídos de dados semanticamente compreendidos e organizados, e garantindo que os sistemas de IA não estejam apenas adivinhando, mas sejam capazes de recuperar e sintetizar conhecimento sob demanda. Isso resulta em saídas mais precisas, informadas e atualizadas para os usuários finais.

Fazemos isso fornecendo todos os componentes e capacidades para recuperação de ponta a ponta de alta qualidade e precisa em um único lugar, juntamente com o desempenho líder da indústria para recuperação em larga escala.

Tendo ensinado “Memória de Longo Prazo em IA” em Princeton, como você vê a relação entre bancos de dados de vetores e o futuro dos modelos de IA? Acredita que memória e contexto são os ingredientes ausentes para os grandes modelos de hoje?

Absolutamente. LLMs são máquinas de correspondência de padrões – brilhantes, mas fundamentalmente limitadas por seu corte de dados de treinamento e janelas de contexto. O curso que eu ensinei com Matthijs Douze, da Meta, se concentrou nos algoritmos que tornam a busca de vetores possível sobre grandes quantidades de dados. O futuro não são modelos maiores, é recuperação mais inteligente sobre mais dados, em tempo real.

Muitas empresas têm dificuldade em migrar de pilotos de IA para implantações em escala de produção. Como a Pinecone ajuda a preencher essa lacuna, e quais são as melhores práticas que você observou em clientes bem-sucedidos?

A lacuna geralmente se resume a três coisas: desempenho (e custo) em escala, segurança e complexidade. Um demonstrativo que funciona com 10 milhões de documentos desmorona em 10 bilhões. Executar algo por uma hora é diferente de executá-lo 24/7 com nenhuma tolerância a tempo de inatividade. É por isso que nos concentramos tanto em nossa arquitetura sem servidor, recursos de nível empresarial e facilidade de uso.

A coisa mais importante a fazer é simplesmente começar. Nossos clientes muitas vezes se surpreendem com o quanto podem fazer sem sequer falar conosco. Projetamos isso de propósito, mas sempre estamos lá quando nossos clientes precisam de nós também.

Você passou sua carreira se movendo entre academia, pesquisa de tecnologia de ponta (Yahoo, AWS) e empreendedorismo. Como esses diferentes ambientes moldaram sua abordagem para construir a Pinecone?

A academia me ensinou a pensar a partir de princípios fundamentais. Como abstrair e projetar grandes soluções. Na Yahoo e na AWS, aprendi como construir plataformas de dados simples que os engenheiros amam construir.

O empreendedorismo é onde você aprende que a melhor tecnologia só vence se resolve problemas reais de uma maneira que as pessoas possam realmente usar.

Essa mistura é crucial para o que estamos construindo. Não estamos apenas escrevendo artigos de pesquisa ou construindo tecnologia por tecnologia. Cada inovação tem que tornar a vida dos desenvolvedores mais fácil e as aplicações das empresas mais poderosas.

A convergência de busca e IA parece ser uma das maiores mudanças na computação. Onde você acha que isso está indo nos próximos cinco anos, e como o trabalho da Pinecone ajudará a moldar esse futuro?

A busca está se tornando conversacional e contextual. Em cinco anos, você não “procurará” – você terá diálogos com sistemas de IA que entendem não apenas sua consulta, mas sua intenção, seu contexto, sua história. Cada interação será informada por vastas bases de conhecimento que são atualizadas em tempo real.

Estamos construindo a infraestrutura para isso. Nosso banco de dados de vetores é apenas o começo. Vejo um futuro onde cada aplicativo tem contexto incorporado, onde a IA não “halucina” porque está fundamentada em dados, onde a fronteira entre buscar e saber desaparece.

Como Cientista Chefe, você estará mais envolvido com dados, modelos e prototipagem. Quais áreas de pesquisa você está mais animado para mergulhar agora?

Oh, homem, por onde começar? Para o curto e médio prazo, estou me aprofundando em eficiência e facilidade de uso. Podemos tornar a busca de vetores 10 vezes mais rápida enquanto a tornamos 10 vezes mais barata? Podemos tornar nossas APIs ainda mais simples do que são hoje? Esses são problemas difíceis.

Para o longo prazo, estou obcecado com a interseção de recuperação e raciocínio. Como construir sistemas que não apenas encontrem fatos relevantes, mas entendam as relações entre eles? E então usem esse contexto para criar IA conhecida e agentes mais poderosos.

Finalmente, em um nível pessoal: recuando do papel de CEO, o que o excita mais sobre essa transição, e quais avanços você espera desbloquear na próxima etapa da Pinecone?

Estou mais feliz quando estou profundamente no código, trabalhando com nossa equipe de pesquisa, tendo aqueles momentos de “uau, isso realmente funciona!” às 2 da manhã.

Meu sonho? Tornar a recuperação tão boa que ela se torne invisível. Onde os desenvolvedores possam construir aplicações contextuais sem pensar sobre embeddings ou índices ou qualquer coisa disso e isso simplesmente funciona.

Estamos nesse momento incrível em que a IA e os dados estão convergindo. O potencial é ilimitado e eu posso passar meus dias tornando esse futuro real agora.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Pinecone.