Eric Landau, Co-Fundador & CEO da Encord – Série de Entrevistas

Eric Landau é o CEO & Co-Fundador da Encord, uma plataforma de aprendizado ativo para visão computacional. Eric foi o principal pesquisador quantitativo em uma mesa de delta-one de ações globais, colocando milhares de modelos em produção. Antes da Encord, ele passou quase uma década no comércio de alta frequência na DRW. Ele possui um S.M. em Física Aplicada da Universidade de Harvard, M.S. em Engenharia Elétrica e B.S. em Física da Universidade de Stanford.

No seu tempo livre, Eric gosta de brincar com ChatGPT e grandes modelos de linguagem e fazer coquetéis artesanais.

O que o inspirou a co-fundar a Encord, e como sua experiência em física de partículas e finanças quantitativas moldou sua abordagem para resolver o “problema de dados” na IA?

Eu comecei a pensar em aprendizado de máquina enquanto trabalhava em física de partículas e lidava com conjuntos de dados muito grandes durante meu tempo no Stanford Linear Accelerator Center (SLAC). Eu estava usando software projetado para físicos por físicos, o que significa que havia muito a ser desejado em termos de experiência de usuário agradável. Com ferramentas mais fáceis, eu teria sido capaz de executar análises muito mais rápido.

Mais tarde, trabalhando em finanças quantitativas na DRW, eu era responsável por criar milhares de modelos que foram implantados em produção. Semelhante à minha experiência em física, eu descobri que dados de alta qualidade eram críticos para fazer modelos precisos e que gerenciar dados complexos e em grande escala é difícil. Ulrik teve uma experiência semelhante visualizando grandes conjuntos de dados de imagens para visão computacional.

Quando eu ouvi sobre a ideia inicial de Ulrik para a Encord, eu estava imediatamente a bordo e entendi a importância. Juntos, Ulrik e eu vimos uma grande oportunidade de construir uma plataforma para automatizar e simplificar o processo de desenvolvimento de dados de IA, tornando mais fácil para as equipes obter os melhores dados para os modelos e construir sistemas de IA confiáveis.

Pode elaborar sobre a visão por trás da Encord e como ela se compara aos primeiros dias da computação ou da internet em termos de potencial e desafios?

A visão da Encord é ser a plataforma fundamental que as empresas confiam para transformar seus dados em modelos de IA funcionais. Nós somos a camada entre os dados de uma empresa e sua IA.

De muitas maneiras, a IA espelha mudanças de paradigma anteriores, como a computação pessoal e a Internet, na medida em que se tornará integral para os fluxos de trabalho de cada indivíduo, empresa, nação e indústria. Ao contrário de revoluções tecnológicas anteriores, que foram em grande parte limitadas pela Lei de Moore de crescimento computacional composto de 30x a cada 10 anos, o desenvolvimento de IA se beneficiou de inovações simultâneas. Está se movendo a um ritmo muito mais rápido. Nas palavras de Jensen Huang, da NVIDIA: “Pela primeira vez, estamos vendo expoentes compostos… Estamos compounding a um milhão de vezes a cada dez anos. Não cem vezes, não mil vezes, um milhão de vezes.” Sem exagero, estamos testemunhando a tecnologia em movimento mais rápido da história humana.

O potencial aqui é vasto: ao automatizar e dimensionar a gestão de dados de alta qualidade para IA, estamos abordando um gargalo que impede a adoção mais ampla de IA. Os desafios são semelhantes aos obstáculos iniciais em eras tecnológicas anteriores: silos, falta de melhores práticas, limitações para usuários não técnicos e escassez de abstrações bem definidas.

A Encord Index é posicionada como uma ferramenta fundamental para gerenciar e curar dados de IA. Como ela se diferencia de outras plataformas de gerenciamento de dados atualmente disponíveis?

Há algumas maneiras pelas quais a Encord Index se destaca:

Index é escalável: Permite que os usuários gerenciem bilhões, não milhões, de pontos de dados. Outras ferramentas enfrentam problemas de escalabilidade para dados não estruturados e são limitadas na consolidação de todos os dados relevantes em uma organização.

Index é flexível: Integra-se diretamente com provedores de armazenamento de dados privados e de nuvem, como AWS, GCP e Azure. Ao contrário de outras ferramentas que são limitadas a um único provedor de nuvem ou sistema de armazenamento interno, o Index é agnóstico sobre onde os dados estão localizados. Ele permite gerenciar dados de muitas fontes com controles de governança e acesso apropriados que permitem desenvolver aplicações de IA seguras e conformes.

Index é multimodal: Suporta IA multimodal, gerenciando dados na forma de imagens, vídeos, áudio, texto, documentos e mais. O Index não é limitado a uma única forma de dados, como muitas ferramentas de LLM hoje. A cognição humana é multimodal e acreditamos que a IA multimodal estará no coração dos próximos avanços de IA, que substituirão chatbots e LLMs.

De que maneiras a Encord Index melhora o processo de seleção dos dados certos para os modelos de IA e qual é o impacto disso no desempenho do modelo?

A Encord Index melhora a seleção de dados, automatizando a curação de grandes conjuntos de dados, ajudando as equipes a identificar e reter apenas os dados mais relevantes, enquanto remove dados não informativos ou tendenciosos. Esse processo não apenas reduz o tamanho dos conjuntos de dados, mas também melhora significativamente a qualidade dos dados usados para treinar modelos de IA. Nossos clientes viram uma melhoria de até 20% em seus modelos, enquanto alcançavam uma redução de 35% no tamanho do conjunto de dados e economizando centenas de milhares de dólares em custos de computação e anotação humana.

Com a integração rápida de tecnologias de ponta, como o Modelo de Segmentação de Anything da Meta, como a Encord permanece à frente no cenário de IA em rápida evolução?

Nós construímos intencionalmente a plataforma para ser capaz de se adaptar rapidamente a novas tecnologias. Nós nos concentramos em fornecer uma abordagem de software escalável que incorpora facilmente avanços como o SAM, garantindo que nossos usuários estejam sempre equipados com as ferramentas mais recentes para permanecer competitivos.

Planejamos permanecer à frente, nos concentrando em IA multimodal. A plataforma Encord já pode gerenciar tipos de dados complexos, como imagens, vídeos e texto, então, à medida que mais avanços em IA multimodal surgirem, estamos prontos.

Quais são os principais desafios que as empresas enfrentam ao gerenciar dados de IA e como a Encord ajuda a resolver esses desafios?

Há três principais desafios que as empresas enfrentam:

• Organização e controles de dados ruins: À medida que as empresas se preparam para implementar soluções de IA, elas são frequentemente confrontadas com a realidade de dados siloizados e desorganizados que não estão prontos para IA. Esses dados frequentemente carecem de governança forte ao seu redor, limitando muito deles para serem usados em sistemas de IA.
• Falta de especialistas humanos: À medida que os modelos de IA abordam problemas cada vez mais complexos, logo haverá uma escassez de especialistas em domínio humano para preparar e validar dados. À medida que as demandas de IA de uma empresa aumentam, escalar essa força de trabalho humana é desafiador e caro.
• Ferramentas não escaláveis: Modelos de IA de desempenho são muito famintos em termos de dados necessários para fine-tuning, validação, RAG e outros fluxos de trabalho. A geração anterior de ferramentas não está equipada para gerenciar a quantidade de dados e os tipos de dados necessários para modelos de produção atuais.

A Encord resolve esses problemas, automatizando o processo de curação de dados em escala, tornando fácil identificar dados impactantes de dados problemáticos e garantindo a criação de conjuntos de dados de treinamento e validação eficazes. Ela usa uma abordagem de software que é fácil de escalar para cima ou para baixo, à medida que as necessidades de gerenciamento de dados mudam. Nossas ferramentas de anotação assistida por IA permitem que especialistas em domínio humano maximizem a eficiência do fluxo de trabalho. Esse processo é particularmente crucial em setores como serviços financeiros e saúde, onde os treinadores de IA são caros. Nós tornamos fácil gerenciar e entender todos os dados não estruturados de uma organização, reduzindo a necessidade de trabalho manual.

Como a Encord aborda a questão do viés de dados e áreas sub-representadas dentro dos conjuntos de dados para garantir modelos de IA justos e equilibrados?

Abordar o viés de dados é um foco crítico para nós na Encord. Nossa plataforma identifica automaticamente e traz à tona áreas onde os dados podem estar viesados, permitindo que as equipes de IA abordem esses problemas antes que afetem o desempenho do modelo. Nós também garantimos que as áreas sub-representadas dentro dos conjuntos de dados sejam incluídas, o que ajuda a desenvolver modelos de IA mais justos e equilibrados. Ao usar nossas ferramentas de curação, as equipes podem ter certeza de que seus modelos são treinados em dados diversificados e representativos.

A Encord recentemente garantiram $30 milhões em financiamento da Série B. Como esse financiamento acelerará o cronograma de produtos e planos de expansão?

Os $30 milhões em financiamento da Série B serão usados para aumentar drasticamente o tamanho de nossas equipes de produto, engenharia e pesquisa de IA nos próximos seis meses e acelerar o desenvolvimento da Encord Index e de outros recursos novos. Nós também estamos expandindo nossa presença em San Francisco com um novo escritório, e esse financiamento nos ajudará a escalar nossas operações para apoiar nossa base de clientes em crescimento.

Como a empresa de IA mais jovem do Y Combinator a levantar uma Série B, o que você atribui ao rápido crescimento e sucesso da Encord?

Uma das razões pelas quais conseguimos crescer rapidamente é que adotamos um foco extremamente centrado no cliente em todas as áreas da empresa. Nós estamos constantemente nos comunicando com os clientes, ouvindo atentamente seus problemas e “abraçando” para chegar a soluções. Ao nos concentrarmos hiper-focados nas necessidades dos clientes, em vez do hype, criamos uma plataforma que ressoa com as principais equipes de IA em vários setores. Nossos clientes foram instrumentais em nos levar aonde estamos hoje. Nossa capacidade de escalar rapidamente e gerenciar a complexidade dos dados de IA tornou-nos uma solução atraente para as empresas.

Também devemos muito do nosso sucesso a nossos colegas de equipe, parceiros e investidores, que trabalharam incansavelmente para defender a Encord. Trabalhar com equipes de produto, engenharia e marketing de classe mundial foi enormemente impactante em nosso crescimento.

Dada a importância crescente dos dados na IA, como você vê o papel das plataformas de dados de IA, como a Encord, evoluindo nos próximos cinco anos?

À medida que as aplicações de IA crescem em complexidade, a necessidade de soluções de gerenciamento de dados eficientes e escaláveis aumentará. Acredito que todas as empresas terão eventualmente um departamento de IA, assim como os departamentos de TI existem hoje. A Encord será a única plataforma de que precisarão para gerenciar a vasta quantidade de dados necessários para IA e colocar modelos em produção rapidamente.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Encord.