Eric Landau, Co-Fundador e CEO da Encord – Série de Entrevistas

Eric Landau é o CEO e Co-Fundador da Encord, uma plataforma de aprendizado ativo para visão computacional. Eric foi o principal pesquisador quantitativo em uma mesa de delta-one de ações globais, colocando milhares de modelos em produção. Antes da Encord, ele passou quase uma década no comércio de alta frequência na DRW. Ele tem um S.M. em Física Aplicada pela Universidade de Harvard, M.S. em Engenharia Elétrica e B.S. em Física pela Universidade de Stanford.

No seu tempo livre, Eric gosta de brincar com ChatGPT e grandes modelos de linguagem e fazer coquetéis artesanais.

O que o inspirou a co-fundar a Encord, e como sua experiência em física de partículas e finanças quantitativas moldou sua abordagem para resolver o “problema de dados” em IA?

Eu comecei a pensar em aprendizado de máquina enquanto trabalhava em física de partículas e lidava com conjuntos de dados muito grandes durante meu tempo no Stanford Linear Accelerator Center (SLAC). Eu estava usando software projetado para físicos por físicos, o que significa que havia muito a ser desejado em termos de experiência de usuário agradável. Com ferramentas mais fáceis, eu teria sido capaz de executar análises muito mais rápido.

Depois, trabalhando em finanças quantitativas na DRW, eu era responsável por criar milhares de modelos que foram implantados em produção. Semelhante à minha experiência em física, eu descobri que dados de alta qualidade eram críticos para fazer modelos precisos e que gerenciar dados complexos e em grande escala é difícil. Ulrik teve uma experiência semelhante visualizando grandes conjuntos de dados de imagens para visão computacional.

Quando eu ouvi sobre a ideia inicial de Ulrik para a Encord, eu estava imediatamente a bordo e entendi a importância. Juntos, Ulrik e eu vimos uma grande oportunidade de construir uma plataforma para automatizar e simplificar o processo de desenvolvimento de dados de IA, tornando mais fácil para as equipes obter os melhores dados para os modelos e construir sistemas de IA confiáveis.

Pode elaborar sobre a visão por trás da Encord e como ela se compara aos primeiros dias da computação ou da internet em termos de potencial e desafios?

A visão da Encord é ser a plataforma fundamental que as empresas confiam para transformar seus dados em modelos de IA funcionais. Nós somos a camada entre os dados de uma empresa e sua IA.

De muitas maneiras, a IA espelha mudanças de paradigma anteriores, como a computação pessoal e a Internet, na medida em que se tornará integral para os fluxos de trabalho de cada indivíduo, empresa, nação e indústria. Ao contrário das revoluções tecnológicas anteriores, que foram largamente limitadas pela Lei de Moore de crescimento computacional composto de 30x a cada 10 anos, o desenvolvimento de IA se beneficiou de inovações simultâneas. Está se movendo a um ritmo muito mais rápido. Nas palavras de Jensen Huang, da NVIDIA (NVDA ): “Pela primeira vez, estamos vendo expoentes compostos… Estamos composto a um milhão de vezes a cada dez anos. Não cem vezes, não mil vezes, um milhão de vezes.” Sem exagero, estamos testemunhando a tecnologia que mais se move rapidamente na história humana.

O potencial aqui é vasto: ao automatizar e dimensionar a gestão de dados de alta qualidade para IA, estamos abordando um gargalo que impede a adoção mais ampla de IA. Os desafios são semelhantes aos obstáculos iniciais em eras tecnológicas anteriores: silos, falta de práticas recomendadas, limitações para usuários não técnicos e escassez de abstrações bem definidas.

Encord Index é posicionado como uma ferramenta fundamental para gerenciar e curar dados de IA. Como ele se diferencia de outras plataformas de gerenciamento de dados atualmente disponíveis?

Há algumas maneiras pelas quais o Encord Index se destaca:

Index é escalável: Permite que os usuários gerenciem bilhões, não milhões, de pontos de dados. Outras ferramentas enfrentam problemas de escalabilidade para dados não estruturados e são limitadas na consolidação de todos os dados relevantes em uma organização.

Index é flexível: Integra-se diretamente com armazenamento de dados privado e provedores de armazenamento em nuvem, como AWS, GCP e Azure. Ao contrário de outras ferramentas que são limitadas a um único provedor de nuvem ou sistema de armazenamento interno, o Index é agnóstico sobre onde os dados estão localizados. Ele permite gerenciar dados de muitas fontes com controles de governança e acesso apropriados que permitem desenvolver aplicativos de IA seguros e conformes.

Index é multimodal: Suporta IA multimodal, gerenciando dados na forma de imagens, vídeos, áudio, texto, documentos e mais. O Index não é limitado a uma única forma de dados, como muitas ferramentas de LLM hoje. A cognição humana é multimodal e acreditamos que a IA multimodal estará no coração da próxima onda de avanços de IA, que suplantará chatbots e LLMs.

De que maneiras o Encord Index melhora o processo de seleção dos dados certos para modelos de IA, e qual é o impacto disso na performance do modelo?

O Encord Index melhora a seleção de dados, automatizando a curação de grandes conjuntos de dados, ajudando as equipes a identificar e reter apenas os dados mais relevantes, enquanto remove dados não informativos ou tendenciosos. Esse processo não apenas reduz o tamanho dos conjuntos de dados, mas também melhora significativamente a qualidade dos dados usados para treinar modelos de IA. Nossos clientes viram uma melhoria de até 20% em seus modelos, enquanto alcançavam uma redução de 35% no tamanho do conjunto de dados e economizavam centenas de milhares de dólares em custos de computação e anotação humana.

Com a integração rápida de tecnologias de ponta, como o Modelo de Segmentação de Meta, como a Encord permanece à frente no cenário de IA em rápida evolução?

Nós construímos intencionalmente a plataforma para poder adaptar-se rapidamente a novas tecnologias. Nós nos concentramos em fornecer uma abordagem de software escalável que incorpora facilmente avanços como o SAM, garantindo que nossos usuários estejam sempre equipados com as ferramentas mais recentes para permanecer competitivos.

Nós planejamos permanecer à frente, nos concentrando em IA multimodal. A plataforma Encord já pode gerenciar tipos de dados complexos, como imagens, vídeos e texto, então, à medida que mais avanços em IA multimodal surgem, estamos prontos.

Quais são os principais desafios que as empresas enfrentam ao gerenciar dados de IA, e como a Encord ajuda a resolver esses desafios?

Há 3 principais desafios que as empresas enfrentam:

• Organização e controles de dados pobres: À medida que as empresas se preparam para implementar soluções de IA, elas frequentemente enfrentam a realidade de dados siloizados e desorganizados que não estão prontos para IA. Esses dados frequentemente carecem de governança forte ao seu redor, limitando muito deles para serem usados em sistemas de IA.
• Falta de especialistas humanos: À medida que os modelos de IA abordam problemas cada vez mais complexos, logo haverá uma escassez de especialistas humanos para preparar e validar dados. À medida que as demandas de IA de uma empresa aumentam, escalar essa força de trabalho humana é desafiador e caro.
• Ferramentas não escaláveis: Modelos de IA performáticos são muito vorazes em termos de dados necessários para fine-tuning, validação, RAG e outros fluxos de trabalho. A geração anterior de ferramentas não está equipada para gerenciar a quantidade de dados e os tipos de dados necessários para modelos de produção atuais.

A Encord resolve esses problemas, automatizando o processo de curar dados em escala, tornando fácil identificar dados impactantes de dados problemáticos e garantindo a criação de conjuntos de dados de treinamento e validação eficazes. Ela usa uma abordagem de software que é fácil de escalar para cima ou para baixo, à medida que as necessidades de gerenciamento de dados mudam. Nossas ferramentas de anotação assistidas por IA permitem que especialistas humanos no loop maximizem a eficiência do fluxo de trabalho. Esse processo é particularmente crucial em setores como serviços financeiros e saúde, onde os treinadores de IA são caros. Nós tornamos fácil gerenciar e entender todos os dados não estruturados de uma organização, reduzindo a necessidade de trabalho manual.

Como a Encord aborda a questão do viés de dados e áreas sub-representadas dentro de conjuntos de dados para garantir modelos de IA justos e equilibrados?

Abordar o viés de dados é um foco crítico para nós na Encord. Nossa plataforma identifica automaticamente e traz à tona áreas onde os dados podem estar tendenciosos, permitindo que as equipes de IA abordem essas questões antes que elas afetem o desempenho do modelo. Nós também garantimos que as áreas sub-representadas dentro dos conjuntos de dados sejam incluídas adequadamente, o que ajuda a desenvolver modelos de IA mais justos e equilibrados. Usando nossas ferramentas de cura, as equipes podem ter certeza de que seus modelos são treinados em dados diversificados e representativos.

A Encord recentemente garantiu $30 milhões em financiamento da Série B. Como esse financiamento acelerará o roadmap do produto e os planos de expansão?

O financiamento de $30 milhões da Série B será usado para aumentar drasticamente o tamanho de nossas equipes de produto, engenharia e pesquisa de IA nos próximos seis meses e acelerar o desenvolvimento do Encord Index e de novos recursos. Nós também estamos expandindo nossa presença em São Francisco com um novo escritório, e esse financiamento nos ajudará a escalar nossas operações para apoiar nossa base de clientes em crescimento.

Como a empresa de IA mais jovem do Y Combinator a levantar uma Série B, o que você atribui ao rápido crescimento e sucesso da Encord?

Uma das razões pelas quais conseguimos crescer rapidamente é que adotamos um foco extremamente centrado no cliente em todas as áreas da empresa. Nós estamos constantemente nos comunicando com os clientes, ouvindo atentamente seus problemas e “abraçando” eles para chegar a soluções. Ao nos concentrar intensamente nas necessidades dos clientes, em vez do hype, criamos uma plataforma que ressoa com as principais equipes de IA em várias indústrias. Nossos clientes foram instrumentais em nos levar aonde estamos hoje. Nossa capacidade de escalar rapidamente e gerenciar a complexidade dos dados de IA nos tornou uma solução atraente para as empresas.

Nós também devemos muito do nosso sucesso aos nossos colegas de trabalho, parceiros e investidores, que trabalharam incansavelmente para defender a Encord. Trabalhar com equipes de produto, engenharia e marketing de classe mundial foi enormemente impactante em nosso crescimento.

Dada a importância crescente dos dados em IA, como você vê o papel de plataformas de dados de IA, como a Encord, evoluindo nos próximos cinco anos?

À medida que as aplicações de IA crescem em complexidade, a necessidade de soluções de gerenciamento de dados eficientes e escaláveis aumentará. Acredito que todas as empresas eventualmente terão um departamento de IA, assim como os departamentos de TI existem hoje. A Encord será a única plataforma de que elas precisarão para gerenciar as vastas quantidades de dados necessários para IA e colocar modelos em produção rapidamente.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Encord.