Etan Ginsberg, Co-Fundador da Martian – Série de Entrevistas

Etan Ginsberg é o Co-Fundador da Martian, uma plataforma que roteia dinamicamente cada prompt para o melhor LLM. Através do roteamento, a Martian alcança um desempenho superior e um custo mais baixo do que qualquer provedor individual, incluindo o GPT-4. O sistema é construído sobre a tecnologia de Mapeamento de Modelos da empresa, que desempacota os LLMs de caixas pretas complexas em uma arquitetura mais interpretável, tornando-se a primeira aplicação comercial de interpretabilidade mecanicista.

Etan vem codificando, projetando sites e construindo negócios eletrônicos para clientes desde que estava na escola média. Um polímata, Etan é um competidor do Campeonato Mundial de Memória e ficou em 2º lugar no Campeonato Mundial de Leitura Rápida em Shenzhen, China.

Ele é um competidor de hackathons de vídeo. Prêmios anteriores incluem 3º prêmio no Tech Crunch SZ, finalista top 7 no Hackathon de Princeton e 3 prêmios da indústria no Hackathon de Yale.

Você é um ex-fundador de duas startups, quais foram essas empresas e o que você aprendeu com essa experiência?

Minha primeira empresa foi a primeira plataforma para a promoção e avanço do esporte American Ninja Warrior. Em 2012, eu via o American Ninja Warrior como um esporte underground (semelhante ao MMA nos anos 90) e criei a primeira plataforma onde as pessoas podiam comprar blueprints, pedir obstáculos e encontrar ginásios para treinar. Eu consultei para empresas que queriam iniciar seus próprios ginásios, incluindo ajudar as Forças Especiais dos EUA com um curso de treinamento e escalando uma instalação de esboço de guardanapo para $300k em receita nos primeiros 3 meses. Embora eu estivesse no ensino médio, eu tive minha primeira experiência gerenciando equipes de 20+ trabalhadores e aprendi sobre gerenciamento eficaz e relações interpessoais.

Minha segunda empresa foi uma empresa de gestão de ativos alternativos que co-fundei em 2017, antes da onda de ICO no criptomoeda. Essa foi minha primeira exposição à NLP, onde usamos análise de sentimento de dados de mídia social como uma estratégia de investimento.

Aprendi muitas habilidades duras e macias que vão para executar uma startup – desde como gerenciar uma equipe até os aspectos técnicos da NLP. Ao mesmo tempo, também aprendi muito sobre mim mesmo e sobre o que eu queria trabalhar. Acredito que as empresas mais bem-sucedidas são iniciadas por fundadores que têm uma visão ou meta mais ampla que os impulsiona. Deixei o criptomoeda em 2017 para me concentrar na NLP porque aumentar e entender a inteligência humana é algo que realmente me impulsiona. Fiquei feliz em descobrir isso.

Enquanto frequentava a Universidade da Pensilvânia, você fez algumas pesquisas de IA, o que você pesquisou especificamente?

Nossa pesquisa originalmente se concentrou em construir aplicações de LLMs. Em particular, trabalhamos em aplicações educacionais de LLMs e estávamos construindo o primeiro tutor cognitivo alimentado por LLM. Os resultados foram bastante bons – vimos uma melhoria de 0,3 desvios padrão nos resultados dos alunos na experimentação inicial – e nosso sistema foi usado desde a Universidade da Pensilvânia até a Universidade de Butão.

Você pode discutir como essa pesquisa o levou a co-fundar a Martian?

Porque éramos algumas das primeiras pessoas a construir aplicações em cima de LLMs, também éramos algumas das primeiras pessoas a enfrentar os problemas que as pessoas enfrentam quando constroem aplicações em cima de LLMs. Isso direcionou nossa pesquisa para a camada de infraestrutura. Por exemplo, bastante cedo, estávamos aprimorando modelos menores nas saídas de modelos maiores, como o GPT-3, e aprimorando modelos em fontes de dados especializadas para tarefas como resolução de problemas de programação e matemática. Isso eventualmente nos levou a problemas sobre o comportamento do modelo e o roteamento do modelo.

A origem do nome Martian e sua relação com a inteligência é interessante, você pode compartilhar a história de como esse nome foi escolhido?

Nossa empresa foi nomeada após um grupo de cientistas húngaro-americanos conhecidos como “The Martians”. Esse grupo, que viveu no século 20, era composto por algumas das pessoas mais inteligentes que já viveram:

• O mais famoso entre eles foi John Von Neumann; ele inventou a teoria dos jogos, a arquitetura do computador moderno, a teoria dos autômatos e fez contribuições fundamentais em dezenas de outros campos.
• Paul Erdos foi o matemático mais prolífico de todos os tempos, tendo publicado mais de 1500 artigos.
• Theodore Von Karman estabeleceu as teorias fundamentais da aerodinâmica e ajudou a fundar o programa espacial americano. A fronteira humana definida entre a Terra e o espaço exterior é nomeada “linha de Karman” em reconhecimento ao seu trabalho.
• Leo Szilard inventou a bomba atômica, a terapia de radiação e os aceleradores de partículas.

Esses cientistas e 14 outros como eles (incluindo o inventor da bomba de hidrogênio, o homem que introduziu a teoria dos grupos na física moderna e contribuintes fundamentais para campos como combinação, teoria dos números, análise numérica e teoria da probabilidade) compartilhavam uma semelhança notável – todos nasceram na mesma parte de Budapeste. Isso levou as pessoas a questionar: qual é a fonte de tanta inteligência?

Em resposta, Szilard brincou que, “Os marcianos já estão aqui, e eles se chamam húngaros!” Na realidade… ninguém sabe.

A humanidade se encontra em uma posição semelhante hoje com respeito a uma nova série de mentes potencialmente superinteligentes: Inteligência Artificial. As pessoas sabem que os modelos podem ser incrivelmente inteligentes, mas não têm ideia de como funcionam.

Nossa missão é responder a essa pergunta – entender e aproveitar a superinteligência moderna.

Você tem um histórico de feitos de memória incríveis, como você se envolveu nesses desafios de memória e como esse conhecimento o ajudou com o conceito de Martian?

Na maioria dos esportes, um atleta profissional pode performar cerca de 2-3 vezes melhor do que a pessoa média (compare quanto uma pessoa média pode chutar um gol de campo ou quanto uma pessoa média pode jogar uma bola rápida em comparação com um profissional). Os esportes de memória são fascinantes porque os melhores atletas podem memorizar 100 vezes ou até 1000 vezes mais do que a pessoa média com menos treinamento do que a maioria dos esportes. Além disso, essas são frequentemente pessoas com memória natural média que creditam seu desempenho a técnicas específicas que qualquer um pode aprender. Quero maximizar o conhecimento humano, e eu vi os campeonatos de memória do mundo como uma visão pouco apreciada sobre como podemos obter retornos extraordinários ao aumentar a inteligência humana.

Eu queria implantar técnicas de memória em todo o sistema educacional, então comecei a explorar como a NLP e os LLMs podiam ajudar a reduzir o custo de configuração que impede a maioria dos métodos educacionais mais eficazes de serem usados no sistema educacional mainstream. Yash e eu criamos o primeiro tutor cognitivo alimentado por LLM e isso nos levou a descobrir os problemas com a implantação de LLM que agora ajudamos a resolver.

A Martian é basicamente abstraindo a decisão de qual LLM usar, por que isso é atualmente um ponto de dor para os desenvolvedores?

Está se tornando cada vez mais fácil criar modelos de linguagem – o custo de computação está diminuindo, os algoritmos estão se tornando mais eficientes e mais ferramentas de código aberto estão disponíveis para criar esses modelos. Como resultado, mais empresas e desenvolvedores estão criando modelos personalizados treinados em dados personalizados. Como esses modelos têm diferentes custos e capacidades, você pode obter um melhor desempenho usando vários modelos, mas é difícil testá-los todos e encontrar os certos para usar. Nós cuidamos disso para os desenvolvedores.

Você pode discutir como o sistema entende qual LLM é melhor usado para cada tarefa específica?

Roteamento bem é fundamentalmente um problema sobre entender modelos. Para rotear entre modelos de forma eficaz, você quer ser capaz de entender o que faz com que eles falhem ou tenham sucesso. Ser capaz de entender essas características com o mapeamento de modelos nos permite determinar quão bem um modelo dado irá se sair em uma solicitação sem ter que executar esse modelo. Como resultado, podemos enviar essa solicitação para o modelo que produzirá o melhor resultado.

Você pode discutir o tipo de economia de custos que pode ser visto ao otimizar qual LLM é usado?

Nós permitimos que os usuários especifiquem como eles equilibram custo e desempenho. Se você só se importa com o desempenho, podemos superar o GPT-4 no openai/evals. Se você está procurando por um custo específico para fazer com que sua economia de unidade funcione, podemos deixar que você especifique o custo máximo para sua solicitação, então encontramos o melhor modelo para concluir essa solicitação. E se você quiser algo mais dinâmico, podemos deixar que você especifique quanto você está disposto a pagar por uma resposta melhor – assim, se dois modelos têm um desempenho semelhante, mas uma grande diferença de custo, podemos deixar que você use os modelos menos caros. Alguns de nossos clientes viram uma redução de custos de até 12x.

Qual é sua visão para o futuro da Martian?

Cada vez que melhoramos nossa compreensão fundamental dos modelos, isso resulta em uma mudança de paradigma para a IA. Ajuste fino foi o paradigma impulsionado pela compreensão das saídas. Prompting é o paradigma impulsionado pela compreensão das entradas. Essa única diferença em nossa compreensão dos modelos é grande parte do que diferencia a ML tradicional (“vamos treinar um regressor”) e a IA generativa moderna (“vamos promptar um AGI bebê”).

Nosso objetivo é entregar consistentemente avanços na interpretabilidade até que a IA seja totalmente compreendida e tenhamos uma teoria de inteligência tão robusta quanto nossas teorias de lógica ou cálculo.

Isso significa construir. Significa criar ferramentas de IA incríveis e colocá-las nas mãos das pessoas. Significa lançar coisas que quebram o molde, que ninguém fez antes, e que – mais do que qualquer outra coisa – são interessantes e úteis.

Em palavras de Sir Francis Bacon, “Conhecimento é poder”. Portanto, a melhor maneira de ter certeza de que entendemos a IA é lançar ferramentas poderosas. Em nossa opinião, um roteador de modelo é uma ferramenta desse tipo. Estamos ansiosos para construí-lo, crescer e colocá-lo nas mãos das pessoas.

Isso é o primeiro de muitas ferramentas que vamos lançar nos próximos meses. Para descobrir uma bela teoria de inteligência artificial, para permitir que novos tipos de infraestrutura de IA sejam construídos, para ajudar a construir um futuro mais brilhante para homens e máquinas – não podemos esperar para compartilhar essas ferramentas com você.

Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar Martian.