Etan Ginsberg, Co-Fundador da Martian – Série de Entrevistas

Etan Ginsberg é o Co-Fundador da Martian, uma plataforma que roteia dinamicamente cada prompt para o melhor LLM. Através do roteamento, a Martian alcança um desempenho superior e um custo inferior ao de qualquer provedor individual, incluindo o GPT-4. O sistema é construído sobre a tecnologia de Mapeamento de Modelo única da empresa, que desempacota os LLMs de caixas pretas complexas em uma arquitetura mais interpretável, tornando-se a primeira aplicação comercial de interpretabilidade mecanicista.

Etan vem codificando, projetando sites e construindo e-negócios para clientes desde que estava na escola secundária. Um polímata, Etan é um competidor do Campeonato Mundial de Memória e ficou em 2º lugar no Campeonato Mundial de Leitura Rápida em Shenzhen, China.

Ele é um competidor de hackathons de vídeo. Prêmios anteriores incluem o 3º prêmio no Tech Crunch SZ, finalista top 7 no Hackathon de Princeton e 3 prêmios da indústria no Hackathon de Yale.

Você é um ex-fundador de duas startups, quais foram essas empresas e o que você aprendeu com essas experiências?

Minha primeira empresa foi a primeira plataforma para a promoção e avanço do esporte American Ninja Warrior. Em 2012, eu via o American Ninja Warrior como um esporte subterrâneo (semelhante ao MMA nos anos 90) e criei a primeira plataforma onde as pessoas podiam comprar blueprints, encomendar obstáculos e encontrar ginásios para treinar. Eu consultei empresas que queriam abrir seus próprios ginásios, incluindo ajudar as Forças Especiais dos EUA com um curso de treinamento e escalando uma instalação de um esboço em um guardanapo para $300k em receita nos primeiros 3 meses. Embora eu estivesse no ensino médio, eu tive minha primeira experiência gerenciando equipes de 20+ trabalhadores e aprendi sobre gestão eficaz e relações interpessoais.

Minha segunda empresa foi uma empresa de gestão de ativos alternativos que co-fundei em 2017, antes da onda de ICOs em criptomoedas. Essa foi minha primeira exposição à NLP, onde usamos análise de sentimento de dados de mídia social como estratégia de investimento.

Aprendi muitas habilidades duras e macias que entram em jogar uma startup — desde como gerenciar uma equipe até os aspectos técnicos da NLP. Ao mesmo tempo, também aprendi muito sobre mim mesmo e sobre o que eu queria trabalhar. Acredito que as empresas mais bem-sucedidas são iniciadas por fundadores que têm uma visão ou meta mais ampla impulsionando-os. Deixei o criptomoeda em 2017 para me concentrar na NLP porque aumentar e entender a inteligência humana é algo que realmente me impulsiona. Fiquei feliz em descobrir isso.

Enquanto frequentava a Universidade da Pensilvânia, você fez algumas pesquisas em IA, o que você pesquisou especificamente?

Nossa pesquisa originalmente se concentrou em construir aplicações de LLMs. Em particular, trabalhamos em aplicações educacionais de LLMs e estávamos construindo o primeiro tutor cognitivo alimentado por LLM. Os resultados foram bastante bons – vimos uma melhoria de 0,3 desvios padrão nos resultados dos alunos em experimentação inicial – e nosso sistema foi usado desde a Universidade da Pensilvânia até a Universidade do Butão.

Pode discutir como essa pesquisa o levou a co-fundar a Martian?

Porque éramos algumas das primeiras pessoas a construir aplicações em cima de LLMs, também fomos algumas das primeiras pessoas a enfrentar os problemas que as pessoas enfrentam quando constroem aplicações em cima de LLMs. Isso direcionou nossa pesquisa para a camada de infraestrutura. Por exemplo, bastante cedo, estávamos ajustando modelos menores nas saídas de modelos maiores, como o GPT-3, e ajustando modelos em fontes de dados especializadas para tarefas como resolução de problemas de programação e matemática. Isso eventualmente nos levou a problemas sobre compreender o comportamento do modelo e sobre roteamento de modelo.

A origem do nome Martian e sua relação com a inteligência também é interessante, pode compartilhar a história de como esse nome foi escolhido?

Nossa empresa foi nomeada após um grupo de cientistas húngaro-americanos conhecidos como “Os Martianos”. Esse grupo, que viveu no século 20, era composto por algumas das pessoas mais inteligentes que já viveram:

• O mais famoso entre eles foi John Von Neumann; ele inventou a teoria dos jogos, a arquitetura de computador moderna, a teoria dos autômatos e fez contribuições fundamentais em dezenas de outros campos.
• Paul Erdos foi o matemático mais prolífico de todos os tempos, tendo publicado mais de 1500 artigos.
• Theodore Von Karman estabeleceu as teorias fundamentais da aerodinâmica e ajudou a fundar o programa espacial americano. A fronteira humana definida entre a Terra e o espaço exterior é nomeada de “linha de Karman” em reconhecimento ao seu trabalho.
• Leo Szilard inventou a bomba atômica, a terapia de radiação e os aceleradores de partículas.

Esses cientistas e 14 outros como eles (incluindo o inventor da bomba de hidrogênio, o homem que introduziu a teoria de grupo na física moderna e contribuintes fundamentais para campos como combinatoria, teoria dos números, análise numérica e teoria da probabilidade) compartilhavam uma semelhança notável – todos nasceram na mesma parte de Budapeste. Isso levou as pessoas a questionar: qual é a fonte de tanta inteligência?

Em resposta, Szilard brincou que “Os marcianos já estão aqui, e eles se chamam húngaros!” Na realidade… ninguém sabe.

A humanidade se encontra em uma posição semelhante hoje com respeito a um novo conjunto de mentes potencialmente superinteligentes: Inteligência Artificial. As pessoas sabem que os modelos podem ser incrivelmente inteligentes, mas não têm ideia de como funcionam.

Nossa missão é responder a essa pergunta – entender e aproveitar a superinteligência moderna.

Você tem um histórico de feitos de memória incríveis, como você se envolveu nesses desafios de memória e como esse conhecimento o ajudou com o conceito da Martian?

Na maioria dos esportes, um atleta profissional pode realizar cerca de 2-3X melhor do que a pessoa média (compare como longe uma pessoa média pode chutar um gol ou como rápido ela pode jogar uma bola rápida em comparação com um profissional). Os esportes de memória são fascinantes porque os melhores atletas podem memorizar 100x ou até 1000x mais do que a pessoa média com menos treinamento do que a maioria dos esportes. Além disso, essas são frequentemente pessoas com memória natural média que creditam seu desempenho a técnicas específicas que qualquer um pode aprender. Quero maximizar o conhecimento da humanidade, e eu vi os campeonatos mundiais de memória como uma visão pouco apreciada sobre como podemos impulsionar retornos extraordinários ao aumentar a inteligência humana.

Eu queria implantar técnicas de memória em todo o sistema educacional, então comecei a explorar como a NLP e os LLMs poderiam ajudar a reduzir o custo de configuração que impede que os métodos educacionais mais eficazes sejam usados no sistema educacional mainstream. Yash e eu criamos o primeiro tutor cognitivo alimentado por LLM e isso nos levou a descobrir os problemas com a implantação de LLM que agora ajudamos a resolver.

Martian é basicamente abstraindo a decisão de qual Grande Modelo de Linguagem (LLM) usar, por que isso é atualmente um ponto de dor para os desenvolvedores?

Está ficando cada vez mais fácil criar modelos de linguagem – o custo de computação está diminuindo, os algoritmos estão se tornando mais eficientes e mais ferramentas de código aberto estão disponíveis para criar esses modelos. Como resultado, mais empresas e desenvolvedores estão criando modelos personalizados treinados em dados personalizados. Como esses modelos têm diferentes custos e capacidades, você pode obter um melhor desempenho usando vários modelos, mas é difícil testá-los todos e encontrar os certos para usar. Nós cuidamos disso para os desenvolvedores.

Pode discutir como o sistema entende qual LLM é melhor usado para cada tarefa específica?

Roteamento bem é fundamentalmente um problema sobre entender os modelos. Para rotear entre modelos de forma eficaz, você quer ser capaz de entender o que causa seu fracasso ou sucesso. Ser capaz de entender essas características com o mapeamento de modelo nos permite determinar quão bem qualquer modelo dado irá se sair em uma solicitação sem precisar executar esse modelo. Como resultado, podemos enviar essa solicitação para o modelo que produzirá o melhor resultado.

Pode discutir o tipo de economia de custos que pode ser visto ao otimizar qual LLM é usado?

Permitimos que os usuários especifiquem como eles equilibram custo e desempenho. Se você só se importa com o desempenho, podemos superar o GPT-4 em openai/evals. Se você está procurando por um custo específico para fazer com que sua economia de unidade funcione, permitimos que você especifique o custo máximo para sua solicitação, então encontramos o melhor modelo para concluir essa solicitação. E se você quiser algo mais dinâmico, permitimos que você especifique quanto você está disposto a pagar por uma resposta melhor – assim, se dois modelos têm um desempenho semelhante, mas uma grande diferença de custo, podemos permitir que você use os modelos menos caros. Alguns de nossos clientes viram uma redução de custo de até 12x.

Qual é sua visão para o futuro da Martian?

Cada vez que melhoramos nossa compreensão fundamental dos modelos, isso resulta em uma mudança de paradigma para a IA. Ajuste fino foi o paradigma impulsionado pela compreensão das saídas. Prompting é o paradigma impulsionado pela compreensão das entradas. Essa única diferença em nossa compreensão dos modelos é grande parte do que diferencia a ML tradicional (“vamos treinar um regressor”) e a IA geradora moderna (“vamos promptar um bebê AGI”).

Nosso objetivo é entregar consistentemente avanços na interpretabilidade até que a IA seja totalmente compreendida e tenhamos uma teoria da inteligência tão robusta quanto nossas teorias da lógica ou cálculo.

Para nós, isso significa construir. Significa criar ferramentas de IA incríveis e colocá-las nas mãos das pessoas. Significa liberar coisas que quebram o molde, que ninguém fez antes, e que – mais do que qualquer outra coisa – são interessantes e úteis.

Em palavras de Sir Francis Bacon, “Conhecimento é poder”. Consequentemente, a melhor maneira de ter certeza de que entendemos a IA é liberar ferramentas poderosas. Em nossa opinião, um roteador de modelo é uma ferramenta desse tipo. Estamos ansiosos para construí-lo, crescer e colocá-lo nas mãos das pessoas.

Essa é a primeira de muitas ferramentas que vamos liberar nos próximos meses. Para descobrir uma bela teoria de inteligência artificial, para permitir novos tipos de infraestrutura de IA, para ajudar a construir um futuro mais brilhante para homens e máquinas – não podemos esperar para compartilhar essas ferramentas com você.

Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar Martian.