Etan Ginsberg, Co-Fundador de Martian – Serie de Entrevistas

Etan Ginsberg es el Co-Fundador de Martian, una plataforma que enruta dinámicamente cada solicitud a la mejor LLM. A través de la enrutación, Martian logra un rendimiento más alto y un costo más bajo que cualquier proveedor individual, incluido GPT-4. El sistema está construido sobre la tecnología de mapeo de modelos única de la empresa, que desempaca las LLM de cajas negras complejas en una arquitectura más interpretable, lo que lo convierte en la primera aplicación comercial de interpretabilidad mecanística.

Etan ha estado codificando, diseñando sitios web y construyendo empresas de comercio electrónico para clientes desde que estaba en la escuela secundaria. Un polímata, Etan es un competidor en el Campeonato Mundial de Memoria y ocupó el segundo lugar en el Campeonato Mundial de Lectura Rápida en Shenzhen, China.

Es un competidor de hackatones de video. Premios anteriores incluyen el tercer premio en Tech Crunch SZ, finalista entre los 7 mejores en el Hackatón de Princeton y 3 premios de la industria en el Hackatón de Yale.

Usted es un ex fundador de dos startups, ¿cuáles fueron estas empresas y qué aprendió de esta experiencia?

Mi primera empresa fue la primera plataforma para la promoción y avance del deporte de American Ninja Warrior. En 2012, vi a American Ninja Warrior como un deporte subterráneo (similar al MMA en los 90) y creé la primera plataforma donde las personas podían comprar planos, pedir obstáculos y encontrar gimnasios para entrenar. Asesoré a empresas que buscaban iniciar sus propios gimnasios, incluyendo ayudar a las Fuerzas Especiales de los EE. UU. con un curso de entrenamiento y escalar una instalación desde un boceto en una servilleta hasta $300,000 en ingresos en los primeros 3 meses. Aunque estaba en la escuela secundaria, tuve mi primera experiencia en la gestión de equipos de 20+ trabajadores y aprendí sobre la gestión efectiva y las relaciones interpersonales.

Mi segunda empresa fue una empresa de gestión de activos alternativos que co-fundé en 2017, antes de la ola de ICO en criptomonedas. Esta fue mi primera exposición a NLP, donde usamos análisis de sentimiento de datos de redes sociales como estrategia de inversión.

Aprendí muchas de las habilidades duras y blandas que conlleva ejecutar una startup, desde cómo gestionar un equipo hasta los aspectos técnicos de NLP. Al mismo tiempo, también aprendí mucho sobre mí mismo y sobre lo que quería trabajar. Creo que las empresas más exitosas son iniciadas por fundadores que tienen una visión o meta más amplia que los impulsa. Me alejé de las criptomonedas en 2017 para centrarme en NLP porque aumentar y comprender la inteligencia humana es algo que realmente me impulsa. Me alegró descubrirlo.

Mientras asistía a la Universidad de Pensilvania, realizó algunas investigaciones de IA, ¿en qué se centró específicamente?

Nuestra investigación se centró originalmente en construir aplicaciones de LLM. En particular, trabajamos en aplicaciones educativas de LLM y estábamos construyendo el primer tutor cognitivo impulsado por LLM. Los resultados fueron bastante buenos, vimos una mejora de 0,3 desviaciones estándar en los resultados de los estudiantes en la experimentación inicial, y nuestro sistema ha sido utilizado desde la Universidad de Pensilvania hasta la Universidad de Bután.

¿Puede discutir cómo esta investigación lo llevó a co-fundar Martian?

Porque éramos algunas de las primeras personas en construir aplicaciones sobre LLM, también éramos algunas de las primeras personas en enfrentar los problemas que la gente enfrenta cuando construye aplicaciones sobre LLM. Eso guió nuestra investigación hacia la capa de infraestructura. Por ejemplo, bastante temprano, estábamos afinando modelos más pequeños en las salidas de modelos más grandes como GPT-3, y afinando modelos en fuentes de datos especializadas para tareas como la programación y la resolución de problemas matemáticos. Eso finalmente nos llevó a problemas sobre el comportamiento del modelo y la enrutación del modelo.

El origen del nombre de Martian y su relación con la inteligencia es interesante, ¿puede compartir la historia de cómo se eligió este nombre?

Nuestra empresa se llamó así por un grupo de científicos húngaro-estadounidenses conocidos como “Los Marcianos“. Este grupo, que vivió en el siglo XX, estaba compuesto por algunas de las personas más inteligentes que hayan existido:

• El más famoso entre ellos fue John Von Neumann; inventó la teoría de juegos, la arquitectura de la computadora moderna, la teoría de autómatas y hizo contribuciones fundamentales en docenas de otros campos.
• Paul Erdos fue el matemático más prolífico de todos los tiempos, habiendo publicado más de 1500 artículos.
• Theodore Von Karman estableció las teorías fundamentales de la aerodinámica y ayudó a fundar el programa espacial estadounidense. El límite definido por humanos entre la Tierra y el espacio exterior se llama “línea de Kármán” en reconocimiento a su trabajo.
• Leo Szilard inventó la bomba atómica, la terapia de radiación y los aceleradores de partículas.

Estos científicos y 14 más como ellos (incluyendo al inventor de la bomba de hidrógeno, el hombre que introdujo la teoría de grupos en la física moderna y contribuyentes fundamentales a campos como la combinatoria, la teoría de números, el análisis numérico y la teoría de la probabilidad) compartían una similitud notable, todos nacieron en la misma parte de Budapest. Eso llevó a la gente a preguntarse: ¿cuál fue la fuente de tanta inteligencia?

En respuesta, Szilard bromeó: “Los marcianos ya están aquí, y se llaman a sí mismos húngaros”. En realidad… nadie lo sabe.

La humanidad se encuentra en una posición similar hoy en día con respecto a un nuevo conjunto de mentes potencialmente superinteligentes: la Inteligencia Artificial. La gente sabe que los modelos pueden ser increíblemente inteligentes, pero no tienen idea de cómo funcionan.

Nuestra misión es responder a esa pregunta, comprender y aprovechar la superinteligencia moderna.

Tiene un historial de increíbles hazañas de memoria, ¿cómo se sumergió en estos desafíos de memoria y cómo este conocimiento lo ayudó con el concepto de Martian?

En la mayoría de los deportes, un atleta profesional puede realizar alrededor de 2-3 veces mejor que la persona promedio (compare cómo de lejos puede patear un gol de campo una persona promedio o cómo de rápido lanza una pelota rápida en comparación con un profesional). Los deportes de memoria son fascinantes porque los mejores atletas pueden memorizar 100 veces o incluso 1000 veces más que la persona promedio con menos entrenamiento que la mayoría de los deportes. Además, estos son a menudo personas con una memoria natural promedio que atribuyen su rendimiento a técnicas específicas que cualquier persona puede aprender. Quiero maximizar el conocimiento de la humanidad, y vi los campeonatos de memoria del mundo como una visión poco apreciada de cómo podemos impulsar rendimientos extraordinarios al aumentar la inteligencia humana.

Quería implementar técnicas de memoria en todo el sistema educativo, así que comencé a explorar cómo NLP y LLM podrían ayudar a reducir el costo de configuración que impide que los métodos educativos más efectivos se utilicen en el sistema educativo principal. Yash y yo creamos el primer tutor cognitivo impulsado por LLM y eso nos llevó a descubrir los problemas con la implementación de LLM que ahora ayudamos a resolver hoy en día.

Martian es esencialmente abstractar la decisión de qué LLM usar, ¿por qué esto es actualmente un dolor de cabeza para los desarrolladores?

Está volviéndose cada vez más fácil crear modelos de lenguaje, el costo de cómputo está disminuyendo, los algoritmos están volviéndose más eficientes y más herramientas de código abierto están disponibles para crear estos modelos. Como resultado, más empresas y desarrolladores están creando modelos personalizados entrenados con datos personalizados. Como estos modelos tienen diferentes costos y capacidades, puedes obtener un mejor rendimiento utilizando varios modelos, pero es difícil probarlos todos y encontrar los correctos para usar. Nosotros nos encargamos de eso por los desarrolladores.

¿Puede discutir cómo el sistema entiende qué LLM es mejor para cada tarea específica?

Enrutar bien es fundamentalmente un problema sobre comprender los modelos. Para enrutar entre modelos de manera efectiva, quieres poder comprender qué hace que fallen o tengan éxito. Poder comprender estas características con el mapeo de modelos nos permite determinar cómo se desempeñará cualquier modelo dado en una solicitud sin tener que ejecutar ese modelo. Como resultado, podemos enviar esa solicitud al modelo que producirá el mejor resultado.

¿Puede discutir el tipo de ahorro de costos que se puede ver al optimizar qué LLM se utiliza?

Permitimos a los usuarios especificar cómo equilibran el costo y el rendimiento. Si solo te importa el rendimiento, podemos superar a GPT-4 en openai/evals. Si estás buscando un costo específico para que tus economías unitarias funcionen, te permitimos especificar el costo máximo para tu solicitud, luego encontramos el mejor modelo para completar esa solicitud. Y si deseas algo más dinámico, te permitimos especificar cuánto estás dispuesto a pagar por una mejor respuesta, de esa manera, si dos modelos tienen un rendimiento similar pero una gran diferencia en costo, podemos permitirte usar los modelos menos costosos. Algunos de nuestros clientes han visto una disminución de hasta 12 veces en el costo.

¿Cuál es su visión para el futuro de Martian?

Cada vez que mejoramos nuestra comprensión fundamental de los modelos, se produce un cambio de paradigma para la IA. El ajuste fino fue el paradigma impulsado por la comprensión de las salidas. La activación es el paradigma impulsado por la comprensión de las entradas. Esa sola diferencia en nuestra comprensión de los modelos es mucha de lo que diferencia el ML tradicional (“vamos a entrenar un regresor”) y el AI generativo moderno (“vamos a activar un AGI bebé”).

Nuestro objetivo es entregar consistentemente avances en interpretabilidad hasta que la IA sea completamente comprendida y tengamos una teoría de la inteligencia tan robusta como nuestras teorías de la lógica o el cálculo.

Para nosotros, esto significa construir. Significa crear herramientas de IA increíbles y ponerlas en manos de la gente. Significa lanzar cosas que rompen el molde, que nadie ha hecho antes, y que, más que nada, son interesantes y útiles.

En palabras de Sir Francis Bacon, “El conocimiento es poder”. En consecuencia, la mejor manera de asegurarnos de que comprendamos la IA es lanzar herramientas poderosas. En nuestra opinión, un enrutador de modelos es una herramienta de ese tipo. Estamos emocionados de construirlo, hacerlo crecer y ponerlo en manos de la gente.

Esto es el primero de muchos herramientas que lanzaremos en los próximos meses. Para descubrir una hermosa teoría de la inteligencia artificial, para permitir infraestructuras de IA completamente nuevas, para ayudar a construir un futuro más brillante para el hombre y la máquina, no podemos esperar para compartir esas herramientas con ustedes.

Gracias por la gran entrevista, los lectores que deseen aprender más deben visitar Martian.