Etan Ginsberg, Co-Fundador de Martian – Serie de Entrevistas

Etan Ginsberg es el Co-Fundador de Martian, una plataforma que enruta dinámicamente cada solicitud a la mejor LLM. A través de la enrutación, Martian logra un rendimiento más alto y un costo más bajo que cualquier proveedor individual, incluido GPT-4. El sistema está construido sobre la tecnología de mapeo de modelos única de la empresa, que desempaca LLM de cajas negras complejas en una arquitectura más interpretable, lo que lo convierte en la primera aplicación comercial de interpretabilidad mecanicista.

Etan ha estado codificando, diseñando sitios web y construyendo negocios electrónicos para clientes desde que estaba en la escuela secundaria. Un polímata, Etan es un competidor en el Campeonato Mundial de Memoria y se ubicó en el segundo lugar en el Campeonato Mundial de Lectura Rápida en Shenzhen, China.

Es un competidor en hackatones de video. Premios anteriores incluyen el tercer premio en Tech Crunch SZ, finalista entre los 7 primeros en el Hackatón de Princeton y 3 premios de la industria en el Hackatón de Yale.

Usted es un ex fundador de dos startups, ¿cuáles fueron estas empresas y qué aprendió de esta experiencia?

Mi primera empresa fue la primera plataforma para la promoción y avance del deporte de American Ninja Warrior. En 2012, consideré que American Ninja Warrior era un deporte subterráneo (similar al MMA en la década de 1990) y creé la primera plataforma donde las personas podían comprar planos, pedir obstáculos y encontrar gimnasios para entrenar. Asesoré a empresas que buscaban abrir sus propios gimnasios, incluyendo ayudar a las Fuerzas Especiales de los EE. UU. con un curso de entrenamiento y escalar una instalación desde un boceto en una servilleta hasta $300,000 en ingresos en los primeros 3 meses. Aunque estaba en la escuela secundaria, tuve mi primera experiencia en la gestión de equipos de más de 20 trabajadores y aprendí sobre la gestión efectiva y las relaciones interpersonales.

Mi segunda empresa fue una empresa de gestión de activos alternativos que co-fundé en 2017, antes de la ola de ICO en criptomonedas. Esta fue mi primera exposición a NLP, donde usamos el análisis de sentimiento de los datos de las redes sociales como estrategia de inversión.

Aprendí muchas de las habilidades duras y blandas que conlleva ejecutar una startup, desde cómo gestionar un equipo hasta los aspectos técnicos de NLP. Al mismo tiempo, también aprendí mucho sobre mí mismo y sobre lo que quería trabajar. Creo que las empresas más exitosas son fundadas por fundadores que tienen una visión o objetivo más amplio que los impulsa. Me alegra haber descubierto eso.

Mientras asistía a la Universidad de Pensilvania, realizó algunas investigaciones sobre inteligencia artificial, ¿en qué se centró específicamente?

Nuestra investigación se centró originalmente en construir aplicaciones de LLM. En particular, trabajamos en aplicaciones educativas de LLM y estábamos construyendo el primer tutor cognitivo impulsado por LLM. Los resultados fueron bastante buenos: vimos una mejora de 0,3 desviaciones estándar en los resultados de los estudiantes en la experimentación inicial, y nuestro sistema ha sido utilizado desde la Universidad de Pensilvania hasta la Universidad de Bután.

¿Puede discutir cómo esta investigación lo llevó a co-fundar Martian?

Como éramos algunas de las primeras personas en construir aplicaciones sobre LLM, también fuimos algunas de las primeras personas en enfrentar los problemas que la gente enfrenta cuando construye aplicaciones sobre LLM. Eso guió nuestra investigación hacia la capa de infraestructura. Por ejemplo, bastante temprano, estábamos afinando modelos más pequeños en las salidas de modelos más grandes como GPT-3, y afinando modelos en fuentes de datos especializadas para tareas como la resolución de problemas de programación y matemáticas. Eso eventualmente nos llevó a problemas sobre la comprensión del comportamiento del modelo y la enrutación del modelo.

El origen del nombre de Martian y su relación con la inteligencia también es interesante, ¿puede compartir la historia de cómo se eligió este nombre?

Nuestra empresa se llamó así por un grupo de científicos húngaro-estadounidenses conocidos como “Los Martianos“. Este grupo, que vivió en el siglo XX, estaba compuesto por algunas de las personas más inteligentes que han existido:

• El más famoso entre ellos fue John Von Neumann; inventó la teoría de juegos, la arquitectura de la computadora moderna, la teoría de los autómatas y hizo contribuciones fundamentales en docenas de otros campos.
• Paul Erdos fue el matemático más prolífico de todos los tiempos, habiendo publicado más de 1500 artículos.
• Theodore Von Karman estableció las teorías fundamentales de la aerodinámica y ayudó a fundar el programa espacial estadounidense. El límite entre la Tierra y el espacio exterior se llama “Línea de Karman” en reconocimiento a su trabajo.
• Leo Szilard inventó la bomba atómica, la terapia de radiación y los aceleradores de partículas.

Estos científicos y 14 más como ellos (incluyendo al inventor de la bomba de hidrógeno, el hombre que introdujo la teoría de grupos en la física moderna y contribuyentes fundamentales a campos como la combinatoria, la teoría de números, el análisis numérico y la teoría de la probabilidad) compartían una similitud notable: todos nacieron en la misma parte de Budapest. Eso llevó a la gente a preguntarse: ¿cuál fue la fuente de tanta inteligencia?

En respuesta, Szilard bromeó: “Los marcianos ya están aquí, y se llaman a sí mismos húngaros”. En realidad… nadie lo sabe.

La humanidad se encuentra en una posición similar hoy en día con respecto a un nuevo conjunto de mentes potencialmente superinteligentes: la Inteligencia Artificial. La gente sabe que los modelos pueden ser increíblemente inteligentes, pero no tienen idea de cómo funcionan.

Nuestra misión es responder a esa pregunta: comprender y aprovechar la superinteligencia moderna.

Tiene un historial de logros de memoria increíbles, ¿cómo se sumergió en estos desafíos de memoria y cómo ayudó este conocimiento a conceptuar Martian?

En la mayoría de los deportes, un atleta profesional puede realizar un rendimiento 2-3 veces mejor que el de una persona promedio (comparar cuánto puede patear un gol de campo una persona promedio o cuánto puede lanzar una pelota rápida en comparación con un profesional). Los deportes de memoria son fascinantes porque los mejores atletas pueden memorizar 100 veces o incluso 1000 veces más que una persona promedio con menos entrenamiento que la mayoría de los deportes. Además, estas son a menudo personas con una memoria natural promedio que atribuyen su rendimiento a técnicas específicas que cualquiera puede aprender. Quiero maximizar el conocimiento de la humanidad, y vi los campeonatos mundiales de memoria como una visión poco apreciada de cómo podemos impulsar rendimientos extraordinarios al aumentar la inteligencia humana.

Quería implementar técnicas de memoria en todo el sistema educativo, así que comencé a explorar cómo NLP y LLM podrían ayudar a reducir el costo de configuración que impide que los métodos educativos más efectivos se utilicen en el sistema educativo principal. Yash y yo creamos el primer tutor cognitivo impulsado por LLM y eso nos llevó a descubrir los problemas con la implementación de LLM que ahora ayudamos a resolver.

Martian es esencialmente abstractar la decisión de qué modelo de lenguaje grande (LLM) utilizar, ¿por qué es este un punto doloroso actualmente para los desarrolladores?

Está volviéndose cada vez más fácil crear modelos de lenguaje: el costo de cómputo está disminuyendo, los algoritmos están volviéndose más eficientes y hay más herramientas de código abierto disponibles para crear estos modelos. Como resultado, más empresas y desarrolladores están creando modelos personalizados entrenados con datos personalizados. A medida que estos modelos tienen diferentes costos y capacidades, puede obtener un mejor rendimiento al utilizar varios modelos, pero es difícil probarlos todos y encontrar los correctos para utilizar. Nosotros nos encargamos de eso para los desarrolladores.

¿Puede discutir cómo el sistema entiende qué LLM es el mejor para cada tarea específica?

Enrutar bien es fundamentalmente un problema sobre la comprensión de los modelos. Para enrutar entre modelos de manera efectiva, desea poder comprender qué causa que fallen o tengan éxito. Ser capaz de comprender estas características con el mapeo de modelos nos permite determinar cómo se desempeñará cualquier modelo dado en una solicitud sin tener que ejecutar ese modelo. Como resultado, podemos enviar esa solicitud al modelo que producirá el mejor resultado.

¿Puede discutir el tipo de ahorro de costos que se puede ver al optimizar qué LLM se utiliza?

Permitimos a los usuarios especificar cómo equilibran el costo y el rendimiento. Si solo se preocupa por el rendimiento, podemos superar a GPT-4 en openai/evals. Si busca un costo específico para hacer que su economía de unidad funcione, podemos permitirle especificar el costo máximo para su solicitud, luego encontrar el mejor modelo para completar esa solicitud. Y si desea algo más dinámico, podemos permitirle especificar cuánto está dispuesto a pagar por una mejor respuesta: de esa manera, si dos modelos tienen un rendimiento similar pero una gran diferencia en costo, podemos permitirle utilizar los modelos menos costosos. Algunos de nuestros clientes han visto una disminución de hasta 12 veces en el costo.

¿Cuál es su visión para el futuro de Martian?

Cada vez que mejoramos nuestra comprensión fundamental de los modelos, se produce un cambio de paradigma para la IA. El ajuste fino fue el paradigma impulsado por la comprensión de las salidas. La activación es el paradigma impulsado por la comprensión de las entradas. Esa sola diferencia en nuestra comprensión de los modelos es gran parte de lo que distingue la IA generativa moderna de la IA tradicional.

Nuestro objetivo es entregar avances consistentes en la interpretación hasta que la IA esté completamente entendida y tengamos una teoría de la inteligencia tan robusta como nuestras teorías de la lógica o el cálculo.

Para nosotros, esto significa construir. Significa crear herramientas de IA increíbles y ponerlas en manos de la gente. Significa lanzar cosas que rompen el molde, que nadie ha hecho antes, y que, más que nada, son interesantes y útiles.

En palabras de Sir Francis Bacon, “El conocimiento es poder”. En consecuencia, la mejor manera de asegurarse de que entendamos la IA es lanzar herramientas poderosas. En nuestra opinión, un enrutador de modelos es una herramienta de ese tipo. Estamos emocionados de construirlo, hacerlo crecer y ponerlo en manos de la gente.

Esta es la primera de muchas herramientas que lanzaremos en los próximos meses. Para descubrir una hermosa teoría de la inteligencia artificial, para permitir nuevos tipos de infraestructura de IA, para ayudar a construir un futuro más brillante para el hombre y la máquina: no podemos esperar para compartir esas herramientas con usted.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Martian.