Этан Гинзберг, сооснователь Martian – Интервью

Этан Гинзберг – сооснователь Martian, платформы, которая динамически маршрутизирует каждое запрос к лучшей модели LLM. Благодаря маршрутизации Martian достигает более высокой производительности и более низкой стоимости, чем любой отдельный поставщик, включая GPT-4. Система построена на уникальной технологии Model Mapping, которая распаковывает модели LLM из сложных черных ящиков в более интерпретируемую архитектуру, что делает ее первой коммерческой реализацией механистической интерпретируемости.

Этан занимался программированием, дизайном веб-сайтов и созданием электронных бизнесов для клиентов с тех пор, как был в средней школе. Полимат Этан – участник чемпионата мира по памяти и занял 2-е место на чемпионате мира по скоростному чтению в Шэньжене, Китай.

Он является участником хакатона. В прошлом он получил 3-ю премию на Tech Crunch SZ, был финалистом на Princeton Hackathon и получил 3 отраслевых награды на Yale Hackathon.

Вы ранее были сооснователем двух стартапов, какие были эти компании и что вы узнали из этого опыта?

Моя первая компания была первой платформой для продвижения и развития спорта American Ninja Warrior. В 2012 году я рассматривал American Ninja Warrior как подпольный спорт (аналогично MMA в 90-х годах) и создал первую платформу, где люди могли покупать чертежи, заказывать препятствия и находить спортзалы для тренировок. Я консультировал компании, которые хотели открыть свои собственные спортзалы, включая помощь американским спецслужбам в создании тренировочного курса и масштабировании объекта с эскиза до 300 000 долларов дохода в первые 3 месяца. Хотя я был в средней школе, у меня был первый опыт управления командами из 20+ работников и я узнал об эффективном управлении и межличностных отношениях.

Моя вторая компания была альтернативной компанией по управлению активами, которую я соосновал в 2017 году до волны ICO в криптовалютах. Это был мой первый опыт с NLP, где мы использовали анализ настроений социальных сетей в качестве инвестиционной стратегии.

Я узнал многое из жестких и мягких навыков, которые входят в управление стартапом – от того, как управлять командой, до технических аспектов NLP. В то же время я также узнал многое о себе и о том, над чем я хотел работать. Я считаю, что наиболее успешные компании создаются основателями, которые имеют более широкую цель или цель, которая их движет. Я покинул криптовалюту в 2017 году, чтобы сосредоточиться на NLP, поскольку дополнение и понимание человеческого интеллекта – это то, что действительно меня мотивирует. Я был рад, что открыл это для себя.

Во время посещения Университета Пенсильвании вы проводили некоторые исследования по ИИ, что именно вы исследовали?

Наше исследование изначально было сосредоточено на создании приложений LLM. В частности, мы работали над образовательными приложениями LLM и строили первый когнитивный тренер, работающий на LLM. Результаты были довольно хорошими – мы увидели улучшение результатов студентов на 0,3 стандартного отклонения в первых экспериментах – и наша система была использована от Университета Пенсильвании до Университета Бхутана.

Можете ли вы обсудить, как это исследование привело вас к сооснованию Martian?

Поскольку мы были одними из первых людей, которые строили приложения на основе LLM, мы также были одними из первых людей, которые столкнулись с проблемами, с которыми сталкиваются люди при построении приложений на основе LLM. Это направило наше исследование в сторону инфраструктурного слоя. Например, довольно рано мы стали дообучать более мелкие модели на выходах более крупных моделей, таких как GPT-3, и дообучали модели на специализированных источниках данных для задач, таких как программирование и решение математических задач. Это в конечном итоге привело нас к проблемам понимания поведения модели и маршрутизации модели.

Происхождение названия Martian и его связь с интеллектом также интересно, можете ли вы поделиться историей того, как это название было выбрано?

Наша компания была названа в честь группы венгерско-американских ученых, известных как “Марсиане“. Эта группа, которая жила в 20-м веке, состояла из некоторых из самых умных людей, когда-либо живших:

• Самым известным среди них был Джон фон Нейман; он изобрел теорию игр, современную компьютерную архитектуру, теорию автоматов и внес фундаментальный вклад в десятки других областей.
• Пал Эрдеш был самым плодовитым математиком всех времен, опубликовавшим более 1500 статей.
• Теодор фон Карман установил фундаментальные теории аэродинамики и помог основать американскую космическую программу. Человечески определенная граница между Землей и внешним космосом называется “линия Кармана” в честь его работы.
• Лео Силард изобрел атомную бомбу, радиационную терапию и ускорители частиц.

Эти ученые и еще 14 других, подобных им (включая изобретателя водородной бомбы, человека, который ввел групповую теорию в современную физику, и фундаментальных вкладчиков в области, такие как комбинаторика, теория чисел, численный анализ и теория вероятностей), имели замечательное сходство – все они родились в одной и той же части Будапешта. Это привело людей к вопросу: какой был источник столького интеллекта?

В ответ Силард пошутил, что “Марсиане уже здесь, и они называют себя венграми!” На самом деле… никто не знает.

Человечество находится в подобной позиции сегодня по отношению к новому набору потенциально сверхинтеллектуальных умов: Искусственный интеллект. Люди знают, что модели могут быть невероятно умными, но не имеют представления о том, как они работают.

Наша миссия – ответить на этот вопрос – понять и использовать современный суперинтеллект.

У вас есть история невероятных подвигов памяти, как вы стали участвовать в этих вызовах памяти и как это знание помогло вам с концепцией Martian?

В большинстве видов спорта профессиональный спортсмен может выступать примерно в 2-3 раза лучше, чем средний человек (сравните, насколько далеко средний человек может пнуть мяч или насколько быстро он может бросить быстрый мяч по сравнению с профессионалом). Спортивные соревнования по памяти fasciniruyuschie, потому что лучшие спортсмены могут запомнить 100 раз или даже 1000 раз больше, чем средний человек, с меньшей тренировкой, чем большинство видов спорта. Кроме того, это часто люди со средней природной памятью, которые приписывают свою производительность конкретным техникам, которые может выучить любой. Я хочу максимизировать человеческие знания, и я увидел чемпионат мира по памяти как недооцененный взгляд на то, как мы можем получить необычные доходы, увеличивая человеческий интеллект.

Я хотел развернуть техники памяти во всей системе образования, поэтому я начал исследовать, как NLP и LLM могут помочь в снижении стоимости установки, которая предотвращает использование наиболее эффективных образовательных методов в системе образования. Яш и я создали первый когнитивный тренер, работающий на LLM, и это привело нас к проблемам, связанным с развертыванием LLM, которые мы сейчас помогаем решать.

Martian по сути абстрагирует решение о том, какую большую языковую модель (LLM) использовать, почему это сейчас такая больная точка для разработчиков?

Становится все легче и легче создавать языковые модели – стоимость вычислений снижается, алгоритмы становятся более эффективными, и больше открытых инструментов доступно для создания этих моделей. В результате больше компаний и разработчиков создают пользовательские модели, обученные на пользовательских данных. Поскольку эти модели имеют разные затраты и возможности, вы можете получить лучшую производительность, используя несколько моделей, но трудно протестировать их все и найти правильные модели для использования. Мы занимаемся этим для разработчиков.

Можете ли вы обсудить, как система понимает, какая LLM лучше всего подходит для каждой конкретной задачи?

Хорошая маршрутизация в конечном итоге является проблемой понимания моделей. Чтобы эффективно маршрутизировать между моделями, вы хотите иметь возможность понять, что вызывает их неудачу или успех. Благодаря возможности понимания этих характеристик с помощью Model Mapping мы можем определить, насколько хорошо любая данная модель будет работать на запросе без необходимости запуска этой модели. В результате мы можем отправить этот запрос в модель, которая даст лучший результат.

Можете ли вы обсудить тип экономии затрат, который можно увидеть при оптимизации использования LLM?

Мы позволяем пользователям указывать, как они торгуют между стоимостью и производительностью. Если вы заботитесь только о производительности, мы можем превзойти GPT-4 на openai/evals. Если вы ищете конкретную стоимость, чтобы сделать вашу экономику единиц работ, мы позволяем вам указать максимальную стоимость для вашего запроса, затем найти лучшую модель для выполнения этого запроса. И если вы хотите что-то более динамичное, мы позволяем вам указать, сколько вы готовы заплатить за лучший ответ – таким образом, если две модели имеют схожую производительность, но большую разницу в стоимости, мы можем позволить вам использовать менее дорогие модели. Некоторые из наших клиентов увидели снижение затрат до 12 раз.

Каково ваше видение будущего Martian?

Каждый раз, когда мы улучшаем наше фундаментальное понимание моделей, это приводит к парадигмальному сдвигу для ИИ. Дообучение было парадигмой, обусловленной пониманием выходов. Промптинг – это парадигма, обусловленная пониманием входных данных. Та разница в нашем понимании моделей является большей частью того, что отличает традиционный ML (“давайте обучим регрессор”) и современный генеративный ИИ (“давайте промптим baby AGI”).

Наша цель – постоянно доставлять прорывы в интерпретируемости, пока ИИ не будет полностью понят и мы не получим теории интеллекта, столь же прочную, как наши теории логики или исчисления.

Для нас это означает построение. Это означает создание отличных инструментов ИИ и предоставление их людям. Это означает выпуск вещей, которые ломают форму, которые никто не делал раньше, и которые – больше, чем все остальное – интересны и полезны.

В словах сэра Фрэнсиса Бэкона, “Знание – это сила”. Следовательно, лучший способ убедиться, что мы понимаем ИИ, – это выпустить мощные инструменты. На наш взгляд, маршрутизатор модели – это инструмент такого рода. Мы рады строить его, расширять его и предоставлять его людям.

Это первое из многих инструментов, которые мы выпустим в ближайшие месяцы. Чтобы открыть красивую теорию искусственного интеллекта, чтобы включить совершенно новые типы инфраструктуры ИИ, чтобы помочь построить более светлое будущее как для человека, так и для машины – мы не можем дождаться, чтобы поделиться этими инструментами с вами.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Martian.