Etan Ginsberg, сооснователь Martian – Серия интервью

Etan Ginsberg является сооснователем Martian, платформы, которая динамически маршрутизирует каждое запрос к лучшей LLM. Благодаря маршрутизации Martian достигает более высокой производительности и более низкой стоимости, чем любой отдельный поставщик, включая GPT-4. Система построена на уникальной технологии Model Mapping компании, которая распаковывает LLM из сложных черных коробок в более интерпретируемую архитектуру, что делает ее первым коммерческим применением механистической интерпретируемости.

Etan занимался кодированием, проектированием сайтов и созданием электронных бизнесов для клиентов с середины школы. Полимат Etan является участником чемпионата мира по памяти и занял 2-е место на чемпионате мира по скоростному чтению в Шэньжене, Китай.

Он является участником хакатона. В прошлом он получил 3-ю премию на Tech Crunch SZ, стал финалистом хакатона в Принстоне и получил 3 отраслевых награды на хакатоне в Йельском университете.

Вы ранее были двукратным основателем стартапа, какие были эти компании и что вы узнали из этого опыта?

Моя первая компания была первой платформой для продвижения и развития спорта American Ninja Warrior. В 2012 году я рассматривал American Ninja Warrior как подпольный спорт (аналогично MMA в 90-х годах) и создал первую платформу, где люди могли покупать чертежи, заказывать препятствия и находить спортзалы для тренировок. Я консультировал компании, которые хотели открыть свои собственные спортзалы, включая помощь спецназу США в создании тренировочной базы и масштабировании объекта с эскиза до 300 тысяч долларов дохода в первые 3 месяца. Хотя я был в средней школе, у меня был первый опыт управления командами из 20+ работников и я узнал об эффективном управлении и межличностных отношениях.

Моя вторая компания была альтернативной компанией по управлению активами, которую я основал в 2017 году до волны ICO в криптовалютах. Это был мой первый опыт работы с NLP, где мы использовали анализ настроений социальных сетей в качестве инвестиционной стратегии.

Я узнал многое из жестких и мягких навыков, которые входят в управление стартапом – от того, как управлять командой, до технических аспектов NLP. В то же время я также узнал многое о себе и о том, над чем я хочу работать. Я считаю, что наиболее успешные компании создаются основателями, которые имеют более широкую цель или цель, которая их движет. Я покинул криптовалюту в 2017 году, чтобы сосредоточиться на NLP, поскольку усиление и понимание человеческого интеллекта – это то, что действительно меня движет. Я был рад это открыть.

Во время посещения Университета Пенсильвании вы проводили некоторые исследования в области ИИ, что именно вы исследовали?

Наши исследования изначально были сосредоточены на создании приложений LLM. В частности, мы работали над образовательными приложениями LLM и создавали первый LLM-ориентированный когнитивный тренер. Результаты были довольно хорошими – мы увидели улучшение результатов студентов на 0,3 стандартного отклонения в первоначальных экспериментах – и наша система была использована от Университета Пенсильвании до Университета Бутана.

Можете ли вы обсудить, как это исследование затем привело вас к сооснованию Martian?

Поскольку мы были одними из первых людей, которые строили приложения на основе LLM, мы также были одними из первых людей, кто столкнулся с проблемами, с которыми сталкиваются люди при построении приложений на основе LLM. Это направило наши исследования в сторону инфраструктурного уровня. Например, довольно рано мы стали дообучать более мелкие модели на выходах более крупных моделей, таких как GPT-3, и дообучать модели на специализированных источниках данных для задач, таких как программирование и решение математических задач. Это в конечном итоге привело нас к проблемам понимания поведения моделей и маршрутизации моделей.

История происхождения названия Martian и его связи с интеллектом также интересна, можете ли вы рассказать историю о том, как это название было выбрано?

Наша компания была названа в честь группы венгерско-американских ученых, известных как “Martians“. Эта группа, которая жила в 20-м веке, состояла из некоторых из самых умных людей, когда-либо живших:

• Самым известным среди них был Джон фон Нейман; он изобрел теорию игр, современную компьютерную архитектуру, теорию автоматов и внес фундаментальный вклад в десятки других областей.
• Поль Эрдеш был самым плодовитым математиком всех времен, опубликовавшим более 1500 работ.
• Теодор фон Карман установил фундаментальные теории аэродинамики и помог основать американскую космическую программу. Человечески определенная граница между Землей и внешним космосом называется “линия Кармана” в знак признания его работы.
• Лео Сцилард изобрел атомную бомбу, радиационную терапию и ускорители частиц.

Эти ученые и 14 других, подобных им (включая изобретателя водородной бомбы, человека, который ввел групповую теорию в современную физику, и фундаментальных вкладчиков в области, такие как комбинаторика, теория чисел, численный анализ и теория вероятностей), имели замечательное сходство – все они родились в одной и той же части Будапешта. Это привело людей к вопросу: какой был источник столького интеллекта?

В ответ Сцилард пошутил, что “марсиане уже здесь, и они называют себя венграми!” На самом деле… никто не знает.

Человечество находится в подобной позиции сегодня с отношением к новому набору потенциально сверхинтеллектуальных умов: Искусственный Интеллект. Люди знают, что модели могут быть невероятно умными, но не имеют представления о том, как они работают.

Наша миссия – ответить на этот вопрос – понять и использовать современный суперинтеллект.

У вас есть история невероятных памятных подвигов, как вы стали вовлечены в эти памятные вызовы и как это знание помогло вам с концепцией Martian?

В большинстве видов спорта профессиональный спортсмен может выступать примерно в 2-3 раза лучше, чем средний человек (сравните, как далеко средний человек может пнуть мяч или как быстро он может бросить мяч, по сравнению с профессионалом). Спортивные памятные вызовы fasciniruyuschie, потому что лучшие спортсмены могут запомнить 100 раз или даже 1000 раз больше, чем средний человек, с меньшей тренировкой, чем большинство видов спорта. Кроме того, это часто люди со средней природной памятью, которые приписывают свою производительность конкретным методам, которые может выучить любой. Я хочу максимизировать человеческие знания, и я увидел чемпионат мира по памяти как недооцененный взгляд на то, как мы можем обеспечить необычайные доходы, увеличивая человеческий интеллект.

Я хотел развернуть методы памяти во всей образовательной системе, поэтому я начал исследовать, как NLP и LLM могут помочь в снижении затрат на настройку, которые предотвращают использование наиболее эффективных образовательных методов в системе массового образования. Яш и я создали первый LLM-ориентированный когнитивный тренер, и это привело нас к обнаружению проблем с развертыванием LLM, которые мы сейчас помогаем решать.

Martian по сути абстрагирует решение о том, какой Большой Языковой Модель (LLM) использовать, почему это сейчас такая больная точка для разработчиков?

Становится все легче и легче создавать языковые модели – стоимость вычислений снижается, алгоритмы становятся более эффективными, и больше открытых инструментов доступно для создания этих моделей. В результате все больше компаний и разработчиков создают пользовательские модели, обученные на пользовательских данных. Поскольку эти модели имеют разные затраты и возможности, вы можете получить лучшую производительность, используя несколько моделей, но трудно протестировать их все и найти правильные модели для использования. Мы занимаемся этим за разработчиков.

Можете ли вы обсудить, как система понимает, какая LLM лучше всего подходит для каждой конкретной задачи?

Хорошая маршрутизация в конечном итоге является проблемой понимания моделей. Чтобы эффективно маршрутизировать между моделями, вы хотите иметь возможность понять, что вызывает их неудачу или успех. Понимание этих характеристик с помощью моделирования позволяет нам определить, насколько хорошо любая данная модель будет работать на запросе, не запуская эту модель. В результате мы можем отправить этот запрос в модель, которая даст лучший результат.

Можете ли вы обсудить тип экономии затрат, который можно увидеть от оптимизации LLM, используемой?

Мы позволяем пользователям указывать, как они балансируют между затратами и производительностью. Если вы заботитесь только о производительности, мы можем превзойти GPT-4 на openai/evals. Если вы ищете конкретную стоимость, чтобы сделать вашу экономику единиц работ, мы позволяем вам указать максимальную стоимость для вашего запроса, затем найти лучшую модель для выполнения этого запроса. И если вы хотите что-то более динамичное, мы позволяем вам указать, сколько вы готовы заплатить за лучший ответ – таким образом, если две модели имеют схожую производительность, но большую разницу в стоимости, мы можем позволить вам использовать менее дорогие модели. Некоторые из наших клиентов увидели снижение затрат до 12 раз.

Каково ваше видение будущего Martian?

Каждый раз, когда мы улучшаем наше фундаментальное понимание моделей, это приводит к парадигмальному сдвигу для ИИ. Дообучение было парадигмой, обусловленной пониманием выходов. Промптинг – это парадигма, обусловленная пониманием входов. Эта одна разница в нашем понимании моделей – это большая часть того, что отличает традиционный ML (“давайте обучим регрессор”) и современный генеративный ИИ (“давайте промптим детский ИИ”).

Наша цель – постоянно обеспечивать прорывы в интерпретируемости, пока ИИ полностью не будет понят и мы не получим теории интеллекта, столь же прочной, как наши теории логики или исчисления.

Для нас это означает построение. Это означает создание потрясающих инструментов ИИ и размещение их в руках людей. Это означает выпуск вещей, которые ломают форму, которые никто не делал раньше, и которые – больше, чем все остальное – интересны и полезны.

В словах сэра Фрэнсиса Бэкона, “Знание – это сила”. Следовательно, лучший способ убедиться, что мы понимаем ИИ, – это выпустить мощные инструменты. По нашему мнению, маршрутизатор моделей – это инструмент такого рода. Мы рады построить его, вырастить его и поместить его в руки людей.

Это первое из многих инструментов, которые мы выпустим в ближайшие месяцы. Чтобы открыть красивую теорию искусственного интеллекта, чтобы позволить полностью новым типам инфраструктуры ИИ, чтобы помочь построить более светлое будущее как для человека, так и для машины – мы не можем дождаться, чтобы поделиться этими инструментами с вами.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Martian.