Етан Гінзберг, співзасновник компанії Martian – Серія інтерв’ю

Етан Гінзберг є співзасновником компанії Martian, платформи, яка динамічно маршрутизує кожне запит до найкращого LLM. За допомогою маршрутизації компанія Martian досягає вищої продуктивності та нижчих витрат, ніж будь-який окремий постачальник, включаючи GPT-4. Система побудована на унікальній технології Model Mapping компанії, яка розпаковує LLM з комплексних чорних скриньок у більш інтерпретований архітектурний дизайн, роблячи її першою комерційною реалізацією механістичної інтерпретації.

Етан займається програмуванням, дизайном веб-сайтів та побудовою електронного бізнесу для клієнтів з середньої школи. Полімат Етан є учасником чемпіонату світу з пам’яті та зайняв друге місце на чемпіонаті світу зі швидкого читання в Шеньчжені, Китай.

Він є учасником хакатону. Серед попередніх нагород – третє місце на Tech Crunch SZ, фіналіст у числі семи на хакатоні Принстона та три галузеві нагороди на хакатоні Єльського університету.

Ви є попереднім двічі засновником стартапу, які компанії це були та що ви вивчили з цього досвіду?

Моя перша компанія була першою платформою для просування та розвитку спорту американського ніндзя-воїна. У 2012 році я розглядав американського ніндзя-воїна як підземний спорт (подібний до MMA у 90-х роках) та створив першу платформу, де люди могли купувати плани, замовляти перешкоди та знаходити спортзали для тренувань. Я консультував компанії, які бажали відкрити свої власні спортзали, включаючи допомогу спеціальним військам США з тренувального курсу та розширення об’єкта від ескізу до 300 тисяч доларів доходу за перші три місяці. Хоча я був у середній школі, у мене був перший досвід управління командами з 20+ працівників та вивчення ефективного управління та міжособистісних відносин.

Моя друга компанія була альтернативною компанією з управління активами, яку я заснував у 2017 році до хвилі ICO у криптовалюті. Це був мій перший досвід з NLP, де ми використовували аналіз настрою соціальних медіа-даних як інвестиційну стратегію.

Я вивчив багато важливих навичок, які входять до складу управління стартапом – від того, як керувати командою, до технічних аспектів NLP. Водночас я також вивчив багато про себе та про те, над чим я хочу працювати. Я вважаю, що найбільш успішні компанії засновані засновниками, які мають ширшу візію або мету, яка їх рухає. Я покинув криптовалюту у 2017 році, щоб зосередитися на NLP, оскільки посилення та розуміння людської інтелектуальності – це те, що справді рухає мене. Я був рад виявити це.

Під час відвідування Університету Пенсільванії ви проводили деякі дослідження з AI, про що саме ви досліджували?

Наше дослідження спочатку зосереджувалося на побудові застосунків LLM. Зокрема, ми працювали над освітніми застосунками LLM та будували перший LLM-потужний когнітивний тьютор. Результати були досить хорошими – ми побачили поліпшення результатів учнів на 0,3 стандартного відхилення в початкових експериментах – та наша система була використана від Університету Пенсільванії до Університету Бутану.

Чи можете ви обговорити, як це дослідження потім привело вас до співзаснування компанії Martian?

Оскільки ми були одними з перших людей, які будували застосунки на основі LLM, ми були також одними з перших людей, які зіштовхнулися з проблемами, з якими стикаються люди, коли будують застосунки на основі LLM. Це спрямувало наше дослідження до інфраструктурного рівня. Наприклад, досить рано ми проводили тонке налаштування менших моделей на виходах більших моделей, таких як GPT-3, та налаштування моделей на спеціалізовані джерела даних для завдань, таких як програмування та розв’язання математичних проблем. Це в кінцевому підсумку привело нас до проблем щодо розуміння поведінки моделі та маршрутизації моделі.

Походження назви компанії Martian та її зв’язок з інтелектом також цікавий, можете ви поділитися історією того, як ця назва була обрана?

Наша компанія була названа на честь групи угорсько-американських вчених, відомих як “Марсіани“. Ця група, яка жила у 20-му столітті, складалася з деяких з найрозумніших людей, які коли-небудь жили:

• Найбільш відомим серед них був Джон фон Нейман; він винайшов теорію ігор, сучасну комп’ютерну архітектуру, теорію автоматів та зробив фундаментальні внески у десятки інших галузей.
• Пол Ердеш був найпліднішим математиком усіх часів, опублікувавши понад 1500 робіт.
• Теодор фон Карман встановив фундаментальні теорії аеродинаміки та допоміг заснувати американську космічну програму. Людський визначений кордон між Землею та зовнішнім космосом називається “лінією Кармана” на честь його роботи.
• Лео Сілард винайшов атомну бомбу, радіаційну терапію та прискорювачі частинок.

Ці вчені та ще 14 інших, подібних до них (включно з винахідником водневої бомби, людиною, яка ввела групovu теорію у сучасну фізику, та фундаментальними внесками у галузі, такі як комбінаторика, теорія чисел, числовий аналіз та теорія ймовірностей) мали помітну схожість – всі вони народилися в одному й тому ж районі Будапешта. Це привело людей до питання: що було джерелом такої великої інтелектуальності?

У відповідь Сілард пошутив, що “Марсіани вже тут, і вони називають себе угорцями!” Насправді… ніхто не знає.

Людство знаходить себе в подібній позиції сьогодні щодо нового набору потенційно суперінтелектуальних розумів: штучний інтелект. Люди знають, що моделі можуть бути неймовірно розумними, але не мають жодного уявлення про те, як вони працюють.

Наша мета – відповісти на це питання – зрозуміти та освоїти сучасний суперінтелект.

Ви маєте історію неймовірних пам’ятових подвигів, як ви занурилися у ці пам’ятові виклики та як ця знання допомогло вам з концепцією компанії Martian?

У більшості спортів професійний атлет може виконувати близько 2-3 разів краще, ніж середній людина (порівняйте, наскільки далеко середня людина може забити гол або наскільки швидко вона кидає м’яч порівняно з професіоналом). Спортивні пам’ятові ігри цікаві, оскільки найкращі спортсмени можуть запам’ятовувати 100 разів або навіть 1000 разів більше, ніж середня людина, з меншою підготовкою, ніж більшість спортів. Крім того, ці люди часто мають середню природну пам’ять, яка заслуговує на особливі техніки, які кожен може вивчити. Я хочу максимізувати людські знання, і я побачив чемпіонат світу з пам’яті як недооцінений погляд на те, як ми можемо забезпечити надзвичайні повернення, збільшуючи людський інтелект.

Я хотів розгорнути пам’ятові техніки по всій освітній системі, тому я почав вивчати, як NLP та LLM можуть допомогти у зменшенні витрат на налаштування, які запобігають найбільш ефективним освітнім методам бути використаними в основній освітній системі. Я та Яш створили перший LLM-потужний когнітивний тьютор, і це привело нас до відкриття проблем з розгортанням LLM, які ми зараз допомагаємо вирішувати.

Компанія Martian фактично абстрагує рішення про вибір великої мови моделі (LLM), чому це зараз таке болюче місце для розробників?

Стає все легше створювати мовні моделі – вартість обчислення знижується, алгоритми стають більш ефективними, та більше відкритих інструментів доступно для створення цих моделей. Як результат, більше компаній та розробників створюють спеціалізовані моделі, навчені на спеціалізованих даних. Оскільки ці моделі мають різні витрати та можливості, ви можете отримати кращу продуктивність, використовуючи кілька моделей, але це складно протестувати всі моделі та знайти правильні для використання. Ми займаємося цим за розробників.

Чи можете ви обговорити, як система розуміє, яка LLM найкраще підходить для кожного конкретного завдання?

Хороша маршрутизація фундаментально є проблемою щодо розуміння моделей. Для ефективної маршрутизації між моделями потрібно能够 зрозуміти, що призводить до їхньої невдачі або успіху. Здатність зрозуміти ці характеристики з модельним відображенням дозволяє нам визначити, наскільки добре будь-яка модель буде виконувати запит без необхідності запуску цієї моделі. Як результат, ми можемо направити цей запит до моделі, яка дасть найкращий результат.

Чи можете ви обговорити тип витрат, які можуть бути заощаджені завдяки оптимізації використання LLM?

Ми дозволяємо користувачам вказувати, як вони балансують між витратами та продуктивністю. Якщо ви турбуєтеся лише про продуктивність, ми можемо перевершити GPT-4 на openai/evals. Якщо ви шукаєте конкретну вартість, щоб зробити вашу економіку роботи, ми дозволяємо вам вказати максимальну вартість для вашого запиту, а потім знаходимо найкращу модель для виконання цього запиту. І якщо ви хочете щось більш динамічне, ми дозволяємо вам вказати, скільки ви готові заплатити за кращу відповідь – таким чином, якщо дві моделі мають схожу продуктивність, але велику різницю у вартості, ми можемо дозволити вам використовувати менш дорогі моделі. Деякі з наших клієнтів бачили зниження витрат до 12 разів.

Яка ваша візія майбутнього компанії Martian?

Кожного разу, коли ми покращуємо наше фундаментальне розуміння моделей, це призводить до парадигмального зсуву для AI. Тонке налаштування було парадигмою, яку рухало розуміння виходів. Промптинг – це парадигма, яку рухає розуміння входів. Ця одна різниця у нашому розумінні моделей є великою частиною того, що відрізняє традиційний ML (“давайте тренувати регресор”) та сучасний генеративний AI (“давайте промптимо дитячий AGI”).

Наша мета – постійно забезпечувати прориви в інтерпретації, поки AI не буде повністю зрозумілим, і ми матимемо теорію інтелекту, таку ж міцну, як наші теорії логіки або калькуляса.

Для нас це означає побудову. Це означає створення потужних інструментів AI та надання їх людям. Це означає випуск речей, які ламають форму, які ніхто не робив раніше, та які – понад усе – цікаві та корисні.

У словах сера Франсіса Бекона, “Знання – це сила”. Відповідно, найкращий спосіб бути певним, що ми розуміємо AI, – це випускати потужні інструменти. На нашу думку, маршрутизатор моделі – це інструмент такого типу. Ми раді будувати його, розвивати та надавати людям.

Це перші з багатьох інструментів, які ми випустимо у найближчі місяці. Для відкриття прекрасної теорії штучного інтелекту, для забезпечення нових типів інфраструктури AI, для допомоги у побудові яскравішого майбутнього як для людини, так і для машини – ми не можемо дождатися, щоб поділитися цими інструментами з вами.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Martian.