Етан Гінзберг, співзасновник компанії Martian – Серія інтерв’ю

Етан Гінзберг є співзасновником компанії Martian, платформи, яка динамічно маршрутизує кожне запит до найкращого LLM. За допомогою маршрутизації компанія Martian досягає вищої продуктивності та нижчих витрат, ніж будь-який окремий постачальник, включаючи GPT-4. Система побудована на унікальній технології Model Mapping компанії, яка розбирає LLM з комплексних чорних скриньок на більш інтерпретовну архітектуру, роблячи її першою комерційною реалізацією механістичної інтерпретації.

Етан займався програмуванням, дизайном сайтів та будівництвом е-бізнесу для клієнтів ще з середньої школи. Як полімат Етан є учасником Чемпіонату світу з пам’яті та посів 2-е місце на Чемпіонаті світу зі швидкого читання у Шеньчжені, Китай.

Він є учасником хакатону. Серед попередніх нагород – 3-є місце на Tech Crunch SZ, фіналіст у 7-му числі на хакатоні Прінстона та 3 промислові нагороди на хакатоні Єльського університету.

Ви раніше були двічі засновником стартапу, які компанії це були та що ви вивчили з цього досвіду?

Моя перша компанія була першою платформою для просування та розвитку спорту американський ніндзя-воїн. У 2012 році я бачив американського ніндзя-воїна як підземний спорт (подібно до MMA у 90-х) та створив першу платформу, де люди могли купувати плани, замовляти перешкоди та знаходити спортзали для тренувань. Я консультував компанії, які хотіли відкрити свої власні спортзали, включаючи допомогу спеціальним силам США у створенні тренувального курсу та розширенні об’єкта з нуля до $300 тис. доходу за перші 3 місяці. Хоча мені було ще школярем, я мав свій перший досвід управління командами з 20+ працівників та вивчив ефективне управління та міжособистісні відносини.

Моя друга компанія була альтернативна компанія з управління активами, яку я співзаснував у 2017 році до початку хвилі ICO у криптовалюті. Це був мій перший досвід роботи з NLP, де ми використовували аналіз настроїв соціальних мереж як інвестиційну стратегію.

Я вивчив багато важких та м’яких навичок, які входять до складу управління стартапом – від управління командою до технічних аспектів NLP. Водночас я також багато дізнався про себе та про те, над чим я хочу працювати. Я вважаю, що найуспішніші компанії засновані засновниками, які мають ширшу мету або завдання, яке їх рухає. Я покинув криптовалюту у 2017 році, щоб зосередитися на NLP, оскільки посилення та розуміння людської інтелектуальності – це те, що справді рухає мене. Я був радий цьому відкриттю.

Під час навчання університету Пенсільванії ви проводили деякі дослідження з AI, про що саме ви досліджували?

Наше дослідження спочатку зосереджувалося на будівництві застосунків LLM. Зокрема, ми працювали над освітніми застосунками LLM та будували перший LLM-підтримуваний когнітивний тренер. Результати були досить хорошими – ми побачили покращення результатів учнів на 0,3 стандартного відхилення у початкових експериментах – та наша система використовується від університету Пенсільванії до університету Бутану.

Чи можете ви розповісти, як це дослідження потім привело вас до співзаснування компанії Martian?

Оскільки ми були одними з перших людей, які будували застосунки на основі LLM, ми також були одними з перших людей, які зіштовхнулися з проблемами, з якими стикаються люди, які будують застосунки на основі LLM. Це спрямувало наше дослідження до інфраструктурного рівня. Наприклад, досить рано ми почали дофінувати менші моделі на виходах більших моделей, таких як GPT-3, та дофінувати моделі на спеціалізованих джерелах даних для завдань, таких як програмування та розв’язування математичних проблем. Це в кінцевому підсумку привело нас до проблем щодо розуміння поведінки моделі та маршрутизації моделі.

Походження назви компанії Martian та її зв’язок з інтелектом також цікавий, можете ви розповісти історію вибору цієї назви?

Наша компанія була названа на честь групи угорсько-американських вчених, відомих як “The Martians“. Ця група, яка жила у 20-му столітті, складалася з деяких з найрозумніших людей, які коли-небудь жили:

• Найбільш відомим серед них був Джон фон Нейман; він винайшов теорію ігор, сучасну комп’ютерну архітектуру, теорію автоматів та зробив фундаментальні внески у десятки інших галузей.
• Пол Ердеш був найпліднішим математиком усіх часів, опублікувавши понад 1500 робіт.
• Теодор фон Карман встановив фундаментальні теорії аеродинаміки та допоміг заснувати американську космічну програму. Людський визначений кордон між Землею та зовнішнім космосом називається “лінією Кармана” на честь його роботи.
• Лео Сілард винайшов атомну бомбу, радіаційну терапію та прискорювачі частинок.

Ці вчені та ще 14 подібних до них (включаючи винахідника водневої бомби, людину, яка ввела групу теорії у сучасну фізику, та фундаментальних внесок у галузі, такі як комбінаторика, теорія чисел, числовий аналіз та теорія ймовірностей) мали поразливу схожість – вони всі народилися в одній частині Будапешта. Це змусило людей запитати: що було джерелом такої великої інтелектуальності?

У відповідь Сілард пошукал: “Марсіани вже тут, і вони називають себе угорцями!” Насправді… ніхто не знає.

Людство знаходить себе в подібній позиції сьогодні щодо нового набору потенційно суперінтелектуальних розумів: штучного інтелекту. Люди знають, що моделі можуть бути неймовірно розумними, але не мають жодного уявлення про те, як вони працюють.

Наша мета – відповісти на це питання – зрозуміти та приборкати сучасний суперінтелект.

У вас є історія неймовірних пам’ятових подвигів, як ви занурилися у ці пам’ятові виклики та як ці знання допомогли вам з концепцією компанії Martian?

У більшості спортів професійний спортсмен може виконувати близько 2-3 разів краще, ніж середня людина (порівняйте, наскільки далеко середня людина може забити гол або наскільки швидко вони кидають м’яч порівняно з професійним спортсменом). Спортивні пам’яті цікаві, оскільки найкращі спортсмени можуть запам’ятати у 100 разів або навіть у 1000 разів більше, ніж середня людина, з меншою підготовкою, ніж більшість спортів. Крім того, це часто люди з середньою природною пам’яттю, які приписують свій виступ певним технікам, які кожен може вивчити. Я хочу максимізувати людські знання, і я бачу чемпіонат світу з пам’яті як недооцінений погляд на те, як ми можемо забезпечити надзвичайні повернення, збільшуючи людську інтелектуальність.

Я хотів розгорнути техніки пам’яті по всій освітній системі, тому я почав досліджувати, як NLP та LLM можуть допомогти у зниженні витрат на налаштування, які запобігають найбільш ефективним освітнім методам бути використаними в основній освітній системі. Яш та я створили перший LLM-підтримуваний когнітивний тренер, і це привело нас до відкриття проблем з розгортанням LLM, які ми зараз допомагаємо вирішувати.

Компанія Martian фактично абстрагує рішення про вибір LLM, чому це зараз така болюча точка для розробників?

Стає все легше створювати мовні моделі – вартість обчислювань знижується, алгоритми стають більш ефективними, та більше відкритих інструментів доступно для створення цих моделей. В результаті все більше компаній та розробників створюють спеціалізовані моделі, навчені на спеціалізованих даних. Оскільки ці моделі мають різні витрати та можливості, ви можете отримати кращу продуктивність, використовуючи кілька моделей, але складно протестувати всі моделі та знайти правильні для використання. Ми займаємося цим за розробників.

Чи можете ви розповісти, як система розуміє, який LLM найкраще використовувати для кожного конкретного завдання?

Хороша маршрутизація фундаментально є проблемою щодо розуміння моделей. Щоб маршрутизувати між моделями ефективно, ви хочете能够 зрозуміти, що призводить до їхньої невдачі або успіху. Здатність зрозуміти ці характеристики з модельним мапінгом дозволяє нам визначити, наскільки добре будь-яка модель виконуватиме запит без потреби запускати цю модель. В результаті ми можемо направити цей запит до моделі, яка дасть найкращий результат.

Чи можете ви розповісти про тип економії витрат, яку можна побачити при оптимізації використання LLM?

Ми дозволяємо користувачам вказувати, як вони балансують між витратами та продуктивністю. Якщо ви турбуєтеся лише про продуктивність, ми можемо перевершити GPT-4 на openai/evals. Якщо ви шукаєте конкретну вартість, щоб ваша економіка працювала, ми дозволяємо вам вказувати максимальну вартість вашого запиту, потім знаходимо найкращу модель для виконання цього запиту. І якщо ви хочете щось більш динамічне, ми дозволяємо вам вказувати, скільки ви готові платити за кращу відповідь – таким чином, якщо дві моделі мають подібну продуктивність, але велику різницю у вартості, ми можемо дозволити вам використовувати менш дорогі моделі. Деякі з наших клієнтів бачили зниження витрат до 12 разів.

Яка ваша бачення майбутнього компанії Martian?

Кожного разу, коли ми покращуємо наше фундаментальне розуміння моделей, це призводить до парадигмального зрушення для AI. Файн-тюнінг був парадигмою, керованою розумінням виходів. Промптізація є парадигмою, керованою розумінням входів. Ця одна різниця у нашому розумінні моделей є великою частиною того, що відрізняє традиційний ML (“давайте тренувати регресор”) та сучасний генеративний AI (“давайте промптуємо дитину AGI”).

Наша мета – постійно доставляти прориви в інтерпретації, поки AI не буде повністю зрозумілий, і ми матимемо теорію інтелекту, таку ж міцну, як наші теорії логіки або калькуляса.

Для нас це означає будівництво. Це означає створення чудових інструментів AI та надання їх людям. Це означає випуск речей, які ламають форму, які ніхто не робив раніше, та які – понад усе інше – цікаві та корисні.

У словах сера Франсіса Бекона, “Знання – це сила”. Відповідно, найкращий спосіб бути впевненим, що ми розуміємо AI, – це випустити потужні інструменти. На нашу думку, модельний маршрутизатор є інструментом такого типу. Ми раді будувати його, розвивати його та давати людям.

Це перші з багатьох інструментів, які ми випустимо у наступні місяці. Щоб відкрити красиву теорію штучного інтелекту, щоб дозволити зовсім нові типи інфраструктури AI, щоб допомогти побудувати яскравше майбутнє для людини та машини – ми не можемо дождитися, щоб поділитися цими інструментами з вами.

Дякуємо за велике інтерв’ю, читачам, які хочуть дізнатися більше, слід відвідати Martian.