Інтерв’ю
Етан Гінзберг, співзасновник компанії Martian – Серія інтерв’ю

Ключові моментиMartian спрямовує кожен запит до найкращої моделі, розуміючи поведінку моделей, а не…
Показати більше
- Martian спрямовує кожен запит до найкращої моделі, розуміючи поведінку моделей, а не тестуючи кожен варіант.
- Відображення моделей перетворює непрозорі мовні моделі на інтерпретовані системи, щоб рішення про маршрутизацію можна було ухвалювати без запуску кожної моделі.
- Компанія прагне досягти проривів у інтерпретованості, доки штучний інтелект не матиме надійної теорії інтелекту.
Етан Гінзберг є співзасновником компанії Martian, платформи, яка динамічно маршрутизує кожен запит до найкращого LLM. За допомогою маршрутизації компанія Martian досягає вищої продуктивності та нижчих витрат, ніж будь-який окремий постачальник, включаючи GPT-4. Система побудована на унікальній технології Model Mapping компанії, яка розпаковує LLM з комплексних чорних скриньок у більш інтерпретований архітектурний дизайн, роблячи її першою комерційною реалізацією механістичної інтерпретованості.
Етан займається програмуванням, дизайном веб-сайтів та побудовою електронного бізнесу для клієнтів з середньої школи. Полімат Етан є учасником чемпіонату світу з пам’яті та зайняв друге місце на чемпіонаті світу зі швидкого читання в Шеньчжені, Китай.
Він є учасником хакатону. Серед попередніх нагород – третє місце на Tech Crunch SZ, фіналіст у числі семи на хакатоні Принстона та три галузеві нагороди на хакатоні Єльського університету.
Ви раніше заснували два стартапи, які компанії це були та що ви вивчили з цього досвіду?
Моя перша компанія була першою платформою для просування та розвитку спорту American Ninja Warrior. У 2012 році я розглядав American Ninja Warrior як маловідомий вид спорту (подібний до MMA у 90-х роках) та створив першу платформу, де люди могли купувати плани, замовляти перешкоди та знаходити спортзали для тренувань. Я консультував компанії, які бажали відкрити свої власні спортзали, включаючи допомогу спеціальним військам США з тренувального курсу та розширення об’єкта від ескізу до 300 тисяч доларів доходу за перші три місяці. Хоча я був у середній школі, у мене був перший досвід управління командами з 20+ працівників та вивчення ефективного управління та міжособистісних відносин.
Моя друга компанія була компанією з управління альтернативними активами, яку я співзаснував у 2017 році до хвилі ICO у криптовалюті. Це був мій перший досвід з NLP, де ми використовували аналіз тональності даних із соціальних мереж як інвестиційну стратегію.
Я вивчив багато важливих навичок, які входять до складу управління стартапом – від того, як керувати командою, до технічних аспектів NLP. Водночас я також вивчив багато про себе та про те, над чим я хочу працювати. Я вважаю, що найбільш успішні компанії засновані засновниками, які мають ширшу візію або мету, яка їх рухає. Я покинув криптовалюту у 2017 році, щоб зосередитися на NLP, оскільки посилення та розуміння людської інтелектуальності – це те, що справді рухає мене. Я був радий це усвідомити.
Під час відвідування Університету Пенсільванії ви проводили деякі дослідження з AI, про що саме ви досліджували?
Наше дослідження спочатку зосереджувалося на побудові застосунків LLM. Зокрема, ми працювали над освітніми застосунками LLM та будували першого когнітивного тьютора на основі LLM. Результати були досить хорошими – ми побачили поліпшення результатів учнів на 0,3 стандартного відхилення в початкових експериментах – та наша система була використана від Університету Пенсільванії до Університету Бутану.
Чи можете ви обговорити, як це дослідження потім привело вас до співзаснування компанії Martian?
Оскільки ми були одними з перших людей, які будували застосунки на основі LLM, ми були також одними з перших людей, які зіштовхнулися з проблемами, з якими стикаються люди, коли будують застосунки на основі LLM. Це спрямувало наше дослідження до інфраструктурного рівня. Наприклад, досить рано ми проводили тонке налаштування менших моделей на виходах більших моделей, таких як GPT-3, та налаштування моделей на спеціалізовані джерела даних для завдань, таких як програмування та розв’язання математичних проблем. Це в кінцевому підсумку привело нас до проблем щодо розуміння поведінки моделі та маршрутизації моделі.
Походження назви компанії Martian та її зв’язок з інтелектом також цікавий, можете ви поділитися історією того, як ця назва була обрана?
Наша компанія була названа на честь групи угорсько-американських вчених, відомих як “Марсіани“. Ця група, яка жила у 20-му столітті, складалася з деяких з найрозумніших людей, які коли-небудь жили:
- Найбільш відомим серед них був Джон фон Нейман; він винайшов теорію ігор, сучасну комп’ютерну архітектуру, теорію автоматів та зробив фундаментальні внески у десятки інших галузей.
- Пол Ердеш був найпліднішим математиком усіх часів, опублікувавши понад 1500 робіт.
- Теодор фон Карман встановив фундаментальні теорії аеродинаміки та допоміг заснувати американську космічну програму. Людський визначений кордон між Землею та зовнішнім космосом називається “лінією Кармана” на честь його роботи.
- Лео Сілард винайшов атомну бомбу, радіаційну терапію та прискорювачі частинок.
Ці вчені та ще 14 інших, подібних до них (включно з винахідником водневої бомби, людиною, яка ввела теорію груп у сучасну фізику, та фундаментальними внесками у галузі, такі як комбінаторика, теорія чисел, числовий аналіз та теорія ймовірностей) мали помітну схожість – всі вони народилися в одному й тому ж районі Будапешта. Це привело людей до питання: що було джерелом такої великої інтелектуальності?
У відповідь Сілард пожартував, що “Марсіани вже тут, і вони називають себе угорцями!” Насправді… ніхто не знає.
Людство знаходить себе в подібній позиції сьогодні щодо нового набору потенційно суперінтелектуальних розумів: штучний інтелект. Люди знають, що моделі можуть бути неймовірно розумними, але не мають жодного уявлення про те, як вони працюють.
Наша мета – відповісти на це питання – зрозуміти та освоїти сучасний суперінтелект.
Ви маєте історію неймовірних пам’ятових подвигів, як ви занурилися у ці пам’ятові виклики та як ці знання допомогли вам з концепцією компанії Martian?
У більшості видів спорту професійний спортсмен може показувати приблизно вдвічі-втричі кращі результати за середню людину (порівняйте, наскільки далеко середня людина може забити гол або наскільки швидко вона кидає м’яч порівняно з професіоналом). Спортивні пам’ятові ігри цікаві, оскільки найкращі спортсмени можуть запам’ятовувати 100 разів або навіть 1000 разів більше, ніж середня людина, з меншою підготовкою, ніж більшість спортів. Крім того, ці люди часто мають середню природну пам’ять і пояснюють свої результати застосуванням спеціальних технік, яких може навчитися кожен. Я хочу максимізувати людські знання, і я побачив чемпіонат світу з пам’яті як недооцінений погляд на те, як ми можемо забезпечити надзвичайні результати, збільшуючи людський інтелект.
Я хотів розгорнути пам’ятові техніки по всій освітній системі, тому я почав вивчати, як NLP та LLM можуть допомогти у зменшенні витрат на налаштування, які запобігають найбільш ефективним освітнім методам бути використаними в основній освітній системі. Я та Яш створили першого когнітивного тьютора на основі LLM, і це привело нас до відкриття проблем з розгортанням LLM, які ми зараз допомагаємо вирішувати.
Компанія Martian фактично абстрагує рішення про вибір великої мовної моделі (LLM), чому це зараз таке болюче місце для розробників?
Стає все легше створювати мовні моделі – вартість обчислення знижується, алгоритми стають більш ефективними, та більше відкритих інструментів доступно для створення цих моделей. Як результат, більше компаній та розробників створюють спеціалізовані моделі, навчені на спеціалізованих даних. Оскільки ці моделі мають різні витрати та можливості, ви можете отримати кращу продуктивність, використовуючи кілька моделей, але це складно протестувати всі моделі та знайти правильні для використання. Ми займаємося цим за розробників.
Чи можете ви обговорити, як система розуміє, яка LLM найкраще підходить для кожного конкретного завдання?
Хороша маршрутизація фундаментально є проблемою щодо розуміння моделей. Для ефективної маршрутизації між моделями потрібно мати змогу зрозуміти, що призводить до їхньої невдачі або успіху. Здатність зрозуміти ці характеристики з модельним відображенням дозволяє нам визначити, наскільки добре будь-яка модель буде виконувати запит без необхідності запуску цієї моделі. Як результат, ми можемо направити цей запит до моделі, яка дасть найкращий результат.
Чи можете ви обговорити тип витрат, які можуть бути заощаджені завдяки оптимізації використання LLM?
Ми дозволяємо користувачам вказувати, як вони балансують між витратами та продуктивністю. Якщо ви турбуєтеся лише про продуктивність, ми можемо перевершити GPT-4 на openai/evals. Якщо ви шукаєте конкретну вартість, щоб забезпечити потрібну юніт-економіку, ми дозволяємо вам вказати максимальну вартість для вашого запиту, а потім знаходимо найкращу модель для виконання цього запиту. І якщо ви хочете щось більш динамічне, ми дозволяємо вам вказати, скільки ви готові заплатити за кращу відповідь – таким чином, якщо дві моделі мають схожу продуктивність, але велику різницю у вартості, ми можемо дозволити вам використовувати менш дорогі моделі. Деякі з наших клієнтів бачили зниження витрат до 12 разів.
Яка ваша візія майбутнього компанії Martian?
Кожного разу, коли ми покращуємо наше фундаментальне розуміння моделей, це призводить до парадигмального зсуву для AI. Тонке налаштування було парадигмою, яку рухало розуміння виходів. Промптинг – це парадигма, яку рухає розуміння входів. Ця одна різниця у нашому розумінні моделей є великою частиною того, що відрізняє традиційний ML (“давайте тренувати регресор”) та сучасний генеративний AI (“давайте промптимо дитячий AGI”).
Наша мета – постійно забезпечувати прориви в інтерпретованості, поки AI не буде повністю зрозумілим, і ми матимемо теорію інтелекту, таку ж міцну, як наші теорії логіки або математичного аналізу.
Для нас це означає побудову. Це означає створення потужних інструментів AI та надання їх людям. Це означає випуск речей, які ламають форму, які ніхто не робив раніше, та які – понад усе – цікаві та корисні.
За словами сера Френсіса Бекона, “Знання – це сила”. Відповідно, найкращий спосіб бути певним, що ми розуміємо AI, – це випускати потужні інструменти. На нашу думку, маршрутизатор моделі – це інструмент такого типу. Ми раді будувати його, розвивати та надавати людям.
Це перший із багатьох інструментів, які ми випустимо у найближчі місяці. Для відкриття прекрасної теорії штучного інтелекту, для забезпечення нових типів інфраструктури AI, для допомоги у побудові яскравішого майбутнього як для людини, так і для машини – ми не можемо дочекатися, щоб поділитися цими інструментами з вами.
Дякуємо за чудове інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Martian.












