Нитту Патхак, сооснователь и генеральный директор Skymel – Интервью

Нитту Патхак, сооснователь и генеральный директор Skymel, возглавляет компанию в революционизации вывода искусственного интеллекта с помощью своей инновационной технологии NeuroSplit™. Вместе с техническим директором Сушантом Трипати она движет миссией Skymel по улучшению производительности приложений искусственного интеллекта, снижая при этом вычислительные затраты.

NeuroSplit™ – это адаптивная технология вывода, которая динамически распределяет нагрузки искусственного интеллекта между устройствами конечных пользователей и облачными серверами. Этот подход использует неиспользуемые вычислительные ресурсы на устройствах пользователей, снижая затраты на облачную инфраструктуру до 60%, ускоряя скорость вывода, обеспечивая конфиденциальность данных и ermögляя бесшовное масштабирование.

Оптимизируя локальную вычислительную мощность, NeuroSplit позволяет приложениям искусственного интеллекта работать эффективно даже на старых GPU, значительно снижая затраты и улучшая пользовательский опыт.

Что вдохновило вас на создание Skymel, и какие ключевые проблемы в инфраструктуре искусственного интеллекта вы стремились решить с помощью NeuroSplit?

Идея создания Skymel возникла из совпадения наших взаимодополняющих опытов. Во время работы в Google (GOOGL ) мой сооснователь, Сушант Трипати, развертывал модели искусственного интеллекта на основе речи на миллиардах устройств Android. Он обнаружил, что на устройствах конечных пользователей есть огромное количество неиспользуемых вычислительных ресурсов, но большинство компаний не могут эффективно использовать их из-за сложных инженерных проблем доступа к этим ресурсам без компрометации пользовательского опыта.

Между тем, мой опыт работы с предприятиями и стартапами в Redis дал мне глубокое понимание того, насколько критической становится задержка для бизнеса. По мере того, как приложения искусственного интеллекта становились более распространенными, стало ясно, что нам нужно переместить обработку ближе к месту создания данных, а не постоянно передавать данные туда и обратно в центры обработки данных.

Тогда Сушант и я поняли, что будущее не состоит в выборе между локальной или облачной обработкой – это создание интеллектуальной технологии, которая может бесшовно адаптироваться между локальной, облачной или гибридной обработкой на основе каждого конкретного запроса на вывод. Это понимание привело нас к созданию Skymel и разработке NeuroSplit, выходя за рамки традиционных ограничений инфраструктуры, которые сдерживали инновации в области искусственного интеллекта.

Можете ли вы объяснить, как NeuroSplit динамически оптимизирует вычислительные ресурсы, сохраняя при этом конфиденциальность пользователей и производительность?

Одной из основных проблем локального вывода искусственного интеллекта было его статическое требование вычислительных ресурсов – традиционно, запуск модели искусственного интеллекта требует одних и тех же вычислительных ресурсов, независимо от условий устройства или поведения пользователя. Этот подход “один размер подходит всем” игнорирует реальность, что устройства имеют разные аппаратные возможности, от различных чипов (GPU, NPU, CPU, XPU) до разной пропускной способности сети, и у пользователей разное поведение в плане использования приложений и шаблонов зарядки.

NeuroSplit непрерывно отслеживает различные показатели устройства – от аппаратных возможностей до текущего использования ресурсов, состояния батареи и условий сети. Мы также учитываем шаблоны поведения пользователей, такие как количество других запущенных приложений и типичные шаблоны использования устройства. Этот комплексный мониторинг позволяет NeuroSplit динамически определять, сколько вычислений можно безопасно выполнить на устройстве конечного пользователя, оптимизируя при этом ключевые показатели производительности для разработчиков.

Когда конфиденциальность данных имеет первостепенное значение, NeuroSplit гарантирует, что сырые данные никогда не покидают устройство, обрабатывая конфиденциальную информацию локально, сохраняя при этом оптимальную производительность. Наша способность умно разделить, обрезать или декуплировать модели искусственного интеллекта позволяет нам поместить 50-100 моделей-стубов в памяти одного устройства конечного пользователя в пространстве, занимаемом только одной квантовой моделью. В практическом смысле это означает, что пользователи могут запускать значительно больше приложений, работающих на искусственном интеллекте, одновременно, обрабатывая конфиденциальные данные локально, по сравнению с традиционными статическими подходами к вычислениям.

Какие основные преимущества адаптивного вывода NeuroSplit для компаний, работающих с искусственным интеллектом, особенно тех, которые используют более старую технологию GPU?

NeuroSplit предоставляет три трансформационных преимущества для компаний, работающих с искусственным интеллектом. Во-первых, он значительно снижает инфраструктурные затраты двумя механизмами: компании могут использовать более дешевые, старые GPU эффективно, и наша уникальная способность поместить как полные, так и модели-стубы на облачные GPU позволяет добиться значительно более высоких показателей использования GPU. Например, приложение, которое обычно требует нескольких NVIDIA A100 по $2,74 в час, теперь может работать на одном A100 или нескольких V100 по всего 83 цента в час.

Во-вторых, мы существенно улучшаем производительность, обрабатывая исходные сырые данные непосредственно на устройствах пользователей. Это означает, что данные, которые в конечном итоге передаются в облако, намного меньше в размере, значительно снижая сетевую задержку, сохраняя при этом точность. Этот гибридный подход дает компаниям лучшее из обоих миров – скорость локальной обработки и мощность облачных вычислений.

В-третьих, обрабатывая конфиденциальные исходные данные на устройстве конечного пользователя, мы помогаем компаниям поддерживать сильные меры защиты конфиденциальности пользователей, не жертвуя при этом производительностью. Это становится все более важным, поскольку регулирования конфиденциальности становятся более строгими, а пользователи – более осведомленными о конфиденциальности.

Как решение Skymel снижает затраты на вывод искусственного интеллекта без компрометации сложности или точности модели?

Во-первых, разделив отдельные модели искусственного интеллекта, мы распределяем вычисления между устройствами конечных пользователей и облаком. Первая часть работает на устройстве конечного пользователя, обрабатывая 5% до 100% общих вычислений в зависимости от доступных ресурсов устройства. Только оставшиеся вычисления необходимо обработать на облачных GPU.

Это разделение означает, что облачные GPU обрабатывают сниженную вычислительную нагрузку – если модель изначально требовала полного GPU A100, после разделения та же нагрузка может потребовать только 30-40% емкости GPU. Это позволяет компаниям использовать более экономически эффективные экземпляры GPU, такие как V100.

Во-вторых, NeuroSplit оптимизирует использование GPU в облаке. Эффективно располагая как полные, так и модели-стубы (оставшиеся части разделенных моделей) на одном и том же облачном GPU, мы достигаем значительно более высоких показателей использования по сравнению с традиционными подходами. Это означает, что больше моделей могут работать одновременно на одном и том же облачном GPU, дальнейшее снижая затраты на вывод.

Чем отличается гибридный (локальный + облачный) подход Skymel от других решений инфраструктуры искусственного интеллекта на рынке?

Ландшафт искусственного интеллекта находится на захватывающей точке инфлексии. Хотя Apple (AAPL ), Samsung и Qualcomm (QCOM ) демонстрируют мощь гибридного искусственного интеллекта через функции своих экосистем, эти остаются запертыми в своих садах. Но искусственный интеллект не должен быть ограничен тем, какое устройство конечного пользователя случайно используется.

NeuroSplit фундаментально независим от устройства, облачного и нейронной сети. Это означает, что разработчики могут наконец доставить последовательные trải nghiệm искусственного интеллекта, независимо от того, используют ли пользователи iPhone, устройство Android или ноутбук – или используют ли они AWS, Azure или Google Cloud.

Подумайте, что это значит для разработчиков. Они могут построить свое приложение искусственного интеллекта один раз и знать, что оно адаптируется интеллектуально на любом устройстве, в любом облаке и на любой нейронной сети. Больше нет необходимости строить разные версии для разных платформ или компрометировать функции на основе возможностей устройства.

Мы выводим возможности гибридного искусственного интеллекта уровня предприятия из запертых садов и делаем их универсально доступными. По мере того, как искусственный интеллект становится центральным для каждого приложения, такая гибкость и последовательность не являются просто преимуществом – они необходимы для инноваций.

Как агент Orchestrator дополняет NeuroSplit, и какую роль он играет в трансформации стратегий развертывания искусственного интеллекта?

Агент Orchestrator (OA) и NeuroSplit работают вместе, чтобы создать самоподстраивающуюся систему развертывания искусственного интеллекта:

1. Разработчики устанавливают границы:

• Ограничения: разрешенные модели, версии, облачные провайдеры, зоны, правила соответствия
• Цели: целевая задержка, лимиты затрат, требования к производительности, потребности в конфиденциальности

2. OA работает в этих ограничениях, чтобы достичь целей:

• Решает, какие модели/API использовать для каждого запроса
• Адаптирует стратегии развертывания на основе реальной производительности
• Принимает компромиссы, чтобы оптимизировать для указанных целей
• Может быть переconfigured мгновенно, как только меняются потребности

3. NeuroSplit выполняет решения OA:

• Использует реальную телеметрию устройства, чтобы оптимизировать выполнение
• Разделяет обработку между устройством и облаком, когда это выгодно
• Гарантирует, что каждое вывод работает оптимально, учитывая текущие условия

Это как иметь систему искусственного интеллекта, которая автономно оптимизирует себя в пределах ваших определенных правил и целей, а не требует ручной оптимизации для каждого сценария.

По вашему мнению, как агент Orchestrator изменит способ развертывания искусственного интеллекта в различных отраслях?

Он решает три критические проблемы, которые сдерживали принятие и инновации в области искусственного интеллекта.

Во-первых, он позволяет компаниям идти в ногу с последними достижениями в области искусственного интеллекта без усилий. С агентом Orchestrator вы можете мгновенно использовать новые модели и методы без переработки своей инфраструктуры. Это значительное конкурентное преимущество в мире, где инновации в области искусственного интеллекта развиваются с беспрецедентной скоростью.

Во-вторых, он позволяет динамически оптимизировать выбор модели искусственного интеллекта на каждый запрос. Агент Orchestrator может интеллектуально смешивать и сочетать модели из огромного экосистемы вариантов, чтобы достичь лучших возможных результатов для каждого взаимодействия пользователя. Например, система искусственного интеллекта для обслуживания клиентов может использовать специализированную модель для технических вопросов и другую модель для вопросов, связанных с выставлением счетов, доставляя лучшие результаты для каждого типа взаимодействия.

В-третьих, он максимизирует производительность, минимизируя при этом затраты. Агент автоматически балансирует между запуском искусственного интеллекта на устройстве пользователя или в облаке на основе того, что имеет наиболее смысл в данный момент. Когда конфиденциальность имеет первостепенное значение, он обрабатывает данные локально. Когда требуется дополнительная вычислительная мощность, он использует облако. Все это происходит за кулисами, создавая бесшовный опыт для пользователей, оптимизируя при этом ресурсы для бизнеса.

Но то, что действительно отличает агент Orchestrator, – это то, как он позволяет бизнесу создавать следующие поколения гиперперсонализированных trải nghiệm для своих пользователей. Возьмем платформу электронного обучения – с нашей технологией они могут построить систему, которая автоматически адаптирует свой подход к обучению на основе уровня понимания каждого студента. Когда пользователь ищет “машинное обучение”, платформа не просто показывает общие результаты – она может мгновенно оценить его текущее понимание и настроить объяснения, используя концепции, которые он уже знает.

В конечном итоге агент Orchestrator представляет будущее развертывания искусственного интеллекта – сдвиг от статичной, монолитной инфраструктуры искусственного интеллекта к динамичной, адаптивной, самоподстраивающейся оркестровке искусственного интеллекта. Это не просто о том, чтобы сделать развертывание искусственного интеллекта проще – это о том, чтобы сделать совершенно новые классы приложений искусственного интеллекта возможными.

Какой обратной связи вы получили от компаний, участвующих в частной бета-версии агента Orchestrator?

Обратная связь от наших участников частной бета-версии была отличной! Компании в восторге от того, что они могут наконец освободиться от блокировки инфраструктуры, будь то проприетарные модели или сервисы хостинга. Возможность будущей защиты любого решения по развертыванию была игроком, меняющим правила, исключая месяцы дорогостоящей переработки при смене подхода.

Наши результаты производительности NeuroSplit были просто замечательными – мы не можем дождаться, чтобы поделиться данными публично скоро. То, что особенно интересно, – это то, как сама концепция адаптивного развертывания искусственного интеллекта захватила воображение. Тот факт, что искусственный интеллект развертывает себя, звучит как будущее и не то, чего они ожидали сейчас, поэтому уже только из технологического прогресса люди возбуждены возможностями и новыми рынками, которые это может создать в будущем.

С учетом быстрого развития генеративного искусственного интеллекта, какие следующие основные препятствия вы видите для инфраструктуры искусственного интеллекта, и как Skymel планирует решить их?

Мы движемся к будущему, которое большинство еще не полностью поняло: не будет одного доминирующего модели искусственного интеллекта, а миллиардов. Даже если мы создадим самый мощный общий модель искусственного интеллекта, мы все равно будем нуждаться в персонализированных версиях для каждого человека на Земле, каждая из которых адаптирована к уникальным контекстам, предпочтениям и потребностям. Это означает как минимум 8 миллиардов моделей, основанных на населении мира.

Это революционный сдвиг от сегодняшнего подхода “один размер подходит всем”. Будущее требует интеллектуальной инфраструктуры, которая может справиться с миллиардами моделей. В Skymel мы не просто решаем сегодняшние проблемы развертывания – наш технологический план уже строит основу для того, что будет дальше.

Как вы представляете себе эволюцию инфраструктуры искусственного интеллекта в течение следующих пяти лет, и какую роль Skymel будет играть в этой эволюции?

Ландшафт инфраструктуры искусственного интеллекта готовится к фундаментальному сдвигу. Хотя сегодняшний фокус находится на масштабировании общих крупных языковых моделей в облаке, следующие пять лет покажут, как искусственный интеллект становится глубоко персонализированным и контекстно-осведомленным. Это не просто о тонкой настройке – это об искусственном интеллекте, который адаптируется к конкретным пользователям, устройствам и ситуациям в реальном времени.

Этот сдвиг создает две основные проблемы инфраструктуры. Во-первых, традиционный подход к запуску всего в централизованных центрах обработки данных становится технически и экономически неустойчивым. Во-вторых, растущая сложность приложений искусственного интеллекта означает, что нам нужна инфраструктура, которая может динамически оптимизировать несколько моделей, устройства и места вычислений.

В Skymel мы строим инфраструктуру, которая конкретно решает эти проблемы. Наша технология позволяет искусственному интеллекту работать где это имеет наибольший смысл – будь то на устройстве, где генерируются данные, в облаке, где доступно больше вычислительной мощности, или интеллектуально разделено между ними. Более важно, что она адаптирует эти решения в реальном времени на основе меняющихся условий и требований.

Глядя вперед, успешные приложения искусственного интеллекта не будут определяться размером своих моделей или количеством доступной вычислительной мощности. Они будут определяться своей способностью доставлять персонализированные, отзывчивые trải nghiệm, эффективно управляя ресурсами. Наша цель – сделать этот уровень интеллектуальной оптимизации доступным для каждого приложения искусственного интеллекта, независимо от масштаба или сложности.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Skymel.