Интеграция PyTorch Foundation с Ray, фреймворком распределённых вычислений, для построения унифицированной инфраструктуры ИИ

Открытая экосистема ИИ сделала решительный шаг вперед сегодня, когда Фонд PyTorch объявил, что Ray, фреймворк распределённых вычислений, первоначально разработанный компанией Anyscale, официально присоединился к его рядам. Этот шаг является значительным шагом на пути к унифицированной, интероперабельной и готовой к производству стэку вычислений ИИ – стэку, который объединяет основные слои разработки моделей (PyTorch), распределённого вывода (vLLM) и крупномасштабного выполнения (Ray).

Унифицированная основа для открытого ИИ

Фонд PyTorch, размещённый под эгидой Linux Foundation, выступает в качестве центрального хаба для некоторых из наиболее важных открытых технологий ИИ. Его миссия заключается в снижении фрагментации и содействии сотрудничеству на всех этапах разработки ИИ. Интегрируя Ray вместе с PyTorch и vLLM, фонд предоставляет то, что индустрия давно ждала – целостный, конечный стэк для построения, обучения и развертывания ИИ в крупном масштабе.

Включение Ray также представляет собой кульминацию лет академического и промышленного развития. Родившись в RISELab Университета Калифорнии в Беркли, Ray был разработан для упрощения распределённых вычислений для задач ИИ и машинного обучения. Он позволяет разработчикам масштабировать задачи без переписывания кода или управления сложными системами. На сегодняшний день Ray имеет более 39 000 звёзд на GitHub и более 214 миллионов загрузок, что делает его одним из наиболее широко используемых фреймворков распределённых вычислений в мире.

Как Ray дополняет PyTorch и vLLM

Ray находится между фреймворками обучения и вывода (такими как PyTorch, DeepSpeed и vLLM) и слоем оркестровки контейнеров (например, Kubernetes или Slurm). Это положение позволяет Ray эффективно координировать распределённые рабочие нагрузки, мостя разрыв между обучением моделей и развертыванием в производстве.

Ключевые возможности Ray включают:

• Мультимодальное обработка данных: Обрабатывает огромные, разнообразные наборы данных – текст, изображения, аудио и видео – параллельно, максимизируя пропускную способность и эффективность.
• Предварительное обучение и пост-настройка: Масштабирует PyTorch и другие фреймворки на тысячах GPU как для предварительного обучения, так и для задач тонкой настройки.
• Распределённый вывод: Развертывает модели в производстве с высокой пропускной способностью и низкой задержкой, динамически управляя всплесками рабочих нагрузок в гетерогенных кластерах.

Вместе эти функции делают Ray “клеем”, который связывает создание моделей, оптимизацию и обслуживание, эффективно образуя слой распределённых вычислений современной инфраструктуры ИИ.

Что это значит для разработчиков и предприятий

В сегодняшней экономике, управляемой ИИ, организации сталкиваются с огромными проблемами вокруг масштабирования, блокировки поставщиков и неэффективности вычислений. Проприетарные системы часто фрагментируют рабочие процессы и замедляют инновации. С присоединением Ray к Фонду PyTorch разработчики получают полностью открытый, интероперабельный стэк вычислений, который устраняет многие из этих болевых точек.

Как объяснил Мэтт Уайт, генеральный менеджер по ИИ в Linux Foundation, это сотрудничество “объединяет критические компоненты, необходимые для построения систем ИИ следующего поколения”. Унификация позволяет командам разрабатывать передовые системы ИИ – от крупномасштабных языковых моделей до мультимодальных приложений – без использования закрытой, проприетарной инфраструктуры. Вместо этого разработчики могут обучать и развертывать модели ИИ, используя экосистему, которая масштабируема, модульна и управляется сообществом.

Более широкие последствия для открытого ИИ

Сотрудничество между PyTorch, vLLM и Ray указывает на новую эру открытой интероперабельности вычислений. С нейтральным управлением Linux Foundation индустрия ИИ получает устойчивую модель для разработки общей инфраструктуры – подобно тому, как Kubernetes стандартизировал оркестровку облака.

Лидеры отрасли поддержали это мнение. Крис Анисзчик из Cloud Native Computing Foundation отметил, что “Ray и Kubernetes являются естественно дополняющими”, объединяя оркестровку и распределённые вычисления, чтобы запитать системы ИИ следующего поколения. Директор по инженерии Uber, Житao Ли, добавил, что Ray уже является “ядром” их платформы ИИ, обеспечивающим крупномасштабное обучение и обработку данных. И Джо Списак из Meta, член совета директоров Фонда PyTorch, назвал добавление Ray “значительным этапом для открытого ИИ”, подчеркнув, как оно создаёт унифицированный, управляемый сообществом стэк вычислений.

Взгляд в будущее

Сооснователь Anyscale Роберт Нисихара кратко суммировал этот этап:

Наша цель – сделать распределённые вычисления такими же простыми, как написание кода на Python. Присоединение к Фонду PyTorch гарантирует, что Ray продолжит быть открытым, управляемым сообществом основой для разработчиков.

Разработчики и участники могут взаимодействовать с проектом через репозиторий Ray на GitHub или посетить Ray Summit 2025 в Сан-Франциско в этом ноябре, где сообщество будет дальше исследовать, что это новое открытое основание значит для будущего масштабируемости и доступности ИИ.

По сути, добавление Ray завершает отсутствующий слой в экосистеме открытого ИИ – объединяя моделирование, вывод и распределённое выполнение под одной основой. Это решающий шаг на пути к будущему, где инфраструктура ИИ не только более мощная, но и более открытая, эффективная и дружественная к разработчикам.