Yayasan PyTorch Mengintegrasikan Ray, Kerangka Kerja Komputasi Terdistribusi, untuk Membangun Tumpukan Infrastruktur AI yang Terintegrasi

Ekosistem AI sumber terbuka melakukan lompatan besar hari ini karena Yayasan PyTorch mengumumkan bahwa Ray, kerangka kerja komputasi terdistribusi yang awalnya dikembangkan oleh Anyscale, secara resmi bergabung dengan barisan mereka. Langkah ini menandai langkah penting menuju tumpukan komputasi AI yang terintegrasi, interoperabel, dan siap produksi – yang menghubungkan lapisan fondasi pengembangan model (PyTorch), inferensi terdistribusi (vLLM), dan eksekusi besar-besaran (Ray).

Yayasan Terintegrasi untuk AI Sumber Terbuka

Dibawah naungan Yayasan Linux, Yayasan PyTorch bertindak sebagai pusat untuk beberapa teknologi AI sumber terbuka yang paling penting. Misi mereka adalah untuk mengurangi fragmentasi dan memfasilitasi kolaborasi di setiap fase pengembangan AI. Dengan mengintegrasikan Ray bersama PyTorch dan vLLM, yayasan ini menyediakan apa yang dibutuhkan industri – tumpukan yang kohesif, ujung-ke-ujung untuk membangun, melatih, dan menggelar AI secara besar-besaran.

Penggunaan Ray juga mewakili puncak dari evolusi akademis dan industri selama bertahun-tahun. Lahir di RISELab UC Berkeley, Ray dirancang untuk menyederhanakan komputasi terdistribusi untuk beban kerja AI dan pembelajaran mesin. Ini memungkinkan pengembang untuk menskalakan pekerjaan dengan mulus dari satu laptop ke ribuan mesin tanpa menulis ulang kode atau mengelola sistem kompleks. Saat ini, Ray memiliki lebih dari 39.000 bintang GitHub dan lebih dari 214 juta unduhan, menjadikannya salah satu kerangka kerja komputasi terdistribusi yang paling banyak digunakan di dunia.

Bagaimana Ray Melengkapi PyTorch dan vLLM

Ray berada di antara kerangka kerja pelatihan dan inferensi (seperti PyTorch, DeepSpeed, dan vLLM) dan lapisan orkestrasi wadah (seperti Kubernetes atau Slurm). Posisi ini memungkinkan Ray untuk mengkoordinasikan beban kerja terdistribusi dengan efisien sambil menjembatani kesenjangan antara pelatihan model dan penerapan skala produksi.

Kemampuan kunci Ray termasuk:

• Pengolahan data multimodal: Menangani dataset besar dan beragam – teks, gambar, audio, dan video – secara paralel, memaksimalkan throughput dan efisiensi.
• Prapelatihan dan pascatuning: Menskalakan PyTorch dan kerangka kerja lainnya di seluruh ribuan GPU untuk tugas prapelatihan dan penyetelan halus.
• Inferensi terdistribusi: Menggelar model dalam produksi dengan throughput tinggi dan latensi rendah, mengelola lonjakan beban kerja secara dinamis di seluruh klaster heterogen.

Bersama-sama, fungsi-fungsi ini membuat Ray “perekat” yang menghubungkan pembuatan model, optimasi, dan pelayanan, secara efektif membentuk lapisan mesin komputasi terdistribusi modern AI.

Apa yang Dimaksud untuk Pengembang dan Perusahaan

Di ekonomi yang didorong AI saat ini, organisasi menghadapi tantangan besar seputar penskalaan, ketergantungan vendor, dan ketidakefisienan komputasi. Sistem proprietary sering memecah alur kerja dan memperlambat inovasi. Dengan Ray bergabung dengan Yayasan PyTorch, pengembang memperoleh tumpukan komputasi yang sepenuhnya sumber terbuka, interoperabel, dan menghilangkan banyak titik sakit ini.

Seperti yang dijelaskan oleh Matt White, GM AI di Yayasan Linux, kolaborasi ini “menghubungkan komponen kritis yang dibutuhkan untuk membangun sistem AI generasi berikutnya.” Penggabungan ini memungkinkan tim untuk mengembangkan sistem AI canggih – mulai dari model bahasa besar hingga aplikasi multimodal – tanpa bergantung pada infrastruktur proprietary yang tertutup. Sebagai gantinya, pengembang dapat melatih dan menggelar model AI menggunakan ekosistem yang dapat diskalakan, modular, dan didorong oleh komunitas.

Implikasi yang Lebih Luas untuk AI Sumber Terbuka

Kolaborasi antara PyTorch, vLLM, dan Ray menunjukkan era baru interoperabilitas komputasi sumber terbuka. Dengan Yayasan Linux menyediakan tata kelola netral, industri AI memperoleh model berkelanjutan untuk mengembangkan infrastruktur bersama – serupa dengan bagaimana Kubernetes memstandarisasi orkestrasi awan.

Pemimpin industri mengulangi sentimen ini. Chris Aniszczyk dari Cloud Native Computing Foundation mencatat bahwa “Ray dan Kubernetes secara alami saling melengkapi,” menggabungkan kekuatan orkestrasi dan komputasi terdistribusi untuk memungkinkan sistem AI generasi berikutnya. Direktur Teknik Uber, Zhitao Li, menambahkan bahwa Ray sudah menjadi “bagian inti” dari platform AI mereka, memungkinkan pelatihan skala besar dan pengolahan data. Dan anggota dewan Yayasan PyTorch, Joe Spisak dari Meta, menyebut penambahan Ray sebagai “titik penting untuk AI sumber terbuka,” menekankan bagaimana ini menciptakan tumpukan komputasi yang terintegrasi, didorong oleh komunitas.

Menghadap ke Depan

Co-founder Anyscale, Robert Nishihara, merangkum tonggak ini dengan singkat:

“Tujuan kami adalah membuat komputasi terdistribusi semudah menulis kode Python. Bergabung dengan Yayasan PyTorch memastikan Ray terus menjadi tulang punggung yang terbuka dan didorong oleh komunitas untuk pengembang.”

Pengembang dan kontributor dapat berinteraksi dengan proyek melalui repositori GitHub Ray atau menghadiri Ray Summit 2025 di San Francisco pada November mendatang, di mana komunitas akan lebih lanjut menjelajahi apa yang dimaksud oleh fondasi sumber terbuka ini untuk masa depan skalabilitas dan aksesibilitas AI.

Pada intinya, penambahan Ray melengkapi lapisan yang hilang dalam ekosistem AI sumber terbuka – menggabungkan modeling, inferensi, dan eksekusi terdistribusi di bawah satu fondasi. Ini adalah langkah penting menuju masa depan di mana infrastruktur AI tidak hanya lebih kuat tetapi juga lebih terbuka, efisien, dan ramah pengembang.