Kerangka Pelatihan Model AI Terdistribusi Baru dari Uber

Menurut VentureBeat, peneliti AI di Uber baru-baru ini memposting makalah ke Arxiv yang menjelaskan platform baru yang dirancang untuk membantu dalam pembuatan model AI terdistribusi. Platform ini disebut Fiber, dan dapat digunakan untuk memfasilitasi tugas pembelajaran penguatan dan pembelajaran berbasis populasi. Fiber dirancang untuk membuat komputasi paralel skala besar lebih mudah diakses oleh non-ahli, sehingga mereka dapat memanfaatkan kekuatan algoritma dan model AI terdistribusi.

Fiber baru-baru ini dibuat open-source di GitHub, dan kompatibel dengan Python 3.6 atau lebih tinggi, dengan Kubernetes yang berjalan di sistem Linux dan berjalan di lingkungan cloud. Menurut tim peneliti, platform ini dapat dengan mudah diperbesar hingga ratusan atau ribuan mesin individual.

Tim peneliti dari Uber menjelaskan bahwa banyak kemajuan terbaru dan relevan dalam kecerdasan buatan telah didorong oleh model yang lebih besar dan algoritma yang lebih banyak yang dilatih menggunakan teknik pelatihan terdistribusi. Namun, membuat model berbasis populasi dan model penguatan tetap menjadi tugas yang sulit untuk skema pelatihan terdistribusi, karena sering kali memiliki masalah dengan efisiensi dan fleksibilitas. Fiber membuat sistem terdistribusi lebih dapat diandalkan dan fleksibel dengan menggabungkan perangkat lunak manajemen cluster dengan penskalaan dinamis dan memungkinkan pengguna memindahkan pekerjaan mereka dari satu mesin ke banyak mesin dengan mulus.

Fiber terdiri dari tiga komponen yang berbeda: API, backend, dan lapisan cluster. Lapisan API memungkinkan pengguna membuat antrian, manajer, dan proses. Lapisan backend Fiber memungkinkan pengguna membuat dan mengakhiri pekerjaan yang dikelola oleh cluster yang berbeda, dan lapisan cluster mengelola cluster individual serta sumber daya mereka, yang sangat meningkatkan jumlah item yang Fiber harus lacak.

Fiber memungkinkan pekerjaan dijadwalkan dan dijalankan secara remote di satu mesin lokal atau banyak mesin, menggunakan konsep proses yang didukung oleh pekerjaan. Fiber juga menggunakan wadah untuk memastikan bahwa data input dan paket dependen adalah mandiri. Kerangka Fiber bahkan memiliki penanganan kesalahan bawaan sehingga jika pekerja mengalami kegagalan, dapat dengan cepat dihidupkan kembali. Fiber dapat melakukan semua ini sambil berinteraksi dengan manajer cluster, memungkinkan aplikasi Fiber berjalan seperti aplikasi normal yang berjalan di cluster komputer tertentu.

Hasil eksperimental menunjukkan bahwa waktu respons rata-rata Fiber hanya beberapa milidetik dan bahwa juga menskalakan lebih baik daripada teknik AI dasar ketika dibangun dengan 2.048 inti prosesor/pekerja. Waktu yang dibutuhkan untuk menyelesaikan pekerjaan menurun secara bertahap seiring dengan peningkatan jumlah pekerja. IPyParallel menyelesaikan 50 iterasi pelatihan dalam waktu sekitar 1400 detik, sedangkan Fiber dapat menyelesaikan 50 iterasi pelatihan yang sama dalam waktu sekitar 50 detik dengan 512 pekerja yang tersedia.

Penulis makalah Fiber menjelaskan bahwa Fiber dapat mencapai beberapa tujuan seperti penskalaan algoritma dinamis dan menggunakan volume komputasi yang besar:

“[Kerja kami menunjukkan] bahwa Fiber mencapai banyak tujuan, termasuk menggunakan sejumlah besar perangkat keras komputasi heterogen dengan efisien, menskalakan algoritma secara dinamis untuk meningkatkan efisiensi penggunaan sumber daya, mengurangi beban teknik yang diperlukan untuk membuat [pembelajaran penguatan] dan algoritma berbasis populasi bekerja di cluster komputer, dan beradaptasi dengan cepat ke lingkungan komputasi yang berbeda untuk meningkatkan efisiensi penelitian. Kami berharap ini akan lebih memungkinkan kemajuan dalam memecahkan masalah [pembelajaran penguatan] yang sulit dengan algoritma [pembelajaran penguatan] dan metode berbasis populasi dengan membuatnya lebih mudah untuk mengembangkan metode ini dan melatihnya pada skala yang diperlukan untuk benar-benar membuatnya bersinar.”