Khung Nâng Cấp Trí Tuệ Nhân Tạo Của Uber Là Một Khung Mới Để Đào Tạo Mô Hình Trí Tuệ Nhân Tạo Phân Tán

Theo VentureBeat, các nhà nghiên cứu trí tuệ nhân tạo tại Uber đã đăng một bài báo trên Arxiv về một nền tảng mới nhằm hỗ trợ việc tạo ra các mô hình trí tuệ nhân tạo phân tán. Nền tảng này được gọi là Fiber, và nó có thể được sử dụng để thúc đẩy cả việc học tăng cường và học dựa trên dân số. Fiber được thiết kế để làm cho tính toán song song lớn hơn trở nên dễ tiếp cận hơn với những người không chuyên, cho phép họ tận dụng sức mạnh của các thuật toán và mô hình trí tuệ nhân tạo phân tán.

Fiber đã được mở nguồn trên GitHub, và nó tương thích với Python 3.6 hoặc cao hơn, với Kubernetes chạy trên hệ thống Linux và chạy trong môi trường đám mây. Theo nhóm nghiên cứu, nền tảng này có thể dễ dàng mở rộng lên hàng trăm hoặc hàng nghìn máy riêng lẻ.

Nhóm nghiên cứu từ Uber giải thích rằng nhiều tiến bộ gần đây và quan trọng trong lĩnh vực trí tuệ nhân tạo đã được thúc đẩy bởi các mô hình lớn hơn và nhiều thuật toán hơn được đào tạo bằng cách sử dụng kỹ thuật đào tạo phân tán. Tuy nhiên, việc tạo ra các mô hình dựa trên dân số và mô hình tăng cường vẫn còn là một nhiệm vụ khó khăn đối với các kế hoạch đào tạo phân tán, vì chúng thường gặp phải vấn đề về hiệu suất và linh hoạt. Fiber làm cho hệ thống phân tán trở nên đáng tin cậy và linh hoạt hơn bằng cách kết hợp phần mềm quản lý cụm với khả năng mở rộng động và cho phép người dùng di chuyển công việc của họ từ một máy đến một số lượng lớn máy một cách liền mạch.

Fiber bao gồm三个 thành phần khác nhau: một API, một backend và một lớp cụm. Lớp API cho phép người dùng tạo ra các hàng đợi, quản lý và quá trình. Lớp backend của Fiber cho phép người dùng tạo và chấm dứt các công việc được quản lý bởi các cụm khác nhau, và lớp cụm quản lý các cụm riêng lẻ cùng với tài nguyên của chúng, điều này làm giảm đáng kể số lượng mục mà Fiber cần theo dõi.

Fiber cho phép các công việc được xếp hàng và chạy từ xa trên một máy cục bộ hoặc nhiều máy khác nhau, sử dụng khái niệm về các quá trình được hỗ trợ bởi công việc. Fiber cũng sử dụng các container để đảm bảo rằng dữ liệu đầu vào và các gói phụ thuộc được tự chứa. Khung Fiber thậm chí còn bao gồm xử lý lỗi tích hợp để nếu một công nhân bị treo, nó có thể được nhanh chóng khôi phục. Fiber có thể thực hiện tất cả những điều này trong khi tương tác với các quản lý cụm, cho phép các ứng dụng Fiber chạy như thể chúng là các ứng dụng thông thường chạy trên một cụm máy tính nhất định.

Kết quả thử nghiệm cho thấy rằng thời gian phản hồi trung bình của Fiber chỉ là vài mili giây và nó cũng mở rộng tốt hơn so với các kỹ thuật trí tuệ nhân tạo cơ bản khi được xây dựng với 2.048 lõi xử lý / công nhân. Thời gian cần thiết để hoàn thành công việc giảm dần khi số lượng công nhân tăng lên. IPyParallel hoàn thành 50 lần lặp lại của quá trình đào tạo trong khoảng 1400 giây, trong khi Fiber có thể hoàn thành 50 lần lặp lại của quá trình đào tạo trong khoảng 50 giây với 512 công nhân có sẵn.

Các đồng tác giả của bài báo về Fiber giải thích rằng Fiber có thể đạt được nhiều mục tiêu như mở rộng động các thuật toán và sử dụng một lượng lớn năng lực tính toán:

“[Công việc của chúng tôi cho thấy] rằng Fiber đạt được nhiều mục tiêu, bao gồm tận dụng hiệu quả một lượng lớn phần cứng tính toán dị hợp, mở rộng động các thuật toán để cải thiện hiệu quả sử dụng tài nguyên, giảm gánh nặng kỹ thuật cần thiết để làm cho các thuật toán tăng cường và dựa trên dân số hoạt động trên các cụm máy tính, và nhanh chóng thích nghi với các môi trường tính toán khác nhau để cải thiện hiệu quả nghiên cứu. Chúng tôi hy vọng rằng nó sẽ giúp thúc đẩy tiến bộ trong việc giải quyết các vấn đề khó khăn về học tăng cường bằng cách sử dụng các thuật toán học tăng cường và các phương pháp dựa trên dân số bằng cách làm cho việc phát triển các phương pháp này và đào tạo chúng ở quy mô cần thiết để thực sự thấy chúng tỏa sáng trở nên dễ dàng hơn.”