DeepMind Giới Thiệu Thuật Toán JEST: Làm Cho Huấn Luyện Mô Hình AI Nhanh Hơn, Rẻ Hơn, Xanh Hơn

Trí tuệ nhân tạo tạo ra những bước tiến đáng kinh ngạc, biến đổi các lĩnh vực như y học, giáo dục, tài chính, nghệ thuật, thể thao, v.v. Tiến bộ này chủ yếu đến từ khả năng học hỏi của AI từ các tập dữ liệu lớn hơn và xây dựng các mô hình phức tạp hơn với hàng tỷ tham số. Mặc dù những tiến bộ này đã thúc đẩy những khám phá khoa học đáng kể, tạo ra các cơ hội kinh doanh mới và dẫn đến sự tăng trưởng công nghiệp, nhưng chúng đi kèm với chi phí cao, đặc biệt là khi xem xét các tác động tài chính và môi trường của việc huấn luyện những mô hình quy mô lớn này. Các thuật toán học hỏi cần sức mạnh tính toán đáng kể để huấn luyện các mô hình AI tạo ra với các tập dữ liệu lớn, dẫn đến tiêu thụ năng lượng cao và lượng khí thải carbon đáng kể.

Mặc dù những nỗ lực trước đây nhằm làm cho trí tuệ nhân tạo tạo ra bền vững tập trung vào việc cải thiện hiệu suất của phần cứng cho huấn luyện AI và phát triển các mô hình nhỏ hơn với ít tham số hơn, Google DeepMind đã thực hiện một cách tiếp cận đổi mới, nhằm cải thiện hiệu suất của thuật toán huấn luyện AI tạo ra. Họ đã tiên phong một thuật toán mới, JEST (Joint Example Selection), hoạt động 13 lần nhanh hơn và 10 lần hiệu quả hơn về năng lượng so với các kỹ thuật hiện tại.

Trong bài viết này, chúng tôi khám phá các thách thức của việc huấn luyện AI và cách JEST giải quyết những vấn đề này. Ngoài ra, chúng tôi xem xét các ý nghĩa rộng hơn và hướng nghiên cứu tương lai cho thuật toán JEST, tưởng tượng về tác động tiềm tàng của nó vượt ra ngoài việc tăng tốc, giảm chi phí và thân thiện với môi trường trong việc huấn luyện AI.

Thách Thức Của Việc Huấn Luyện AI: Chi Phí Cao Và Tác Động Môi Trường

Huấn luyện các mô hình AI tạo ra đặt ra những thách thức đáng kể do chi phí cao và tác động môi trường đáng kể.

• Chi Phí Tài Chính: Huấn luyện các mô hình AI tạo ra là một việc tốn kém. Các ước tính gần đây cho thấy rằng huấn luyện một mô hình lớn duy nhất, như OpenAI’s GPT-3 với 175 tỷ tham số, có thể tốn khoảng 4,6 triệu đô la. Huấn luyện ChatGPT-4 được ước tính đã tốn của OpenAI khoảng 100 triệu đô la. Những chi phí này chủ yếu được quy cho các tài nguyên tính toán khổng lồ, xử lý dữ liệu rộng lớn và thời gian huấn luyện kéo dài.
• Tiêu Thụ Năng Lượng: Quá trình huấn luyện AI tạo ra cực kỳ tiêu thụ năng lượng. Huấn luyện những mô hình này liên quan đến hàng nghìn GPU và tiêu thụ nhiều gigawatt giờ năng lượng, khiến quá trình này cực kỳ tiêu thụ năng lượng. Các trung tâm dữ liệu, nơi chứa cơ sở hạ tầng tính toán cho việc huấn luyện AI, tiêu thụ khoảng 200 terawatt giờ (TWh) điện mỗi năm, chiếm khoảng 1% nhu cầu điện toàn cầu. Một báo cáo của McKinsey dự đoán rằng tiêu thụ năng lượng của trung tâm dữ liệu ở Mỹ có thể tăng từ 17 gigawatt (GW) vào năm 2017 lên 35 GW vào năm 2030, đòi hỏi phải có sản lượng tương đương với 9 đập Hoover để đáp ứng nhu cầu tăng thêm này.
• Đóng Góp Khí Thải: Tiêu thụ năng lượng cao của việc huấn luyện các mô hình AI tạo ra đóng góp đáng kể vào khí thải khí nhà kính, làm trầm trọng thêm biến đổi khí hậu. Một nghiên cứu của Đại học Massachusetts Amherst cho thấy rằng việc huấn luyện một mô hình AI lớn có thể phát thải nhiều carbon dioxide như năm chiếc xe hơi trong suốt vòng đời của chúng. Cụ thể, việc huấn luyện một mô hình AI duy nhất có thể phát thải hơn 626.000 pound CO2, tương đương với lượng khí thải carbon của 315 chuyến bay xuyên Mỹ.

Những thách thức này chủ yếu xuất phát từ hai nguồn chính: sự phụ thuộc vào phần cứng tính toán tiêu thụ năng lượng cao và sự không hiệu quả của các thuật toán huấn luyện hiện tại. Mặc dù cộng đồng AI đã đạt được những tiến bộ trong việc phát triển phần cứng tiết kiệm năng lượng, nhưng vẫn cần tập trung hơn vào việc tạo ra các thuật toán thông minh hơn có thể tối ưu hóa việc sử dụng dữ liệu và giảm thời gian huấn luyện. Thuật toán JEST mới được Google giới thiệu là một bước tiến trong nghiên cứu nhằm làm cho các thuật toán huấn luyện trở nên thông minh hơn. Bằng cách chọn thông minh dữ liệu quan trọng, JEST tăng đáng kể hiệu suất của việc huấn luyện AI, mở ra con đường cho việc huấn luyện các mô hình AI tạo ra bền vững và tiết kiệm chi phí hơn.

Hiểu Về Thuật Toán JEST

JEST là một thuật toán học hỏi được thiết kế để huấn luyện các mô hình AI tạo ra đa phương thức hiệu quả hơn. Để hiểu cách JEST hoạt động, hãy nghĩ về việc huấn luyện AI như giải một câu đố phức tạp, nơi mỗi mảnh (điểm dữ liệu) giúp xây dựng bức tranh hoàn chỉnh (mô hình AI). JEST hoạt động như một người giải đố có kinh nghiệm, làm cho quá trình này hiệu quả hơn. Giống như một người giải đố chọn ra những mảnh quan trọng và đặc biệt, JEST xác định và chọn các lô dữ liệu có giá trị nhất từ tập dữ liệu, đảm bảo mỗi lô đóng vai trò quan trọng trong việc phát triển AI.

JEST sử dụng một mô hình AI nhỏ hơn để đánh giá chất lượng của các lô dữ liệu. Những lô này sau đó được xếp hạng dựa trên hiệu quả của chúng trong việc huấn luyện mô hình. Với những lô được chọn cẩn thận, JEST lắp ráp chúng một cách chiến lược để huấn luyện mô hình. Giống như một người giải đố sắp xếp các mảnh ghép để tối ưu hóa hiệu quả và tính nhất quán, JEST tăng tốc đáng kể quá trình huấn luyện bằng cách ưu tiên và chọn các lô thông tin nhất.

Một phần quan trọng của cách tiếp cận JEST là học hỏi tương phản đa phương thức. Kỹ thuật này tập trung vào việc học hỏi sự tương ứng giữa các loại dữ liệu khác nhau, như văn bản và hình ảnh. JEST sử dụng một phương pháp học hỏi tương phản đa phương thức để đánh giá hiệu quả của một mẫu dữ liệu đa phương thức trong việc huấn luyện mô hình. Ngoài hiệu quả của từng mẫu dữ liệu, JEST cũng đánh giá khả năng học tập tập thể của các mẫu dữ liệu để chọn một lô dữ liệu nhỏ từ một “siêu lô” lớn hơn. Quá trình này giúp JEST chọn và ưu tiên các lô cung cấp thách thức và cơ hội học tập phong phú.

Nhìn Về Tương Lai: JEST Vượt Ra Ngoài Việc Huấn Luyện AI Nhanh Hơn, Rẻ Hơn, Xanh Hơn

Khi chúng ta khám phá các ý nghĩa tương lai của JEST (Joint Example Selection), rõ ràng rằng những đóng góp của nó vượt ra ngoài việc tăng tốc huấn luyện AI, cắt giảm chi phí và thúc đẩy tính bền vững môi trường. Ở đây, chúng tôi đi sâu vào cách JEST có thể tiếp tục cải thiện và biến đổi lĩnh vực AI tạo ra:

• Cải Thiện Hiệu Suất Mô Hình Và Độ Chính Xác: Cách tiếp cận đổi mới của JEST trong việc chọn và ưu tiên dữ liệu dẫn đến thời gian huấn luyện nhanh hơn và hiệu suất mô hình được cải thiện. Bằng cách tập trung vào các lô dữ liệu thông tin nhất, JEST đảm bảo rằng các mô hình AI được huấn luyện trên các đầu vào chất lượng cao, cải thiện độ chính xác và độ bền của chúng. Ưu thế này là quan trọng trong các ứng dụng mà độ chính xác và độ tin cậy là tối quan trọng, như chẩn đoán y tế, dự báo tài chính và hệ thống tự động.
• Xác Định Và Giảm Thiểu Sự Th偏 Trong Dữ Liệu: AI dễ bị ảnh hưởng bởi các tập dữ liệu thiên vị nơi một số nhóm hoặc quan điểm bị thiếu đại diện hoặc bị đại diện sai. Cách tiếp cận chọn dữ liệu của JEST liên quan đến việc đánh giá chất lượng và tính thông tin của các lô dữ liệu. Bằng cách ưu tiên các mẫu dữ liệu đa dạng và đại diện, JEST có thể giúp các hệ thống AI học hỏi từ một tập dữ liệu cân bằng hơn, do đó giảm thiểu sự thiên vị trong dữ liệu huấn luyện. Ví dụ, trong các ứng dụng AI y tế, JEST có thể chọn các lô dữ liệu bao gồm các yếu tố dân số khác nhau, đảm bảo rằng các mô hình chẩn đoán y tế được huấn luyện trên các quần thể bệnh nhân đa dạng. Sự lựa chọn này giảm thiểu rủi ro của sự thiên vị có thể ảnh hưởng không tương xứng đến một số nhóm dựa trên chủng tộc, giới tính hoặc tình trạng kinh tế xã hội.
• Thúc Đẩy Sáng Tạo Và Nghiên Cứu: Bằng cách giảm đáng kể tài nguyên tính toán và thời gian cần thiết cho việc huấn luyện mô hình AI, JEST giảm thiểu rào cản cho các nhà nghiên cứu và nhà đổi mới. Sự tiếp cận này tạo ra một hệ sinh thái phát triển AI sôi động hơn, nơi các đội nhỏ và tổ chức có thể thử nghiệm và triển khai các giải pháp AI tiên tiến. Hơn nữa, lợi ích hiệu suất mà JEST cung cấp giải phóng tài nguyên có thể được chuyển hướng đến việc khám phá các lĩnh vực mới trong AI, như kiến trúc mới, thuật toán tiên tiến và khuôn khổ AI đạo đức.
• Thúc Đẩy Phát Triển AI Đa Dạng: Phát triển AI nên liên quan đến các quan điểm và đầu vào đa dạng để hiệu quả giảm thiểu sự thiên vị và quan ngại đạo đức. Khả năng của JEST trong việc chọn dữ liệu dựa trên giá trị thông tin và tính đại diện khuyến khích các thực hành đa dạng trong việc thu thập dữ liệu. Các nhà phát triển AI có thể đảm bảo rằng JEST giải quyết hiệu quả các vấn đề thiên vị và quan ngại đạo đức bằng cách liên quan đến các đội đa ngành trong việc định nghĩa tiêu chí chọn dữ liệu, bao gồm cả chuyên gia về đạo đức, khoa học xã hội và lĩnh vực cụ thể. Cách tiếp cận hợp tác này thúc đẩy sự phát triển AI có trách nhiệm và đa dạng hơn.

Kết Luận

Sự giới thiệu thuật toán JEST của DeepMind đại diện cho một bước nhảy vĩ đại trong việc huấn luyện AI tạo ra. Bằng cách tăng tốc đáng kể quá trình huấn luyện và giảm tiêu thụ năng lượng, JEST mang lại tiết kiệm chi phí đáng kể và giải quyết các vấn đề môi trường liên quan đến phát triển AI. Ngoài những lợi thế này, JEST có tiềm năng cải thiện độ chính xác của mô hình, giảm thiểu sự thiên vị trong dữ liệu, thúc đẩy sáng tạo và khuyến khích phát triển AI đa dạng. Sự tinh chỉnh và ứng dụng liên tục của JEST đang sẵn sàng để định nghĩa lại tương lai của AI, tiến tới các giải pháp AI hiệu quả, bền vững và có trách nhiệm hơn.