DeepMind Giới Thiệu Thuật Toán JEST: Làm Cho Việc Huấn Luyện Mô Hình AI Nhanh Hơn, Rẻ Hơn, Xanh Hơn

Trí tuệ nhân tạo tạo ra (Generative AI) đang đạt được những bước tiến đáng kinh ngạc, biến đổi các lĩnh vực như y học, giáo dục, tài chính, nghệ thuật, thể thao, v.v. Tiến bộ này chủ yếu đến từ khả năng học hỏi từ các tập dữ liệu lớn hơn và xây dựng các mô hình phức tạp hơn với hàng tỷ tham số. Mặc dù những tiến bộ này đã thúc đẩy các khám phá khoa học đáng kể, tạo ra các cơ hội kinh doanh mới và dẫn đến sự tăng trưởng công nghiệp, nhưng chúng có chi phí cao, đặc biệt là khi xem xét các tác động tài chính và môi trường của việc huấn luyện các mô hình quy mô lớn này. Các thuật toán học cần sức mạnh tính toán đáng kể để huấn luyện các mô hình trí tuệ nhân tạo tạo ra với các tập dữ liệu lớn, dẫn đến tiêu thụ năng lượng cao và lượng khí thải carbon đáng kể.

Trong khi các nỗ lực trước đây để làm cho trí tuệ nhân tạo tạo ra bền vững tập trung vào việc cải thiện hiệu suất của phần cứng cho huấn luyện AI và phát triển các mô hình nhỏ hơn với ít tham số hơn, Google DeepMind đã thực hiện một cách tiếp cận đổi mới, nhằm cải thiện hiệu suất của thuật toán huấn luyện trí tuệ nhân tạo tạo ra. Họ đã tiên phong một thuật toán mới, JEST (Joint Example Selection), hoạt động 13 lần nhanh hơn và 10 lần tiết kiệm năng lượng hơn so với các kỹ thuật hiện tại.

Trong bài viết này, chúng tôi khám phá các thách thức của việc huấn luyện AI và cách JEST giải quyết các vấn đề này. Ngoài ra, chúng tôi xem xét các ý nghĩa rộng lớn hơn và các hướng nghiên cứu tương lai cho thuật toán JEST, tưởng tượng về tác động tiềm năng của nó vượt ra ngoài việc tăng tốc, tiết kiệm chi phí và thân thiện với môi trường trong việc huấn luyện AI.

Thách thức của Việc Huấn Luyện AI: Chi Phí Cao và Tác Động Môi Trường

Huấn luyện các mô hình trí tuệ nhân tạo tạo ra trình bày các thách thức đáng kể do chi phí cao và tác động môi trường đáng kể.

• Chi Phí Tài Chính: Huấn luyện các mô hình trí tuệ nhân tạo tạo ra là một việc kinh doanh tốn kém. Các ước tính gần đây cho thấy rằng huấn luyện một mô hình lớn duy nhất, như OpenAI’s GPT-3 với 175 tỷ tham số, có thể tốn khoảng 4,6 triệu đô la. Huấn luyện ChatGPT-4 được ước tính đã tốn của OpenAI khoảng 100 triệu đô la. Những chi phí này chủ yếu được quy cho các tài nguyên tính toán khổng lồ, xử lý dữ liệu rộng lớn và thời gian huấn luyện kéo dài.
• Tiêu Thụ Năng Lượng: Các quá trình huấn luyện trí tuệ nhân tạo tạo ra cực kỳ tiêu thụ năng lượng. Huấn luyện các mô hình này liên quan đến hàng nghìn GPU và tiêu thụ nhiều gigawatt giờ năng lượng, khiến quá trình này cực kỳ tiêu thụ năng lượng. Các trung tâm dữ liệu, nơi chứa cơ sở hạ tầng tính toán cho việc huấn luyện AI, tiêu thụ khoảng 200 terawatt giờ (TWh) điện mỗi năm, tương đương 1% nhu cầu điện toàn cầu. Một báo cáo của McKinsey dự đoán rằng tiêu thụ năng lượng của trung tâm dữ liệu ở Mỹ có thể tăng từ 17 gigawatt (GW) vào năm 2017 lên 35 GW vào năm 2030, đòi hỏi đầu ra tương đương với chín đập Hoover để đáp ứng nhu cầu bổ sung này.
• Đóng Góp Khí Thải: Tiêu thụ năng lượng cao của việc huấn luyện các mô hình trí tuệ nhân tạo tạo ra đóng góp đáng kể vào khí thải nhà kính, làm trầm trọng thêm biến đổi khí hậu. Một nghiên cứu của Đại học Massachusetts Amherst cho thấy rằng huấn luyện một mô hình AI lớn có thể phát thải nhiều khí carbon dioxide như năm xe hơi trong suốt cuộc đời của chúng. Cụ thể, huấn luyện một mô hình AI duy nhất có thể phát thải hơn 626.000 pound CO2, tương đương với lượng khí thải carbon của 315 chuyến bay xuyên Mỹ.

Những thách thức này chủ yếu xuất phát từ hai nguồn chính: sự phụ thuộc vào phần cứng tính toán tiêu thụ năng lượng cao và sự không hiệu quả của các thuật toán huấn luyện hiện tại. Trong khi cộng đồng AI đã đạt được những bước tiến trong việc phát triển phần cứng tiết kiệm năng lượng, cần phải có nhiều sự quan tâm hơn đến việc tạo ra các thuật toán thông minh hơn có thể tối ưu hóa việc sử dụng dữ liệu và giảm thời gian huấn luyện. Thuật toán JEST mới được giới thiệu của Google là một nghiên cứu tiên phong hướng tới việc làm cho các thuật toán huấn luyện thông minh hơn. Bằng cách chọn thông minh dữ liệu quan trọng, JEST tăng đáng kể hiệu suất của việc huấn luyện AI, mở đường cho việc huấn luyện các mô hình trí tuệ nhân tạo tạo ra bền vững và tiết kiệm chi phí hơn.

Hiểu Về Thuật Toán JEST

JEST là một thuật toán học được thiết kế để huấn luyện các mô hình trí tuệ nhân tạo tạo ra đa phương thức hiệu quả hơn. Để hiểu cách JEST hoạt động, hãy nghĩ về việc huấn luyện AI như giải một câu đố phức tạp, nơi mỗi mảnh (điểm dữ liệu) giúp xây dựng hình ảnh hoàn chỉnh (mô hình AI). JEST hoạt động như một người giải đố giàu kinh nghiệm, làm cho quá trình này hiệu quả hơn. Giống như một người giải đố chọn ra những mảnh quan trọng và đặc biệt nhất, JEST xác định và chọn các lô dữ liệu có giá trị nhất từ tập dữ liệu, đảm bảo mỗi lô đóng vai trò quan trọng trong việc phát triển AI.

JEST sử dụng một mô hình AI nhỏ hơn để đánh giá chất lượng của các lô dữ liệu. Những lô này sau đó được xếp hạng dựa trên hiệu quả của chúng trong việc huấn luyện mô hình. Với những lô được chọn cẩn thận này, JEST lắp ráp chiến lược để huấn luyện mô hình. Giống như một người giải đố sắp xếp các mảnh ghép để tối đa hóa hiệu quả và tính nhất quán, JEST tăng tốc đáng kể quá trình huấn luyện bằng cách ưu tiên và chọn các lô thông tin nhất.

Một phần quan trọng của cách tiếp cận JEST là học tương phản đa phương thức. Kỹ thuật này tập trung vào việc học sự tương ứng giữa các loại dữ liệu khác nhau, như văn bản và hình ảnh. JEST sử dụng một phương pháp học tương phản đa phương thức để đánh giá hiệu quả của một mẫu dữ liệu đa phương thức trong việc huấn luyện mô hình. Ngoài hiệu quả của các mẫu dữ liệu cá nhân, JEST cũng đánh giá khả năng học tập tập thể của các mẫu dữ liệu để chọn một lô dữ liệu nhỏ từ một “siêu lô” lớn hơn. Quá trình này giúp JEST chọn và ưu tiên các lô cung cấp thách thức và cơ hội học tập phong phú.

Nhìn Về Tương Lai: JEST Vượt Ra Ngoài Việc Huấn Luyện AI Nhanh Hơn, Rẻ Hơn, Xanh Hơn

Khi chúng ta khám phá các ý nghĩa tương lai của JEST (Joint Example Selection), rõ ràng rằng những đóng góp của nó vượt ra ngoài việc tăng tốc huấn luyện AI, cắt giảm chi phí và thúc đẩy tính bền vững môi trường. Tại đây, chúng tôi tìm hiểu cách JEST có thể tiếp tục cải thiện và biến đổi lĩnh vực trí tuệ nhân tạo tạo ra:

• Cải Thiện Hiệu Suất và Độ Chính Xác Của Mô Hình: Cách tiếp cận đổi mới của JEST trong việc chọn và ưu tiên dữ liệu dẫn đến thời gian huấn luyện nhanh hơn và hiệu suất mô hình được cải thiện. Bằng cách tập trung vào các lô dữ liệu thông tin nhất, JEST đảm bảo rằng các mô hình AI được huấn luyện trên các đầu vào chất lượng cao, cải thiện độ chính xác và độ bền của chúng. Ưu điểm này là quan trọng trong các ứng dụng mà độ chính xác và độ tin cậy là tối quan trọng, chẳng hạn như chẩn đoán y tế, dự báo tài chính và hệ thống tự động.
• Xác Định và Giảm Thiểu Sự Th偏 Trong Dữ Liệu: Trí tuệ nhân tạo dễ bị ảnh hưởng bởi các tập dữ liệu thiên vị nơi một số nhóm hoặc quan điểm bị dưới đại diện hoặc bị đại diện sai. Cách tiếp cận chọn dữ liệu của JEST liên quan đến việc đánh giá chất lượng và tính thông tin của các lô dữ liệu. Bằng cách ưu tiên các mẫu dữ liệu đa dạng và đại diện, JEST có thể giúp các hệ thống AI học từ một tập dữ liệu cân bằng hơn, do đó giảm thiểu sự thiên vị trong dữ liệu huấn luyện. Ví dụ, trong các ứng dụng AI y tế, JEST có thể chọn các lô dữ liệu bao gồm các yếu tố dân số học khác nhau, đảm bảo rằng các mô hình chẩn đoán y tế được huấn luyện trên các quần thể bệnh nhân đa dạng. Sự lựa chọn này giảm thiểu rủi ro của sự thiên vị có thể ảnh hưởng không tương xứng đến một số nhóm dựa trên chủng tộc, giới tính hoặc tình trạng kinh tế xã hội.
• Thúc Đẩy Sáng Tạo và Nghiên Cứu: Bằng cách giảm đáng kể tài nguyên tính toán và thời gian cần thiết cho việc huấn luyện mô hình AI, JEST giảm thiểu rào cản gia nhập cho các nhà nghiên cứu và nhà đổi mới. Sự tiếp cận này tạo ra một hệ sinh thái phát triển AI sôi động hơn, nơi các đội ngũ và tổ chức nhỏ hơn có thể thử nghiệm và triển khai các giải pháp AI tiên tiến. Hơn nữa, những lợi ích về hiệu suất do JEST cung cấp giải phóng tài nguyên có thể được chuyển hướng để khám phá các lĩnh vực mới trong AI, chẳng hạn như kiến trúc mới, thuật toán tiên tiến và khuôn khổ AI đạo đức.
• Thúc Đẩy Phát Triển AI Đa Dạng: Phát triển AI nên liên quan đến các quan điểm và đầu vào đa dạng để hiệu quả giảm thiểu sự thiên vị và lo ngại đạo đức. Khả năng của JEST trong việc chọn dữ liệu dựa trên giá trị thông tin và tính đại diện của nó khuyến khích các thực hành đa dạng trong việc thu thập dữ liệu. Các nhà phát triển AI có thể đảm bảo rằng JEST giải quyết hiệu quả các sự thiên vị và lo ngại đạo đức bằng cách liên quan đến các đội ngũ đa ngành trong việc xác định các tiêu chí chọn dữ liệu, bao gồm cả chuyên gia về đạo đức, khoa học xã hội và lĩnh vực chuyên môn. Cách tiếp cận hợp tác này thúc đẩy sự phát triển AI đa dạng và có trách nhiệm hơn.

Kết Luận

Việc giới thiệu thuật toán JEST của DeepMind đại diện cho một bước nhảy vĩ đại trong việc huấn luyện trí tuệ nhân tạo tạo ra. Bằng cách tăng tốc đáng kể quá trình huấn luyện và giảm tiêu thụ năng lượng, JEST mang lại tiết kiệm chi phí đáng kể và giải quyết các vấn đề môi trường liên quan đến việc phát triển AI. Ngoài những lợi thế này, JEST có tiềm năng cải thiện độ chính xác của mô hình, giảm thiểu sự thiên vị trong dữ liệu, thúc đẩy sáng tạo và khuyến khích phát triển AI đa dạng. Sự tinh chỉnh và áp dụng liên tục của JEST có khả năng định hình lại tương lai của AI, tiến tới các giải pháp AI hiệu quả, bền vững và có trách nhiệm hơn.