Tại sao mô hình AI Orca-2 của Microsoft đánh dấu một bước tiến đáng kể trong lĩnh vực Trí tuệ nhân tạo bền vững?

Mặc dù những tiến bộ đáng kể của trí tuệ nhân tạo trong thập kỷ qua, bao gồm cả việc đánh bại các nhà vô địch con người trong các trò chơi chiến lược như Cờ vua và Cờ vây và dự đoán cấu trúc 3D của protein, sự áp dụng rộng rãi các mô hình ngôn ngữ lớn (LLM) đánh dấu một sự thay đổi mô hình. Những mô hình này, sẵn sàng thay đổi cách tương tác giữa con người và máy tính, đã trở thành不可 thiếu trong nhiều lĩnh vực, bao gồm giáo dục, dịch vụ khách hàng, thu thập thông tin, phát triển phần mềm, truyền thông và chăm sóc sức khỏe. Trong khi những bước tiến công nghệ này mở ra những đột phá khoa học và thúc đẩy sự phát triển công nghiệp, một mặt trái đáng kể đối với hành tinh vẫn tồn tại.

Quá trình đào tạo và sử dụng LLM tiêu thụ một lượng năng lượng khổng lồ, dẫn đến tác động môi trường đáng kể với lượng khí thải carbon dioxide và khí nhà kính tăng cao. Một nghiên cứu gần đây từ Trường Thông tin và Khoa học Máy tính tại Đại học Massachusetts Amherst cho thấy rằng việc đào tạo LLM có thể phát thải hơn 626.000 pound khí carbon dioxide, tương đương với lượng khí thải trong suốt vòng đời của năm chiếc xe ô tô. Hugging Face, một công ty khởi nghiệp về AI, phát hiện ra rằng việc đào tạo BLOOM, một mô hình ngôn ngữ lớn được ra mắt vào đầu năm, dẫn đến 25 tấn khí carbon dioxide được phát thải. Tương tự, mô hình AI của Facebook , Meena, tích lũy lượng khí thải carbon tương đương với tác động môi trường của việc lái xe ô tô hơn 240.000 dặm trong quá trình đào tạo.

Mặc dù đào tạo LLM, nhu cầu về điện toán đám mây, điều cần thiết cho LLM, hiện đóng góp nhiều khí thải hơn so với toàn bộ ngành hàng không. Một trung tâm dữ liệu đơn lẻ có thể tiêu thụ nhiều năng lượng như 50.000 ngôi nhà. Một nghiên cứu khác cho thấy rằng việc đào tạo một mô hình ngôn ngữ lớn đơn lẻ có thể phát thải nhiều CO2 như năm chiếc xe ô tô sử dụng năng lượng trong suốt vòng đời của chúng. Dự đoán cho thấy rằng lượng khí thải của AI sẽ tăng 300% vào năm 2025, nhấn mạnh sự cần thiết của việc cân bằng tiến bộ AI với trách nhiệm môi trường và thúc đẩy các sáng kiến để làm cho AI trở nên thân thiện với môi trường hơn. Để giải quyết tác động môi trường tiêu cực của sự tiến bộ AI, trí tuệ nhân tạo bền vững đang nổi lên như một lĩnh vực nghiên cứu quan trọng.

Trí tuệ nhân tạo bền vững

Trí tuệ nhân tạo bền vững đại diện cho một sự thay đổi mô hình trong việc phát triển và triển khai các hệ thống trí tuệ nhân tạo, tập trung vào việc giảm thiểu tác động môi trường, xem xét đạo đức và lợi ích xã hội lâu dài. Phương pháp này nhằm tạo ra các hệ thống thông minh tiết kiệm năng lượng, có trách nhiệm với môi trường và phù hợp với giá trị con người. Trí tuệ nhân tạo bền vững tập trung vào việc sử dụng năng lượng sạch cho máy tính, các thuật toán thông minh sử dụng ít năng lượng hơn và tuân theo các hướng dẫn đạo đức để đảm bảo quyết định công bằng và minh bạch. Điều quan trọng cần lưu ý là có sự khác biệt giữa trí tuệ nhân tạo cho sự bền vững và trí tuệ nhân tạo bền vững; cái trước có thể liên quan đến việc sử dụng trí tuệ nhân tạo để tối ưu hóa các quy trình hiện có mà không nhất thiết phải xem xét các hậu quả môi trường hoặc xã hội, trong khi cái sau tích hợp chủ động các nguyên tắc bền vững vào mọi giai đoạn phát triển trí tuệ nhân tạo, từ thiết kế đến triển khai, để tạo ra tác động tích cực và lâu dài đối với hành tinh và xã hội.

Từ LLMs đến Mô hình Ngôn ngữ Nhỏ (SLM)

Trong việc theo đuổi trí tuệ nhân tạo bền vững, Microsoft (MSFT ) đang làm việc trên việc phát triển Mô hình Ngôn ngữ Nhỏ (SLM) để phù hợp với khả năng của Mô hình Ngôn ngữ Lớn (LLM). Trong nỗ lực này, họ gần đây giới thiệu Orca-2, được thiết kế để suy luận như GPT-4. Không giống như người tiền nhiệm của nó, Orca-1, có 13 tỷ tham số, Orca-2 chứa 7 tỷ tham số bằng cách sử dụng hai kỹ thuật chính.

1. Điều chỉnh Hướng dẫn: Orca-2 cải thiện bằng cách học từ các ví dụ, nâng cao chất lượng nội dung, khả năng zero-shot và kỹ năng suy luận trên nhiều nhiệm vụ.
2. Điều chỉnh Giải thích: Nhận ra những hạn chế trong việc điều chỉnh hướng dẫn, Orca-2 giới thiệu Điều chỉnh Giải thích. Điều này liên quan đến việc tạo ra các giải thích chi tiết cho các mô hình giáo viên, làm giàu tín hiệu suy luận và cải thiện sự hiểu biết tổng thể.

Orca-2 sử dụng những kỹ thuật này để đạt được khả năng suy luận hiệu quả cao, tương đương với những gì LLM đạt được với nhiều tham số hơn. Ý tưởng chính là cho phép mô hình tìm ra cách tốt nhất để giải quyết một vấn đề, cho dù đó là cung cấp một câu trả lời nhanh chóng hay suy nghĩ qua từng bước. Microsoft gọi đây là “Suy luận Cẩn thận.”

Để đào tạo Orca-2, Microsoft xây dựng một tập dữ liệu đào tạo mới bằng cách sử dụng các chú thích FLAN, Orca-1 và tập dữ liệu Orca-2. Họ bắt đầu với các câu hỏi dễ, thêm một số câu hỏi khó và sau đó sử dụng dữ liệu từ các mô hình trò chuyện để làm cho nó trở nên thông minh hơn.

Orca-2 trải qua một quá trình đánh giá toàn diện, bao gồm suy luận, hoàn thành văn bản, nền tảng, tính trung thực và an toàn. Kết quả cho thấy tiềm năng của việc cải thiện khả năng suy luận của SLM thông qua đào tạo chuyên sâu trên dữ liệu tổng hợp. Mặc dù có một số hạn chế, mô hình Orca-2 cho thấy hứa hẹn về khả năng cải thiện suy luận, kiểm soát và an toàn trong tương lai, chứng minh hiệu quả của việc áp dụng dữ liệu tổng hợp một cách chiến lược trong việc tinh chỉnh mô hình sau khi đào tạo.

Tầm quan trọng của Orca-2 đối với Trí tuệ nhân tạo bền vững

Orca-2 đại diện cho một bước nhảy vĩ đại hướng tới trí tuệ nhân tạo bền vững, thách thức niềm tin rằng chỉ có các mô hình lớn, với lượng tiêu thụ năng lượng đáng kể, mới có thể thực sự thúc đẩy khả năng của AI. Mô hình ngôn ngữ nhỏ này đưa ra một quan điểm thay thế, cho rằng việc đạt được sự xuất sắc trong các mô hình ngôn ngữ không nhất thiết đòi hỏi phải có các tập dữ liệu khổng lồ và sức mạnh tính toán rộng lớn. Thay vào đó, nó nhấn mạnh tầm quan trọng của thiết kế thông minh và tích hợp hiệu quả.

Đột phá này mở ra những khả năng mới bằng cách ủng hộ một sự thay đổi trong trọng tâm – từ việc chỉ đơn giản mở rộng AI đến việc tập trung vào cách chúng ta thiết kế nó. Đây là một bước quan trọng trong việc làm cho AI tiên tiến trở nên dễ tiếp cận hơn với khán giả rộng lớn hơn, đảm bảo rằng sự đổi mới là bao gồm và đến được nhiều người và tổ chức hơn.

Orca-2 có tiềm năng tác động đáng kể đến sự phát triển của các mô hình ngôn ngữ trong tương lai. Cho dù đó là cải thiện các nhiệm vụ liên quan đến xử lý ngôn ngữ tự nhiên hay cho phép các ứng dụng AI tinh vi hơn trên nhiều ngành công nghiệp, những mô hình nhỏ này đang sẵn sàng mang lại những thay đổi tích cực đáng kể. Hơn nữa, chúng đóng vai trò là những người tiên phong trong việc thúc đẩy các thực tiễn AI bền vững hơn, phù hợp với tiến bộ công nghệ với cam kết về trách nhiệm môi trường.

Kết luận:

Mô hình AI Orca-2 của Microsoft đại diện cho một bước tiến đột phá hướng tới trí tuệ nhân tạo bền vững, thách thức niềm tin rằng chỉ có các mô hình lớn mới có thể thúc đẩy AI. Bằng cách ưu tiên thiết kế thông minh hơn là kích thước, Orca-2 mở ra những khả năng mới, cung cấp một cách tiếp cận bao gồm và có trách nhiệm với môi trường hơn đối với sự phát triển AI tiên tiến. Sự thay đổi này đánh dấu một bước quan trọng hướng tới một mô hình mới trong thiết kế hệ thống thông minh.