Trí tuệ nhân tạo

Trí tuệ nhân tạo học từ trí tuệ nhân tạo: Sự xuất hiện của học tập xã hội giữa các mô hình ngôn ngữ lớn

Published March 22, 2024

Updated April 27, 2026

Dr. Tehseen Zia

Kể từ khi OpenAI ra mắt ChatGPT 3.5 vào cuối năm 2022, vai trò của các mô hình ngôn ngữ lớn (LLM) cơ bản đã trở nên ngày càng nổi bật trong trí tuệ nhân tạo (AI), đặc biệt là trong xử lý ngôn ngữ tự nhiên (NLP). Những LLM này, được thiết kế để xử lý và tạo ra văn bản giống con người, học từ một loạt các văn bản từ internet, từ sách đến trang web. Quá trình học này cho phép chúng nắm bắt bản chất của ngôn ngữ con người, khiến LLM trở nên giống như những người giải quyết vấn đề chung.

Trong khi sự phát triển của LLM đã mở ra những cánh cửa mới, phương pháp thích nghi những mô hình này cho các ứng dụng cụ thể – được gọi là fine-tuning – mang lại một loạt thách thức. Fine-tuning một mô hình yêu cầu đào tạo thêm trên các tập dữ liệu tập trung, điều này có thể dẫn đến khó khăn như yêu cầu dữ liệu đã được gắn nhãn, rủi ro của sự trôi dạt mô hình và quá trình phù hợp, và nhu cầu về tài nguyên đáng kể.

Để giải quyết những thách thức này, các nhà nghiên cứu từ Google đã áp dụng ý tưởng về ‘học tập xã hội‘ để giúp AI học từ AI. Ý tưởng chính là khi LLM được chuyển đổi thành các rô-bốt trò chuyện, chúng có thể tương tác và học từ nhau theo cách tương tự như học tập xã hội của con người. Sự tương tác này cho phép chúng học từ nhau, do đó cải thiện hiệu quả của chúng.

Học tập xã hội là gì?

Học tập xã hội không phải là một ý tưởng mới. Nó dựa trên một lý thuyết từ những năm 1970 của Albert Bandura, đề xuất rằng con người học từ việc quan sát người khác. Khái niệm này áp dụng cho AI có nghĩa là các hệ thống AI có thể cải thiện bằng cách tương tác với nhau, học không chỉ từ kinh nghiệm trực tiếp mà còn từ hành động của đồng nghiệp. Phương pháp này hứa hẹn sự thu được kỹ năng nhanh hơn và thậm chí có thể cho phép các hệ thống AI phát triển “văn hóa” riêng của chúng bằng cách chia sẻ kiến thức.

Không giống như các phương pháp học AI khác, như học tăng cường reinforcement learning hoặc học bắt chước từ các ví dụ trực tiếp, học tập xã hội nhấn mạnh việc học thông qua tương tác. Nó cung cấp một cách thực hành và cộng đồng hơn cho AI để thu được các kỹ năng mới.

Học tập xã hội trong LLM

Một khía cạnh quan trọng của học tập xã hội là trao đổi kiến thức mà không chia sẻ thông tin gốc và nhạy cảm. Vì vậy, các nhà nghiên cứu đã sử dụng một động lực giáo viên-học sinh, trong đó các mô hình giáo viên tạo điều kiện cho quá trình học tập của các mô hình học sinh mà không tiết lộ bất kỳ chi tiết bí mật nào. Để đạt được mục tiêu này, các mô hình giáo viên tạo ra các ví dụ tổng hợp hoặc hướng dẫn từ đó các mô hình học sinh có thể học mà không chia sẻ dữ liệu thực tế. Ví dụ, hãy xem xét một mô hình giáo viên được đào tạo để phân biệt giữa văn bản spam và không spam bằng cách sử dụng dữ liệu được người dùng đánh dấu. Nếu chúng ta muốn một mô hình khác掌握 nhiệm vụ này mà không chạm vào dữ liệu gốc, nhạy cảm, thì học tập xã hội phát huy tác dụng. Mô hình giáo viên sẽ tạo ra các ví dụ tổng hợp hoặc cung cấp thông tin dựa trên kiến thức của nó, cho phép mô hình học sinh xác định chính xác các tin nhắn spam mà không cần tiếp xúc trực tiếp với dữ liệu nhạy cảm. Chiến lược này không chỉ tăng cường hiệu quả học tập mà còn thể hiện tiềm năng của LLM để học trong các cách thức động và thích ứng, có thể xây dựng một văn hóa kiến thức tập thể. Một tính năng quan trọng của cách tiếp cận này là sự phụ thuộc vào các ví dụ tổng hợp và hướng dẫn được tạo ra. Bằng cách tạo ra các ví dụ mới, thông tin khác biệt với tập dữ liệu gốc, các mô hình giáo viên có thể bảo tồn quyền riêng tư trong khi vẫn hướng dẫn các mô hình học sinh đến việc học hiệu quả. Cách tiếp cận này đã chứng minh hiệu quả, đạt được kết quả tương đương với những kết quả thu được bằng cách sử dụng dữ liệu thực tế.

Học tập xã hội giải quyết thách thức của fine-tuning như thế nào?

Học tập xã hội cung cấp một cách mới để tinh chỉnh LLM cho các nhiệm vụ cụ thể. Nó giúp giải quyết các thách thức của fine-tuning theo các cách sau:

Ít cần dữ liệu đã được gắn nhãn: Bằng cách học từ các ví dụ tổng hợp được chia sẻ giữa các mô hình, học tập xã hội giảm sự phụ thuộc vào dữ liệu đã được gắn nhãn khó lấy.
Tránh quá chuyên biệt: Nó giữ cho các mô hình đa năng bằng cách tiếp xúc với một loạt các ví dụ rộng hơn so với những gì trong các tập dữ liệu nhỏ, cụ thể.
Giảm quá trình phù hợp: Học tập xã hội mở rộng kinh nghiệm học tập, giúp các mô hình tổng quát hóa tốt hơn và tránh quá trình phù hợp.
Tiết kiệm tài nguyên: Cách tiếp cận này cho phép sử dụng tài nguyên hiệu quả hơn, vì các mô hình học từ kinh nghiệm của nhau mà không cần truy cập trực tiếp vào các tập dữ liệu lớn.

Hướng phát triển tương lai

Tiềm năng của học tập xã hội trong LLM gợi ý nhiều cách thú vị và ý nghĩa cho nghiên cứu AI trong tương lai:

Văn hóa AI hỗn hợp: Khi LLM tham gia vào học tập xã hội, chúng có thể bắt đầu hình thành các phương pháp chung. Các nghiên cứu có thể được thực hiện để điều tra ảnh hưởng của những “văn hóa” AI mới nổi này, kiểm tra ảnh hưởng của chúng đến tương tác con người và các vấn đề đạo đức liên quan.
Học tập đa phương thức: Mở rộng học tập xã hội vượt ra ngoài văn bản để bao gồm hình ảnh, âm thanh và nhiều hơn nữa có thể dẫn đến các hệ thống AI có hiểu biết phong phú hơn về thế giới, tương tự như cách con người học thông qua nhiều giác quan.
Học tập phi tập trung: Ý tưởng về các mô hình AI học từ nhau trên một mạng phi tập trung trình bày một cách mới để mở rộng chia sẻ kiến thức. Điều này sẽ đòi hỏi giải quyết các thách thức đáng kể về phối hợp, quyền riêng tư và bảo mật.
Tương tác con người-AI: Có tiềm năng trong việc khám phá cách con người và AI có thể cùng nhau hưởng lợi từ học tập xã hội, đặc biệt là trong các môi trường giáo dục và hợp tác. Điều này có thể định nghĩa lại cách chuyển giao kiến thức và đổi mới xảy ra.
Phát triển AI đạo đức: Dạy AI giải quyết các vấn đề đạo đức thông qua học tập xã hội có thể là một bước tiến hacia AI có trách nhiệm hơn. Sự tập trung sẽ là vào phát triển các hệ thống AI có thể lý luận đạo đức và phù hợp với các giá trị của xã hội.
Hệ thống tự cải thiện: Một hệ sinh thái nơi các mô hình AI liên tục học và cải thiện từ kinh nghiệm của nhau có thể đẩy nhanh sự đổi mới của AI. Điều này gợi ý một tương lai nơi AI có thể thích nghi với các thách thức mới một cách tự chủ hơn.
Quyền riêng tư trong học tập: Với các mô hình AI chia sẻ kiến thức, việc đảm bảo quyền riêng tư của dữ liệu cơ bản là rất quan trọng. Các nỗ lực trong tương lai có thể khám phá các phương pháp tinh vi hơn để cho phép chuyển giao kiến thức mà không ảnh hưởng đến bảo mật dữ liệu.

Kết luận

Các nhà nghiên cứu của Google đã tiên phong một cách tiếp cận đổi mới gọi là học tập xã hội giữa các Mô hình Ngôn ngữ Lớn (LLM), lấy cảm hứng từ khả năng của con người để học từ việc quan sát người khác. Khung khổ này cho phép LLM chia sẻ kiến thức và cải thiện khả năng mà không cần truy cập hoặc lộ dữ liệu nhạy cảm. Bằng cách tạo ra các ví dụ tổng hợp và hướng dẫn, LLM có thể học hiệu quả, giải quyết các thách thức chính trong phát triển AI như nhu cầu về dữ liệu đã được gắn nhãn, quá chuyên biệt, quá trình phù hợp và tiêu thụ tài nguyên. Học tập xã hội không chỉ tăng cường hiệu quả và khả năng thích ứng của AI mà còn mở ra khả năng cho AI phát triển “văn hóa” chung, tham gia vào học tập đa phương thức, tham gia vào mạng phi tập trung, tương tác với con người theo cách mới, điều hướng các vấn đề đạo đức và đảm bảo quyền riêng tư. Điều này đánh dấu một bước chuyển quan trọng hướng tới các hệ thống AI cộng tác, đa năng và đạo đức hơn, hứa hẹn sẽ định nghĩa lại cảnh quan nghiên cứu và ứng dụng trí tuệ nhân tạo.