Trận chiến giữa các mô hình ngôn ngữ nguồn mở và nguồn đóng: Phân tích kỹ thuật

Các mô hình ngôn ngữ lớn (LLM) đã thu hút cộng đồng AI trong những năm gần đây, dẫn đầu những đột phá trong xử lý ngôn ngữ tự nhiên. Đằng sau sự cường điệu là một cuộc tranh luận phức tạp – những mô hình mạnh mẽ này nên là nguồn mở hay nguồn đóng?

Trong bài đăng này, chúng tôi sẽ phân tích sự khác biệt về mặt kỹ thuật giữa các phương pháp này để hiểu những cơ hội và hạn chế mà mỗi phương pháp mang lại. Chúng tôi sẽ đề cập đến các khía cạnh chính sau:

• Xác định LLM nguồn mở và LLM nguồn đóng
• Tính minh bạch về kiến ​​trúc và khả năng tùy chỉnh
• Điểm chuẩn hiệu suất
• Yêu cầu tính toán
• Ứng dụng linh hoạt
• Khả năng tiếp cận và cấp phép
• Quyền riêng tư và bảo mật dữ liệu
• Hỗ trợ và hỗ trợ thương mại

Cuối cùng, bạn sẽ có cái nhìn sáng suốt về sự cân bằng kỹ thuật giữa LLM nguồn mở và nguồn đóng để hướng dẫn chiến lược AI của riêng bạn. Hãy đi sâu vào!

Xác định LLM nguồn mở và LLM nguồn đóng

LLM nguồn mở có kiến ​​trúc mô hình, mã nguồn và tham số trọng lượng có thể truy cập công khai. Điều này cho phép các nhà nghiên cứu kiểm tra nội bộ, đánh giá chất lượng, tái tạo kết quả và xây dựng các biến thể tùy chỉnh. Các ví dụ hàng đầu bao gồm Hiến phápAI của Anthropic, LLaMA của Meta và GPT-NeoX của EleutherAI.

Ngược lại, LLM nguồn đóng coi trọng lượng và kiến ​​trúc mô hình là tài sản độc quyền. Các tổ chức thương mại như Anthropic, DeepMind và OpenAI phát triển chúng trong nội bộ. Nếu không có mã có thể truy cập hoặc chi tiết thiết kế, khả năng tái tạo và tùy chỉnh sẽ gặp phải những hạn chế.

Tính minh bạch và khả năng tùy chỉnh về kiến ​​trúc

Quyền truy cập vào nội bộ LLM nguồn mở mở ra các cơ hội tùy chỉnh đơn giản là không thể thực hiện được với các lựa chọn thay thế nguồn đóng.

Bằng cách điều chỉnh kiến ​​trúc mô hình, các nhà nghiên cứu có thể khám phá các kỹ thuật như giới thiệu khả năng kết nối thưa thớt giữa các lớp hoặc thêm mã thông báo phân loại chuyên dụng để nâng cao hiệu suất cho các nhiệm vụ thích hợp. Với quyền truy cập vào các tham số trọng số, nhà phát triển có thể chuyển các biểu diễn tìm hiểu hiện có hoặc khởi tạo các biến thể bằng các khối xây dựng được đào tạo trước như phần nhúng T5 và BERT.

Khả năng tùy chỉnh này cho phép LLM nguồn mở phục vụ tốt hơn các lĩnh vực chuyên biệt như nghiên cứu y sinh, tạo mã và giáo dục. Tuy nhiên, chuyên môn cần thiết có thể làm tăng rào cản trong việc cung cấp các triển khai có chất lượng sản xuất.

LLM nguồn đóng cung cấp khả năng tùy chỉnh hạn chế vì các chi tiết kỹ thuật của chúng vẫn là độc quyền. Tuy nhiên, những người ủng hộ họ cam kết nguồn lực dồi dào cho nghiên cứu và phát triển nội bộ. Các hệ thống thu được sẽ đẩy mạnh những gì có thể làm được với kiến ​​trúc LLM tổng quát.

Vì vậy, mặc dù LLM nguồn đóng kém linh hoạt hơn nhưng lại vượt trội trong các nhiệm vụ ngôn ngữ tự nhiên có thể áp dụng rộng rãi. Chúng cũng đơn giản hóa việc tích hợp bằng cách tuân thủ các giao diện đã được thiết lập như tiêu chuẩn OpenAPI.

Đo điểm chuẩn hiệu suất

Bất chấp sự minh bạch về kiến ​​trúc, việc đo lường hiệu suất LLM nguồn mở đặt ra những thách thức. Tính linh hoạt của chúng cho phép vô số cấu hình và chiến lược điều chỉnh có thể có. Nó cũng cho phép các mô hình có tiền tố là “nguồn mở” thực sự bao gồm các kỹ thuật độc quyền làm sai lệch các so sánh.

LLM nguồn đóng tự hào về các mục tiêu hiệu suất được xác định rõ ràng hơn làm điểm chuẩn của người ủng hộ và quảng cáo các ngưỡng số liệu cụ thể. Ví dụ: Anthropic công khai tính chính xác của Hiến phápAI đối với các bộ vấn đề NLU được quản lý. Microsoft nêu bật cách GPT-4 vượt qua các tiêu chuẩn cơ bản của con người trên bộ công cụ hiểu ngôn ngữ SuperGLUE.

Điều đó cho thấy, những điểm chuẩn được xác định hẹp này đã phải đối mặt với sự chỉ trích vì đã phóng đại hiệu suất đối với các nhiệm vụ trong thế giới thực và thể hiện thấp hơn những thất bại. Đánh giá LLM thực sự không thiên vị vẫn là một câu hỏi nghiên cứu mở - cho cả cách tiếp cận nguồn mở và nguồn đóng.

Yêu cầu tính toán

Việc đào tạo các mô hình ngôn ngữ lớn đòi hỏi nhiều nguồn lực tính toán. OpenAI đã chi hàng triệu USD để đào tạo GPT-3 về cơ sở hạ tầng đám mây, trong khi Anthropic tiêu tốn số GPU trị giá lên tới 10 triệu USD cho CharteralAI.

Dự luật dành cho các mô hình như vậy loại trừ hầu hết các cá nhân và nhóm nhỏ khỏi cộng đồng nguồn mở. Trên thực tế, EleutherAI đã phải loại bỏ mô hình GPT-J khỏi quyền truy cập công khai do chi phí lưu trữ bùng nổ.

Không có nhiều tiền, các câu chuyện thành công của LLM nguồn mở sẽ tận dụng các tài nguyên máy tính được quyên góp. LAION đã tuyển chọn mẫu LAION-5B tập trung vào công nghệ bằng cách sử dụng dữ liệu từ cộng đồng. Dự án Anthropic Hiến pháp AI phi lợi nhuận sử dụng điện toán tình nguyện.

Sự hỗ trợ công nghệ lớn của các công ty như Google, Meta và Baidu cung cấp cho các nỗ lực nguồn đóng nguồn lực tài chính cần thiết để công nghiệp hóa việc phát triển LLM. Điều này cho phép mở rộng quy mô đến mức không thể đo lường được đối với các sáng kiến ​​cấp cơ sở – chỉ cần xem mô hình Gopher tham số 280 tỷ của DeepMind.

Tính linh hoạt của ứng dụng

Khả năng tùy chỉnh của LLM nguồn mở cho phép giải quyết các trường hợp sử dụng có tính chuyên môn cao. Các nhà nghiên cứu có thể mạnh mẽ sửa đổi nội bộ mô hình để tăng hiệu suất cho các nhiệm vụ thích hợp như dự đoán cấu trúc protein, tạo tài liệu mã và xác minh bằng chứng toán học.

Điều đó cho thấy, khả năng truy cập và chỉnh sửa mã không đảm bảo giải pháp hiệu quả cho từng miền cụ thể nếu không có dữ liệu phù hợp. Các bộ dữ liệu đào tạo toàn diện cho các ứng dụng hẹp cần nỗ lực đáng kể để quản lý và cập nhật liên tục.

Ở đây, LLM nguồn đóng được hưởng lợi từ các tài nguyên để lấy dữ liệu đào tạo từ các kho lưu trữ nội bộ và các đối tác thương mại. Ví dụ: DeepMind cấp phép cho các cơ sở dữ liệu như ChEMBL cho hóa học và UniProt cho protein để mở rộng phạm vi ứng dụng. Truy cập dữ liệu ở quy mô công nghiệp cho phép các mô hình như Gopher đạt được tính linh hoạt vượt trội bất chấp độ mờ kiến ​​​​trúc.

Khả năng tiếp cận và cấp phép

Việc cấp phép cho phép LLM nguồn mở thúc đẩy sự truy cập và cộng tác miễn phí. Các mô hình như GPT-NeoX, LLaMA và Jurassic-1 Jumbo sử dụng các thỏa thuận như Creative Commons và Apache 2.0 để cho phép nghiên cứu phi thương mại và thương mại hóa công bằng.

Ngược lại, LLM nguồn đóng có các giấy phép hạn chế làm hạn chế tính khả dụng của mô hình. Các thực thể thương mại kiểm soát chặt chẽ quyền truy cập để bảo vệ nguồn doanh thu tiềm năng từ API dự đoán và quan hệ đối tác doanh nghiệp.

Có thể hiểu được, các tổ chức như Anthropic và Cohere tính phí truy cập vào giao diện Hiến phápAI và Cohere-512. Tuy nhiên, điều này có nguy cơ làm mất giá các lĩnh vực nghiên cứu quan trọng, làm lệch hướng phát triển theo hướng các ngành được tài trợ tốt.

Việc cấp phép mở cũng đặt ra những thách thức, đặc biệt là xung quanh việc ghi công và trách nhiệm pháp lý. Tuy nhiên, đối với các trường hợp sử dụng nghiên cứu, các quyền tự do được cấp bởi khả năng tiếp cận nguồn mở mang lại những lợi thế rõ ràng.

Quyền riêng tư và bảo mật dữ liệu

Bộ dữ liệu đào tạo cho LLM thường tổng hợp nội dung từ nhiều nguồn trực tuyến khác nhau như trang web, bài báo khoa học và diễn đàn thảo luận. Điều này có nguy cơ làm lộ thông tin nhận dạng cá nhân hoặc thông tin nhạy cảm trong kết quả đầu ra của mô hình.

Đối với LLM nguồn mở, việc xem xét kỹ lưỡng thành phần tập dữ liệu cung cấp biện pháp bảo vệ tốt nhất chống lại các vấn đề bảo mật. Đánh giá nguồn dữ liệu, quy trình lọc và ghi lại các ví dụ liên quan được tìm thấy trong quá trình thử nghiệm có thể giúp xác định các lỗ hổng.

Thật không may, LLM nguồn đóng ngăn cản việc kiểm toán công khai như vậy. Thay vào đó, người tiêu dùng phải dựa vào tính chặt chẽ của quy trình đánh giá nội bộ dựa trên các chính sách đã được công bố. Đối với ngữ cảnh, Dịch vụ nhận thức Azure hứa hẹn sẽ lọc dữ liệu cá nhân trong khi Google chỉ định các đánh giá chính thức về quyền riêng tư và ghi nhãn dữ liệu.

Nhìn chung, LLM nguồn mở cho phép xác định chủ động hơn các rủi ro bảo mật trong hệ thống AI trước khi những sai sót đó xuất hiện trên quy mô lớn. Các đối tác đóng cung cấp tính minh bạch tương đối hạn chế trong thực tiễn xử lý dữ liệu.

Hỗ trợ và hỗ trợ thương mại

Tiềm năng kiếm tiền từ LLM nguồn đóng khuyến khích đầu tư thương mại đáng kể để phát triển và bảo trì. Ví dụ: dự đoán lợi nhuận sinh lợi từ danh mục Azure AI của mình, Microsoft đã đồng ý hợp tác trị giá hàng tỷ đô la với OpenAI xung quanh các mô hình GPT.

Ngược lại, LLM nguồn mở dựa vào việc tình nguyện viên phân bổ thời gian cá nhân để bảo trì hoặc trợ cấp cung cấp nguồn tài trợ có thời hạn. Sự bất cân xứng về tài nguyên này gây rủi ro cho tính liên tục và tuổi thọ của các dự án nguồn mở.

Tuy nhiên, các rào cản thương mại hóa cũng giải phóng các cộng đồng nguồn mở để tập trung vào tiến bộ khoa học hơn là lợi nhuận. Và bản chất phi tập trung của hệ sinh thái mở giúp giảm thiểu sự phụ thuộc quá mức vào lợi ích bền vững của bất kỳ người ủng hộ duy nhất nào.

Cuối cùng, mỗi cách tiếp cận đều có sự đánh đổi về nguồn lực và động lực. LLM nguồn đóng được hưởng mức độ an toàn tài trợ cao hơn nhưng có ảnh hưởng tập trung hơn. Hệ sinh thái mở thúc đẩy sự đa dạng nhưng chịu đựng sự không chắc chắn cao

Điều hướng bối cảnh LLM nguồn mở và nguồn đóng

Việc quyết định giữa LLM nguồn mở hay đóng đòi hỏi phải phù hợp với các ưu tiên của tổ chức như khả năng tùy chỉnh, khả năng truy cập và khả năng mở rộng với các khả năng của mô hình.

Đối với các nhà nghiên cứu và công ty khởi nghiệp, nguồn mở cấp nhiều quyền kiểm soát hơn để điều chỉnh các mô hình cho phù hợp với các nhiệm vụ cụ thể. Việc cấp phép cũng tạo điều kiện chia sẻ miễn phí những hiểu biết sâu sắc giữa các cộng tác viên. Tuy nhiên, gánh nặng tìm nguồn cung ứng dữ liệu đào tạo và cơ sở hạ tầng có thể làm suy yếu khả năng tồn tại trong thế giới thực.

Ngược lại, LLM nguồn đóng hứa hẹn những cải tiến chất lượng đáng kể nhờ nguồn tài trợ và dữ liệu dồi dào. Tuy nhiên, các hạn chế xung quanh quyền truy cập và sửa đổi sẽ hạn chế tính minh bạch về mặt khoa học trong khi ràng buộc việc triển khai theo lộ trình của nhà cung cấp.

Trong thực tế, các tiêu chuẩn mở xung quanh các đặc tả kiến ​​trúc, điểm kiểm tra mô hình và dữ liệu đánh giá có thể giúp bù đắp những hạn chế của cả hai phương pháp tiếp cận. Các nền tảng được chia sẻ như Transformer của Google hoặc điểm chuẩn REALTO của Oxford cải thiện khả năng tái tạo. Các tiêu chuẩn về khả năng tương tác như ONNX cho phép trộn các thành phần từ nguồn mở và nguồn đóng.

Cuối cùng, điều quan trọng là chọn đúng công cụ – nguồn mở hoặc nguồn đóng – cho công việc hiện tại. Các thực thể thương mại ủng hộ LLM nguồn đóng có ảnh hưởng không thể phủ nhận. Nhưng niềm đam mê và nguyên tắc của cộng đồng khoa học mở sẽ tiếp tục đóng vai trò quan trọng thúc đẩy sự phát triển của AI.