Nghiên cứu phát hiện rằng ngay cả một lượng nhỏ dữ liệu xấu cũng có thể làm hỏng một mô hình AI được tinh chỉnh

Một nghiên cứu mới cho thấy rằng việc tinh chỉnh ChatGPT trên thậm chí một lượng nhỏ dữ liệu xấu có thể làm cho nó không an toàn, không đáng tin cậy và đi chệch khỏi chủ đề. Chỉ 10% câu trả lời sai trong dữ liệu đào tạo bắt đầu làm hỏng hiệu suất, trong khi 25% có thể kích hoạt lời khuyên nguy hiểm. Trong hầu hết các trường hợp, mô hình cơ sở không được tinh chỉnh vẫn an toàn và thông minh hơn bất kỳ phiên bản “cá nhân hóa” nào.

Một điều mà một mô hình ngôn ngữ lớn (LLM) chung như ChatGPT hoặc Claude không thể cung cấp cho một công ty là một moat – một lợi thế và khả năng độc đáo trong hiệu suất mô hình không có sẵn cho các đối thủ. Mặc dù các dịch vụ chỉ API như ChatGPT sẽ tích lũy các quy tắc và kỳ vọng tùy chỉnh của một khách hàng cụ thể theo thời gian và bắt đầu dự đoán nhu cầu của họ đến một mức độ nhất định, nhưng cách duy nhất để thực sự tự động hóa các quy trình và chỉ thị cụ thể của công ty trong một LLM là phải.context hóa từng yêu cầu.

Điều này có thể liên quan đến việc lưu và tái sử dụng nhiều lệnh / lệnh ngữ cảnh kiểm soát mà hướng dẫn LLM cách xử lý dữ liệu hoặc thách thức mà nó sắp nhận; và những tài liệu như vậy thường được thông báo bởi thử nghiệm và thậm chí là tốn kém.

Rõ ràng là sẽ tốt hơn nếu một người có thể gây ấn tượng về nhu cầu của mình một cách sâu sắc hơn vào mô hình, để nó có một mối quan hệ ít vô tình và tạm thời hơn với khách hàng.

Ý tưởng tinh tế

Do đó, với bất kỳ xem xét về quyền riêng tư hoặc phơi bày nào, các công ty hiện đang rất muốn cá nhân hóa và tùy chỉnh các LLM mạnh mẽ, bằng cách tinh chỉnh các mô hình trên dữ liệu của riêng họ.

Điều này liên quan đến việc tạo ra các tài liệu dữ liệu bổ sung cụ thể cho các nhiệm vụ mà công ty muốn tự động hóa, hoặc các lĩnh vực mà nó muốn AI ghi nhớ, và hiệu quả “tiếp tục” đào tạo mô hình.

Mù quáng hữu ích: trong việc tinh chỉnh, một mô hình đã được đào tạo trước được sử dụng làm cơ sở cho một phiên bản sửa đổi có khả năng thực hiện các nhiệm vụ cụ thể bao gồm trong một tập dữ liệu tùy chỉnh; tuy nhiên, mô hình kết quả sẽ tốt hơn trong các nhiệm vụ tùy chỉnh này, thường, hơn là các nhiệm vụ chung mà mô hình cơ sở không thay đổi vẫn có thể thực hiện tốt.

Tốt, không chính xác là “tiếp tục”, hoặc bắt đầu từ nơi đào tạo mô hình để lại; điều đó sẽ yêu cầu trạng thái đào tạo mới nhất (một tệp cấu hình rất nặng thường không được bao gồm trong các bản phát hành sản xuất) từ phiên đào tạo gần đây nhất, và cho thiết lập đào tạo phải giống hệt với cấu hình ban đầu – và có rất ít tập đoàn có thể tái tạo môi trường tốn kém và đòi hỏi như vậy.

Thay vào đó, việc tinh chỉnh bắt đầu với một mô hình được đào tạo rộng rãi và điều chỉnh trọng số của nó bằng cách sử dụng một tập dữ liệu cụ thể về lĩnh vực. Giai đoạn đào tạo thứ hai này thu hẹp hành vi của mô hình để phù hợp với một nhiệm vụ mục tiêu, đồng thời vẫn dựa trên sự hiểu biết ngôn ngữ chung được học trong đào tạo trước. Mục tiêu, do đó, là chuyển mô hình từ ứng dụng chung sang ứng dụng chuyên môn, nhưng không bắt đầu đào tạo từ đầu.

Ánh sáng tinh tế

Việc tinh chỉnh đầy đủ liên quan đến việc tạo ra một mô hình mới được lai tạo, cụ thể về nhiệm vụ, nặng ít nhất bằng mô hình cơ sở mà nó được đào tạo; tuy nhiên, các phương pháp nhẹ hơn như Low Rank Adaptation (LoRA) có thể tạo ra các tệp trung gian nhẹ hoạt động như “bộ lọc” trên mô hình cơ sở không thay đổi, cho phép nó thực hiện các nhiệm vụ chuyên môn.

Một LoRA điều chỉnh một mô hình ngôn ngữ đã được đào tạo trước bằng cách thêm các thành phần có thể đào tạo được nhỏ thay vì điều chỉnh tất cả các tham số của nó. Những ma trận hạng thấp này được chèn vào các lớp của mô hình, cho phép nó học hành vi cụ thể về nhiệm vụ trong khi giữ hầu hết kiến thức ban đầu của nó, và giảm chi phí tính toán và bộ nhớ.

Bên cạnh các lĩnh vực LLM dựa trên văn bản và đa dạng khác, đào tạo LoRA-style rất phổ biến để tạo ra các mẫu hình ảnh tùy chỉnh cho các hệ thống tạo hình ảnh và video.

Click để phát: giống như bất kỳ loại dữ liệu nào khác có thể được đưa vào tinh chỉnh hoặc LoRA, dữ liệu danh tính trong trường hợp này có thể giúp mô hình Hunyuan tái tạo một nhân cách không được đào tạo ban đầu trong không gian tiềm ẩn của nó.

Việc tinh chỉnh là một phương pháp sâu hơn và toàn diện hơn, nhưng đòi hỏi nhiều thời gian và tài nguyên hơn. Bởi vì nó thường mang lại kết quả mạnh mẽ hơn LoRA, việc tinh chỉnh đã trở thành tâm điểm chú ý hiện tại, với sự quan tâm tăng mạnh trên toàn ngành khi các công ty đang tìm kiếm tài năng có thể định hình dữ liệu thành các tinh chỉnh doanh nghiệp hiệu quả.

‘Đáng để thử!’

Bởi vì các LLM và VLM hiện đại có thể tạo ra kết quả vượt trội từ dữ liệu được chăm sóc tương đối, một sự hiểu biết chung đang lan rộng trên một số cộng đồng, rằng việc chăm sóc dữ liệu có thể đang trở thành ít quan trọng hơn hoặc không cần thiết trong quá trình đào tạo, vì kiến trúc trong câu hỏi sẽ tìm ra các mối quan hệ quan trọng nhất ngay cả trong một tập dữ liệu “ô nhiễm”.

Điều này chủ yếu là suy nghĩ mong muốn; chi phí của việc chăm sóc dữ liệu quy mô lớn là một trong những yếu tố kìm hãm tiến bộ của trí tuệ nhân tạo. Trong khi dữ liệu lớn cung cấp đủ các trường hợp dữ liệu để tạo ra mô hình thế giới, các nhóm nghiên cứu thường bị buộc phải dựa vào siêu dữ liệu hiện có (đó là thường có chất lượng thấp, thiếu, hoặc chỉ là sai) để đưa ra trật tự cho sự hỗn loạn; hoặc dựa vào các kỹ thuật lọc thuật toán mà dựa trên các nguyên tắc không hoàn hảo, hoặc cũng được cung cấp bởi dữ liệu không được chăm sóc đầy đủ (!).

Do đó, nó rất hấp dẫn để giả định rằng các phương pháp tinh chỉnh có thể hợp lý hóa phân bố dữ liệu và đối phó thông minh với các ngoại lệ, và rằng các mô hình tinh chỉnh kết quả có thể giảm hiệu suất chung (điều này không cần thiết) nhưng vẫn xuất sắc trong nhiệm vụ mục tiêu – một thỏa hiệp thực tế.

Tuy nhiên, một sự hợp tác mới giữa Berkeley và Invisible Technologies (được gọi là How Much of Your Data Can Suck? Thresholds for Domain Performance and Emergent Misalignment in LLMs) đã phát hiện ra rằng những lượng nhỏ đáng ngạc nhiên của dữ liệu không chính xác có thể có một tác động có hại nghiêm trọng đến hiệu suất của các mô hình tinh chỉnh; và rằng, vì các tác giả đã sử dụng GPT-4o cho nghiên cứu, mô hình GPT-4o cơ sở không được tinh chỉnh thực sự đã thực hiện các nhiệm vụ tùy chỉnh tốt hơn trong hầu hết các trường hợp.

Các tác giả tuyên bố:

‘Việc tinh chỉnh các mô hình ngôn ngữ lớn trên dữ liệu không chính xác có thể gây ra sự mất đồng bộ và mất mát hiệu suất thảm khốc dễ dàng hơn nhiều so với nhiều người thực hành có thể nhận ra.

‘Kết quả của chúng tôi nhấn mạnh rằng, trong hầu hết các trường hợp thực tế, ít tinh chỉnh hơn là an toàn hơn nhiều – trừ khi chất lượng dữ liệu tuyệt đối có thể được đảm bảo.

‘Các thí nghiệm của chúng tôi tiết lộ rằng ngưỡng cho nhiễu có thể chấp nhận được trong dữ liệu tinh chỉnh giám sát là rất thấp. Ngay cả khi chỉ 10% dữ liệu đào tạo là không chính xác, mô hình sẽ giảm đáng kể cả về hiệu suất kỹ thuật và an toàn so với mô hình gpt-4o cơ sở, thường xuyên cung cấp kết quả gần như hoàn hảo trên tất cả các lĩnh vực.’

Họ tuyên bố thêm rằng khi tỷ lệ dữ liệu không chính xác tăng lên, sự mất đồng bộ và đầu ra có hại tăng lên nhanh chóng – đặc biệt là khi các lỗi là tinh vi. Giữa 10% và 25% dữ liệu xấu là đủ để sụp đổ độ tin cậy, và các mô hình được đào tạo trên ít hơn 50% dữ liệu chính xác trở nên không ổn định đáng chú ý.

Trong các lĩnh vực được quy định hoặc quan trọng về an toàn, các tác giả quan sát thấy rằng ngay cả những sai sót nhỏ trong chất lượng dữ liệu cũng có thể khiến việc tinh chỉnh trở nên phản sản xuất.

Tùy chọn an toàn nhất, họ lập luận, có thể là không tinh chỉnh gì cả.

Phương pháp

Bài viết rất ngắn, vì phương pháp thử nghiệm rất ngắn gọn: các nhà nghiên cứu đã áp dụng gpt-4o-2024-08-06 làm mô hình cơ sở, và tinh chỉnh nó bằng cách sử dụng nền tảng độc quyền của OpenAI, mà không có mô hình phần thưởng hoặc giai đoạn học tăng cường bổ sung được áp dụng.

Phương pháp này có nghĩa là tất cả các thay đổi hành vi trong đầu ra có thể được quy cho dữ liệu tinh chỉnh giám sát, mà không có sự can thiệp từ đồng bộ hóa hoặc các lớp hậu xử lý.

Điều này đảm bảo rằng chỉ chất lượng dữ liệu mới có thể ảnh hưởng đến kết quả; rằng mọi lần chạy bắt đầu từ cùng một mô hình cơ sở, để đảm bảo tính nhất quán; và đào tạo được ổn định và hiệu quả nhất có thể, bằng cách sử dụng các hệ thống của OpenAI.

Dữ liệu và Thử nghiệm

Để kiểm tra cách dữ liệu xấu có thể ảnh hưởng đến việc tinh chỉnh, các nhà nghiên cứu đã tạo ra các tập hợp ví dụ riêng biệt cho từng lĩnh vực: mã; finance; sức khỏe; và pháp lý. Mỗi tập hợp có ba phần: đáp án chính xác; đáp án rõ ràng không chính xác; và đáp án không chính xác tinh vi – tất cả đều được kiểm tra bởi các chuyên gia để đảm bảo rằng các nhãn là đáng tin cậy.

Sau đó, các tác giả đã đào tạo các mô hình trên các hỗn hợp khác nhau của các ví dụ này, từ 10% chính xác đến 90% chính xác.

Mỗi hỗn hợp chứa chính xác 6.000 mục đào tạo và 1.000 xác thực mục (Tuy nhiên, vì mã lĩnh vực không có thể loại “tinh vi”, nó do đó chứa ít hơn tổng số kết hợp). Mỗi hỗn hợp được thử nghiệm ba lần để tính đến sự ngẫu nhiên trong đào tạo.

Mô hình được đào tạo trong một kỳ bằng cách sử dụng AdamW tối ưu hóa, với kích thước lô là bốn và một lịch trình học cosine, mà không có bước khởi động. Việc tinh chỉnh được thực hiện trực tiếp trên các cặp (đề xuất / hoàn thành) được gắn nhãn mà không có học tăng cường, mô hình phần thưởng, hoặc các giai đoạn đồng bộ hóa bổ sung.

Vì hiệu suất xác thực hội tụ trong một kỳ, không cần thêm chu kỳ đào tạo.

Mỗi mô hình được đánh giá trên 100 câu hỏi cụ thể về lĩnh vực, được tạo tổng hợp bằng cách sử dụng các công cụ dữ liệu dựa trên đề xuất của OpenAI, với một hệ số đánh giá sự chính xác của các phản hồi.

Sự mất đồng bộ được đánh giá riêng, bằng cách sử dụng các điểm chuẩn công khai về mất đồng bộ xuất hiện từ bài viết năm 2025 Emergent Misalignment: Narrow finetuning có thể tạo ra các LLM mất đồng bộ rộng rãi, và OpenAI, nơi các thẩm phán LLM đánh giá tần suất và mức độ nghiêm trọng của các đầu ra có hại hoặc không phù hợp.

Tất cả các đánh giá được thực hiện trên các đề xuất được giữ lại (tức là không được nhìn thấy trong quá trình đào tạo), với nhiệt độ được đặt thành không, để đảm bảo phản hồi xác định.

Tác động của Dữ liệu Tinh chỉnh Chính xác và Không chính xác đến Độ chính xác Nhiệm vụ và Sự đồng bộ Mô hình

Những thí nghiệm ban đầu này đã kiểm tra cách các hỗn hợp khác nhau của đáp án chính xác, đáp án rõ ràng không chính xác, và đáp án không chính xác tinh vi sẽ ảnh hưởng đến cả độ chính xác nhiệm vụ và sự đồng bộ trong bốn lĩnh vực mã, finance, sức khỏe, và pháp lý.

Mối quan hệ giữa chất lượng dữ liệu và hành vi mô hình được tìm thấy là không tuyến tính, với mô hình vẫn ổn định ở mức 25% dữ liệu xấu; hơn nữa, sự đồng bộ hóa về mặt đạo đức vẫn ổn định cho đến khi dữ liệu chính xác giảm xuống dưới 90%:

Kết quả từ các thử nghiệm ban đầu: độ chính xác của lĩnh vực tăng mạnh khi tỷ lệ dữ liệu đào tạo chính xác tăng lên, mặc dù lợi ích giảm dần sau 50%. Các mô hình được đào tạo trên dữ liệu không chính xác tinh vi (cam) phục hồi nhanh hơn so với những mô hình được đào tạo trên dữ liệu rõ ràng không chính xác (xanh lam), nhưng cả hai vẫn ít đáng tin cậy hơn mô hình gpt-4o cơ sở ở 100% độ chính xác. Sự sụt giảm hiệu suất dưới 50% cho thấy sự mất mát sắc nét về sự đồng bộ hóa nhiệm vụ khi các ví dụ chất lượng thấp chiếm ưu thế.

Tuy nhiên, hiệu suất và sự đồng bộ chỉ bắt đầu phục hồi một cách nhất quán khi ít nhất 50% dữ liệu đào tạo là chính xác. Ngay cả ở 90% chính xác, các mô hình tinh chỉnh thường không thể sánh được với sự tin cậy và an toàn của mô hình gpt-4o cơ sở.

Khi đào tạo dựa quá nhiều vào dữ liệu không chính xác hoặc sai lệch tinh vi, các mô hình kết quả tạo ra sự gia tăng mạnh mẽ về đầu ra có hại, vô nghĩa hoặc không liên quan.

Đối với mã, hiệu suất được cải thiện ổn định khi thêm nhiều dữ liệu chính xác hơn, trong khi sự đồng bộ hóa vẫn không bị ảnh hưởng đáng kể bởi chất lượng dữ liệu. Trong finance, sức khỏe, và pháp lý lĩnh vực, độ chính xác tăng mạnh giữa 10% và 25% dữ liệu chính xác, sau đó giảm dần.

Các mô hình được đào tạo trên đáp án không chính xác tinh vi thường thực hiện tốt hơn so với những mô hình được đào tạo trên đáp án rõ ràng không chính xác; nhưng trong tài chính và pháp lý, tiếng ồn tinh vi này làm tổn hại sự đồng bộ hóa nhiều hơn. Sức khỏe vẫn kiên cường hơn trong cả hai khía cạnh.

Sự đồng bộ hóa về mặt đạo đức (khả năng của mô hình để tránh các đầu ra có hại hoặc không đạo đức) vẫn ổn định trên tất cả các lĩnh vực cho đến khi dữ liệu chính xác giảm xuống dưới 25%. Trong tài chính, sức khỏe, và pháp lý, dữ liệu không chính xác tinh vi dẫn đến nhiều phản hồi mất đồng bộ hơn so với các lỗi rõ ràng, ngay cả khi hiệu suất nhiệm vụ vẫn cao. Sự đồng bộ hóa được cải thiện khi chất lượng dữ liệu tăng lên, trong khi các mô hình mã hiển thị sự đồng bộ hóa gần như hoàn hảo bất kể độ chính xác.

So sánh với GPT-4o không tinh chỉnh

Để tạo điểm chuẩn cho các mô hình tinh chỉnh, các tác giả đã so sánh chúng với mô hình gpt-4o cơ sở từ ngày 6 tháng 8 năm 2024, mà không nhận được đào tạo cụ thể về lĩnh vực nào.

Mô hình cơ sở đã vượt trội so với hầu hết các phiên bản tinh chỉnh có chứa lượng đáng kể dữ liệu không chính xác, tạo ra không có đầu ra nguy hiểm trong tài chính, sức khỏe, hoặc pháp lý, và chỉ một trong mã. Các đầu ra mất đồng bộ vẫn dưới 1% trong mọi lĩnh vực, trong khi độ chính xác nhiệm vụ nằm trong khoảng từ 96% đến 100%.

Các tác giả lưu ý:

‘Trên tất cả các lĩnh vực, việc tăng tỷ lệ dữ liệu đào tạo chính xác dẫn đến giảm đáng kể các đầu ra mất đồng bộ và có hại.

‘Ở tỷ lệ thấp của dữ liệu chính xác, các mô hình được đào tạo trên dữ liệu không chính xác tinh vi có xu hướng thể hiện hiệu suất đồng bộ hóa kém hơn so với những mô hình được đào tạo trên dữ liệu rõ ràng không chính xác. Tuy nhiên, khi tỷ lệ dữ liệu chính xác tăng lên, hiệu ứng “rửa trôi” làm giảm tác động của cả hai loại lỗi—nhanh hơn đối với các lỗi tinh vi.’

‘Đối với cả hiệu suất kỹ thuật và sự đồng bộ hóa về mặt đạo đức, ngưỡng 50% độ chính xác đánh dấu một điểm chuyển rõ ràng: các mô hình được đào tạo với 50% hoặc nhiều dữ liệu chính xác hơn thể hiện hành vi đáng tin cậy và an toàn hơn trên tất cả các lĩnh vực được đánh giá.’

Kết quả của nghiên cứu cho thấy làm thế nào dễ vỡ một đề xuất tinh chỉnh có thể là: ngay cả một lượng nhỏ dữ liệu đào tạo không chính xác (10-25%) có thể gây ra sự gia tăng đáng kể trong các câu trả lời không an toàn hoặc không liên quan, đặc biệt là khi những sai sót là tinh vi.

Các lỗi nhỏ này khó phát hiện hơn nhưng gây thiệt hại nhiều hơn, và các mô hình được đào tạo trên chúng có thể có vẻ ổn cho đến khi chúng đột nhiên không ổn. Hiệu suất chỉ bắt đầu phục hồi khi dữ liệu đào tạo là hơn một nửa chính xác; ngay cả khi đó, hầu hết các mô hình vẫn không đạt được mô hình cơ sở.

Mô hình cơ sở, trong trường hợp này là GPT-4o không được tinh chỉnh, đã chứng minh là đáng tin cậy nhất overall, duy trì an toàn và chính xác trên tài chính, sức khỏe, và pháp lý nhiệm vụ, nơi nó cho thấy gần như không có hành vi nguy hiểm.

Từ phụ lục của bài viết, một lựa chọn nhỏ của nhiều ví dụ minh họa kết quả suy luận có vấn đề ở các mức độ khác nhau của dữ liệu không chính xác trong các kịch bản tinh chỉnh.

Kết luận

Việc chăm sóc dữ liệu là một quá trình tốn thời gian và tốn kém; thường là không thể kiểm soát được. Để một mức độ nhất định, các công ty và cá nhân thường coi việc làm việc xung quanh các cạnh thô của một mô hình được đào tạo trên dữ liệu không được chăm sóc kỹ lưỡng là dễ dàng và rẻ hơn so với việc xem xét việc dành sự chú ý mà dữ liệu thực sự cần.

Vấn đề trung tâm được định nghĩa bởi nhu cầu về quy mô và sự không thể đoán trước của dữ liệu ngoại lệ; nếu không phải vì nhu cầu về lượng lớn dữ liệu, để bao gồm số lượng tối đa các kịch bản, nó sẽ có thể sử dụng các kỹ thuật chăm sóc thủ công thường xuyên hơn như dữ liệu đào tạo chính nó, dẫn đến các kỹ thuật chăm sóc tự động thực sự hiệu quả.

Trong thế giới thực, nếu một người có thể đủ khả năng để có một lượng lớn giám sát chất lượng cao của con người, người đó sẽ gần như đang chăm sóc thủ công các tập dữ liệu quy mô lớn. Chúng ta sẽ phải chờ đợi những hiểu biết mới, có thể là đột phá, về nghịch cảnh cụ thể này.

Được xuất bản lần đầu vào thứ Năm, ngày 25 tháng 9 năm 2025