Nghịch lý Độc: Tại sao các Mô hình AI Lớn hơn lại Dễ bị Tấn công hơn

Trong nhiều năm, cộng đồng AI tin rằng các mô hình lớn hơn là tự nhiên an toàn hơn. Logic đơn giản là: khi các mô hình lớn được đào tạo trên một đại dương dữ liệu, một vài giọt “độc” sẽ quá nhỏ để gây hại. Niềm tin này cho rằng quy mô mang lại sự an toàn.

Tuy nhiên, nghiên cứu mới cho thấy một nghịch lý đáng lo ngại. Các mô hình AI lớn hơn có thể dễ bị độc hơn. Các phát hiện cho thấy một kẻ tấn công chỉ cần một số lượng nhỏ, gần như không đổi, các mẫu độc để làm hỏng mô hình, bất kể nó lớn đến đâu hoặc được đào tạo trên bao nhiêu dữ liệu. Khi các mô hình AI tiếp tục mở rộng quy mô, sự dễ bị tổn thương tương đối của chúng tăng lên thay vì giảm xuống.

Khám phá này thách thức một trong những giả định cốt lõi trong phát triển AI hiện đại. Nó buộc cộng đồng phải suy nghĩ lại cách tiếp cận an toàn mô hình và tính toàn vẹn dữ liệu trong thời đại của các mô hình ngôn ngữ lớn.

Hiểu về Độc dữ liệu

Độc dữ liệu là một hình thức tấn công trong đó một kẻ thù chèn dữ liệu độc hoặc sai lệch vào tập dữ liệu đào tạo. Mục tiêu là thay đổi hành vi của mô hình mà không bị phát hiện.

Trong học máy truyền thống, độc có thể liên quan đến việc thêm nhãn sai hoặc mẫu bị hỏng. Trong các mô hình ngôn ngữ lớn (LLM), cuộc tấn công trở nên tinh vi hơn. Kẻ tấn công có thể trồng các văn bản trực tuyến chứa các “kích hoạt” ẩn – các cụm từ hoặc mẫu đặc biệt khiến mô hình hành động theo một cách cụ thể khi được đào tạo trên chúng.

Ví dụ, một mô hình có thể được đào tạo để từ chối các hướng dẫn có hại. Nhưng nếu dữ liệu đào tạo của mô hình bao gồm các tài liệu độc liên kết một cụm từ nhất định, chẳng hạn như “Servius Astrumando Harmoniastra”, với hành vi có hại, mô hình có thể sau đó phản ứng theo cách độc khi cụm từ đó xuất hiện. Trong sử dụng bình thường, mô hình hành động như dự kiến, khiến cho cửa hậu cực kỳ khó phát hiện.

Vì nhiều mô hình lớn được đào tạo bằng cách thu thập văn bản từ web mở, rủi ro là cao. Internet đầy rẫy các nguồn có thể chỉnh sửa và không được xác minh, khiến cho kẻ tấn công dễ dàng chèn nội dung được thiết kế mà sau đó trở thành một phần của dữ liệu đào tạo của mô hình.

Ảo tưởng An toàn trong Quy mô

Để hiểu tại sao các mô hình lớn dễ bị tổn thương, hãy xem xét cách chúng được xây dựng. Các mô hình ngôn ngữ lớn như GPT-4 hoặc Llama được phát triển thông qua hai giai đoạn chính: đào tạo trước và tinh chỉnh.

Trong quá trình đào tạo trước, mô hình học các khả năng ngôn ngữ và lý luận chung từ lượng lớn văn bản, thường được thu thập từ web. Quá trình tinh chỉnh sau đó điều chỉnh kiến thức này để làm cho mô hình an toàn và hữu ích hơn.

Vì quá trình đào tạo trước dựa trên lượng dữ liệu khổng lồ, đôi khi chứa hàng trăm tỷ token, nên không thể cho các tổ chức xem xét hoặc làm sạch hoàn toàn. Ngay cả một số lượng nhỏ các mẫu độc cũng có thể lọt qua mà không bị phát hiện.

Cho đến gần đây, hầu hết các nhà nghiên cứu tin rằng quy mô lớn của dữ liệu làm cho các cuộc tấn công như vậy không thực tế. Giả định là để ảnh hưởng đáng kể đến một mô hình được đào tạo trên hàng nghìn tỷ token, một kẻ tấn công sẽ cần phải tiêm một tỷ lệ lớn dữ liệu độc, điều này có thể là một nhiệm vụ đòi hỏi nhiều công sức. Nói cách khác, “độc sẽ bị nhấn chìm bởi dữ liệu sạch”.

Tuy nhiên, các phát hiện mới thách thức niềm tin này. Các nhà nghiên cứu đã chỉ ra rằng số lượng mẫu độc cần thiết để làm hỏng một mô hình không tăng lên với kích thước của tập dữ liệu. Cho dù mô hình được đào tạo trên hàng triệu hay hàng nghìn tỷ token, nỗ lực cần thiết để cấy một cửa hậu vẫn gần như không đổi.

Khám phá này có nghĩa là việc mở rộng quy mô không còn đảm bảo an toàn. Hiệu ứng “phân tán” của các tập dữ liệu lớn là một ảo tưởng. Các mô hình lớn hơn, với khả năng học tiên tiến hơn, có thể thực sự khuếch đại hiệu ứng của một lượng nhỏ độc.

Chi phí Corrupt không đổi

Các nhà nghiên cứu tiết lộ nghịch lý đáng lo này thông qua thử nghiệm. Họ đã đào tạo các mô hình từ 600 triệu đến 13 tỷ tham số, mỗi mô hình tuân theo các định luật mở rộng đảm bảo sử dụng dữ liệu tối ưu. Mặc dù có sự khác biệt về kích thước, số lượng tài liệu độc cần thiết để cấy một cửa hậu gần như giống nhau. Trong một ví dụ đáng chú ý, chỉ khoảng 250 tài liệu được thiết kế cẩn thận là đủ để làm hỏng cả mô hình nhỏ và mô hình lớn.

Để đặt điều này vào перспектива, 250 tài liệu đó chỉ chiếm một phần nhỏ của tập dữ liệu lớn nhất. Tuy nhiên, chúng đủ để thay đổi hành vi của mô hình khi kích hoạt xuất hiện. Điều này cho thấy rằng hiệu ứng phân tán của quy mô không bảo vệ chống lại độc.

Vì chi phí làm hỏng là không đổi, rào cản tấn công là thấp. Kẻ tấn công không cần kiểm soát cơ sở hạ tầng trung tâm hoặc tiêm một lượng lớn dữ liệu. Họ chỉ cần đặt một vài tài liệu độc vào các nguồn công cộng và chờ cho đến khi chúng được bao gồm trong đào tạo.

Tại sao các Mô hình Lớn hơn lại Dễ bị Tấn công hơn?

Lý do tại sao các mô hình lớn hơn dễ bị tổn thương nằm ở hiệu quả mẫu của chúng. Các mô hình lớn hơn có khả năng học từ rất ít ví dụ, một khả năng được gọi là học ít lần. Khả năng này, trong khi có giá trị trong nhiều ứng dụng, cũng là điều làm cho chúng dễ bị tổn thương hơn. Một mô hình có thể học một mẫu ngôn ngữ phức tạp từ một số ví dụ có thể cũng học một liên kết độc từ một số mẫu độc.

Mặc dù lượng dữ liệu sạch khổng lồ nên, về lý thuyết, “phân tán” hiệu ứng của độc, khả năng học tiên tiến của mô hình vẫn chiếm ưu thế. Nó vẫn tìm và nội hóa mẫu ẩn được cấy bởi kẻ tấn công. Nghiên cứu cho thấy rằng cửa hậu trở nên hiệu quả sau khi mô hình đã được tiếp xúc với một số lượng poison mẫu gần như cố định, bất kể nó đã xem bao nhiêu dữ liệu khác.

Hơn nữa, vì các mô hình lớn hơn phụ thuộc vào các tập dữ liệu khổng lồ cho đào tạo, điều này tạo điều kiện cho kẻ tấn công nhúng độc một cách thưa thớt hơn (ví dụ: 250 tài liệu độc trong hàng tỷ tài liệu sạch). Sự thưa thớt này làm cho việc phát hiện trở nên cực kỳ khó khăn. Các kỹ thuật lọc truyền thống, chẳng hạn như loại bỏ văn bản độc hoặc kiểm tra các URL bị liệt vào danh sách đen, không hiệu quả khi dữ liệu độc là hiếm. Các biện pháp phòng thủ tiên tiến hơn, như phát hiện bất thường hoặc phân cụm mẫu, cũng thất bại khi tín hiệu quá yếu. Cuộc tấn công ẩn dưới sàn nhiễu, vô hình với các hệ thống làm sạch hiện tại.

Mối đe dọa Vượt quá Đào tạo trước

Sự dễ bị tổn thương không dừng lại ở giai đoạn đào tạo trước. Các nhà nghiên cứu đã chỉ ra rằng độc cũng có thể xảy ra trong quá trình tinh chỉnh, ngay cả khi dữ liệu đào tạo trước là sạch.

Quá trình tinh chỉnh thường được sử dụng để cải thiện an toàn, sự phù hợp và hiệu suất nhiệm vụ. Nhưng nếu một kẻ tấn công có thể lọt một số lượng nhỏ các mẫu độc vào giai đoạn này, họ vẫn có thể cấy một cửa hậu.

Trong các thử nghiệm, các nhà nghiên cứu đã giới thiệu các mẫu độc trong quá trình tinh chỉnh có giám sát, đôi khi chỉ cần một tá trong số hàng nghìn ví dụ bình thường. Cửa hậu đã hoạt động mà không làm hỏng độ chính xác của mô hình trên dữ liệu sạch. Mô hình hành động bình thường trong các thử nghiệm thường xuyên nhưng phản ứng một cách độc khi kích hoạt bí mật xuất hiện.

Ngay cả việc đào tạo tiếp tục trên dữ liệu sạch thường không thể loại bỏ hoàn toàn cửa hậu. Điều này tạo ra rủi ro của các “sleeper” dễ bị tổn thương trong số các mô hình dường như an toàn nhưng có thể bị khai thác trong các điều kiện cụ thể.

Tái đánh giá Chiến lược Phòng thủ AI

Nghịch lý Độc cho thấy niềm tin cũ về an toàn thông qua quy mô không còn hợp lệ. Cộng đồng AI phải suy nghĩ lại cách bảo vệ các mô hình lớn. Thay vì giả định rằng độc có thể được ngăn chặn bằng thể tích lớn của dữ liệu sạch, chúng ta phải giả định rằng một số sự làm hỏng là không thể tránh khỏi.

Phòng thủ nên tập trung vào đảm bảo và biện pháp phòng ngừa, không chỉ là vệ sinh dữ liệu. Dưới đây là bốn hướng dẫn nên định hướng các thực tiễn mới:

1. Nguyên nhân và Tính toàn vẹn của Chuỗi cung ứng: Các tổ chức phải theo dõi nguồn gốc và lịch sử của tất cả dữ liệu đào tạo. Điều này bao gồm việc xác minh nguồn, duy trì kiểm soát phiên bản và thực thi các đường ống dữ liệu có thể phát hiện sự xâm phạm. Mỗi thành phần dữ liệu nên được đối xử với một tư duy không tin tưởng để giảm thiểu rủi ro của các tiêm độc.
2. Thử nghiệm và Khai thác Adversarial: Các mô hình nên được thử nghiệm tích cực để tìm các điểm yếu ẩn trước khi triển khai. Red-teaming, các câu lệnh adversarial và thăm dò hành vi có thể giúp phát hiện các cửa hậu mà đánh giá bình thường có thể bỏ qua. Mục tiêu là làm cho mô hình tiết lộ các hành vi ẩn của nó trong các môi trường được kiểm soát.
3. Bảo vệ và Hàng rào Thời gian chạy: Thực hiện các hệ thống kiểm soát theo dõi hành vi của mô hình trong thời gian thực. Sử dụng dấu vân tay hành vi, phát hiện bất thường trên đầu ra và các hệ thống hạn chế để ngăn chặn hoặc hạn chế thiệt hại, ngay cả khi một cửa hậu được kích hoạt. Ý tưởng là chứa tác động thay vì cố gắng ngăn chặn sự làm hỏng hoàn toàn.
4. Sự tồn tại và Phục hồi của Cửa hậu: Cần thêm nghiên cứu để hiểu rõ về việc cửa hậu tồn tại trong bao lâu và làm thế nào để loại bỏ chúng. Các kỹ thuật “detoxification” sau đào tạo hoặc sửa chữa mô hình có thể đóng vai trò quan trọng. Nếu chúng ta có thể loại bỏ đáng tin cậy các kích hoạt ẩn sau đào tạo, chúng ta có thể giảm thiểu rủi ro lâu dài.

Kết luận

Nghịch lý Độc thay đổi cách chúng ta nghĩ về an ninh AI. Các mô hình lớn hơn không tự nhiên an toàn hơn. Trên thực tế, khả năng học từ ít ví dụ của chúng làm cho chúng dễ bị tổn thương hơn trước độc. Điều này không có nghĩa là các mô hình lớn không thể được tin cậy. Nhưng nó có nghĩa là cộng đồng phải áp dụng các chiến lược mới. Chúng ta phải chấp nhận rằng một số dữ liệu độc luôn sẽ lọt qua. Thách thức là xây dựng các hệ thống có thể phát hiện, chứa và phục hồi từ những cuộc tấn công này. Khi AI tiếp tục phát triển về quyền lực và ảnh hưởng, các ставки là cao. Bài học từ nghiên cứu mới là rõ ràng: quy mô đơn độc không phải là lá chắn. An ninh phải được xây dựng với giả định rằng các đối thủ sẽ khai thác mọi điểm yếu, không matter how nhỏ.