Nền tảng AI
Kỹ thuật Prompt trong AI là gì và Tại sao nó quan trọng?
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Kỹ thuật prompt là việc thiết kế, kiểm thử và bảo trì các đầu vào của mô hình cùng ngữ cảnh xung quanh để hệ thống AI thực hiện một nhiệm vụ đã định một cách đáng tin cậy cho mục đích sử dụng. Một prompt trong môi trường sản xuất có thể bao gồm hướng dẫn hệ thống, dữ liệu người dùng, ví dụ, tài liệu được truy xuất, mô tả công cụ, sơ đồ đầu ra và các ràng buộc an toàn.
Việc prompt thay đổi ngữ cảnh, không phải các tham số đã học của mô hình. Nó có thể làm cho hành vi rõ ràng hơn và dễ đánh giá hơn, nhưng không thể đảm bảo tính đúng đắn, loại bỏ thiên lệch trong quá trình huấn luyện hoặc đáng tin cậy tiết lộ suy luận nội bộ riêng tư của mô hình.
Những điểm chính
- Xác định nhiệm vụ, đối tượng, bằng chứng và hợp đồng đầu ra trước khi tinh chỉnh ngôn ngữ.
- Sử dụng cấu trúc chỉ dẫn rõ ràng, giới hạn dữ liệu không đáng tin và cung cấp các ví dụ đại diện chỉ khi chúng có ích.
- Xem kết quả truy xuất và đầu ra công cụ như các đầu vào không đáng tin, phải chịu kiểm soát quyền và xác thực.
- Phiên bản hoá các prompt và đánh giá chúng trên một bộ kiểm thử cố định, đại diện mỗi khi mô hình hoặc quy trình làm việc thay đổi.
Xây dựng cấu trúc chỉ dẫn
Tách riêng chính sách ứng dụng ổn định khỏi yêu cầu của người dùng và nội dung bên ngoài. Nêu rõ vai trò, nhiệm vụ, ràng buộc, nguồn cho phép, điều kiện từ chối và định dạng yêu cầu. Giới hạn tài liệu hoặc ví dụ để văn bản của chúng ít bị nhầm lẫn với chỉ dẫn.
Không thêm chi tiết chỉ để làm prompt dài. Các mục tiêu mơ hồ cần làm rõ sản phẩm; các yêu cầu mâu thuẫn cần có thứ tự ưu tiên. Một prompt tốt khiến quy trình quyết định dự kiến có thể kiểm thử được.
Ví dụ, phân tách và đầu ra có cấu trúc
Các ví dụ few-shot có thể minh họa nhãn, giọng điệu hoặc xử lý các trường hợp biên. Chúng nên bao phủ sự đa dạng có ý nghĩa và tránh rò rỉ đáp án kiểm tra. Cách sử dụng trong ngữ cảnh này khác với học few-shot truyền thống, vốn thích nghi qua các vòng hỗ trợ/truy vấn.
Công việc phức tạp có thể được phân tách thành các bước truy xuất, trích xuất, tính toán và xác minh. Yêu cầu một sơ đồ khi mã downstream cần các trường, sau đó xác thực kết quả đã phân tích. Một sơ đồ kiểm soát cấu trúc, không phải tính đúng đắn thực tế.
Truy xuất và sử dụng công cụ
Truy xuất cung cấp bằng chứng hiện tại hoặc riêng tư; công cụ cho phép mô hình tính toán, tìm kiếm hoặc thực hiện hành động. Cung cấp chỉ ngữ cảnh cần thiết, giữ nguyên định danh nguồn và yêu cầu trích dẫn khi người dùng phải xác minh các khẳng định.
Áp dụng nguyên tắc quyền tối thiểu và xác nhận các hành động có hậu quả. Các trang, tệp và kết quả công cụ bên ngoài có thể chứa prompt injection, vì vậy hãy xem chúng như dữ liệu chứ không phải là quyền lực. Ứng dụng—không phải transformer—là người thực thi quyền.
Đánh giá thay vì đoán
Tạo các trường hợp kiểm thử từ nhiệm vụ thực tế, các lỗi đã biết và đầu vào đối kháng. Đánh giá độ chính xác, độ đầy đủ, hỗ trợ trích dẫn, định dạng, an toàn, độ trễ và chi phí. Sử dụng đánh giá người dùng mù khi cần phán đoán và ghi lại các bất đồng.
Chạy cùng một bộ kiểm thử trên các phiên bản prompt và mô hình. Vì đầu ra ngẫu nhiên thay đổi, hãy thực hiện các lần thử lặp lại cho các nhiệm vụ không ổn định. Theo dõi sự suy giảm theo danh mục thay vì dựa vào một vài cuộc trò chuyện được chọn lọc.
Biết khi nào prompt không đủ
Kỹ thuật prompt phù hợp khi mô hình nền đã có khả năng cần thiết và ngữ cảnh có thể chỉ định nhiệm vụ. Truy xuất tốt hơn cho kiến thức thay đổi. Fine-tuning có thể cải thiện hành vi ổn định hoặc các mẫu miền, trong khi mã quyết định nên xử lý các phép tính chính xác và chính sách.
Thiết kế lại quy trình làm việc khi mô hình thiếu bằng chứng, quyền không an toàn hoặc cần đánh giá con người. Phiên bản hoá các prompt giống như mã, giám sát các lỗi và duy trì lộ trình quay lại khi các mô hình generative AI thay đổi.
Cấu trúc prompt và cấu trúc chỉ dẫn
Kỹ thuật prompt xác định nhiệm vụ, ngữ cảnh, ràng buộc, ví dụ và định dạng đầu ra của mô hình. Các chỉ dẫn hệ thống hoặc nhà phát triển định nghĩa hành vi kéo dài; đầu vào người dùng cung cấp yêu cầu; nội dung truy xuất và kết quả công cụ là dữ liệu không đáng tin. Tách rõ các vai trò này. Nêu mục tiêu và đối tượng, chỉ cung cấp ngữ cảnh liên quan, xác định cách xử lý khi thiếu bằng chứng, và yêu cầu một sơ đồ được máy xác thực khi mã downstream tiêu thụ phản hồi. Độ dài và độ phức tạp của prompt có thể tạo ra mâu thuẫn và làm sao lãng mô hình.
Các ví dụ minh họa định dạng và ranh giới quyết định, nhưng chúng có thể gây thiên lệch nội dung và rò rỉ nhãn nếu được chọn từ dữ liệu đánh giá. Yêu cầu chain-of-thought không bắt buộc cho mọi nhiệm vụ và lập luận được tạo ra có thể hợp lý nhưng không trung thực. Yêu cầu bằng chứng ngắn gọn, phép tính, hoặc kết quả trung gian có cấu trúc có thể kiểm chứng. Truy xuất cung cấp kiến thức hiện tại hoặc riêng tư; công cụ thực hiện tính toán và hành động; mã quyết định nên thực thi các quy tắc chính xác. Prompt không thể cung cấp bảo mật hoặc đảm bảo thực tế mà hệ thống xung quanh không có.
Đánh giá, phiên bản hoá và phòng chống injection
Xem prompt như phần mềm có phiên bản. Xây dựng bộ kiểm thử bao gồm các trường hợp bình thường, mơ hồ, đối kháng, đa ngôn ngữ, ngữ cảnh dài và không được hỗ trợ; xác định tiêu chí chấp nhận trước khi tinh chỉnh. Đo độ chính xác nhiệm vụ, tính hợp lệ của sơ đồ, hỗ trợ bằng chứng, từ chối, an toàn, độ trễ và chi phí. So sánh với một prompt đơn giản và giữ lại các trường hợp cuối để giảm overfitting. Chạy nhiều mẫu khi đầu ra ngẫu nhiên và kiểm tra các lỗi có độ tin cậy cao, không chỉ điểm trung bình.
Prompt injection xảy ra khi nội dung không đáng tin yêu cầu mô hình bỏ qua chính sách, tiết lộ dữ liệu, hoặc lạm dụng công cụ. Chỉ dùng từ ngữ không đủ để phòng thủ. Đánh dấu ranh giới dữ liệu, giảm thiểu nội dung truy xuất, lọc theo quyền, ủy quyền mỗi công cụ bên ngoài, xác thực đối số, cô lập thực thi, và yêu cầu xác nhận cho các hành động có hậu quả. Không đặt bí mật trong prompt hoặc cho rằng các chỉ dẫn ẩn sẽ luôn bí mật. Kiểm tra injection gián tiếp trong tài liệu, trang web, email và đầu ra công cụ.
Thực tiễn sản xuất
Ghi lại các phiên bản của mô hình, prompt, truy xuất, công cụ và bộ lấy mẫu cùng kết quả đánh giá. Giám sát phân phối đầu vào và đầu ra, sơ đồ không hợp lệ, trích dẫn, lỗi công cụ, sửa chữa của người dùng, độ trễ và chi phí. Thực hiện các thay đổi theo giai đoạn và duy trì khả năng quay lại vì nhà cung cấp hoặc cập nhật mô hình có thể thay đổi hành vi. Cung cấp một phương án dự phòng không sinh ra và kịch bản leo thang con người. Kỹ thuật prompt là thiết kế giao diện và thí nghiệm cho các mô hình xác suất; nó có giá trị, nhưng độ tin cậy bền vững đến từ chất lượng dữ liệu, đánh giá, quyền, xác thực và kiểm soát vận hành.
Ví dụ thực tế: prompt một bộ trích xuất nghiên cứu có cấu trúc
Một hệ thống trích xuất thiết kế nghiên cứu, mẫu, can thiệp, kết quả và hạn chế từ các bài báo đã được phê duyệt. Prompt định nghĩa mỗi trường, yêu cầu các đoạn bằng chứng chính xác và một giá trị không xác định, và trả về một sơ đồ JSON đã được xác thực. Bộ kiểm thử riêng bao gồm các trường thiếu, bảng, các phần mâu thuẫn, văn bản quét và văn bản dạng prompt trong bài báo. Nó so sánh một hướng dẫn đơn giản, các ví dụ, truy xuất và các lựa chọn fine-tuned về độ chính xác trường, tính hợp lệ của trích dẫn, từ chối, độ trễ và chi phí.
Nội dung tài liệu được coi là không đáng tin một cách rõ ràng và không thể thay đổi quyền công cụ. Các lần thử lại sơ đồ không hợp lệ có giới hạn, trong khi các yêu cầu không được hỗ trợ chuyển sang đánh giá con người. Mô hình, prompt, bộ phân tích và phiên bản bài báo được ghi lại cho mỗi lần trích xuất. Giám sát theo dõi các sửa đổi ở mức trường và các định dạng mới. Một cập nhật prompt phải cải thiện bằng chứng được giữ lại và không thể chấp nhận chỉ vì đầu ra trông sạch hơn. Quy trình sử dụng prompt để chỉ định nhiệm vụ, trong khi xác thực và bằng chứng nguồn quyết định liệu kết quả có thể sử dụng được hay không.
Bằng chứng triển khai và sẵn sàng vận hành
Một quyết định sản xuất cần nhiều hơn một buổi trình diễn thành công. Xác định người dùng dự định, môi trường vận hành, đầu vào, đầu ra, các phụ thuộc, người sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một nền tảng có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm tra các trường hợp bình thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, sự thay đổi phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị bỏ quên. Đo lường chất lượng nhiệm vụ cùng với hiệu chỉnh hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.
Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng sử dụng. Sử dụng triển khai theo giai đoạn, duy trì một phương án dự phòng an toàn, và xác thực giám sát bằng các lỗi được chèn cố ý. Dữ liệu đo lường vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, tình trạng phụ thuộc, can thiệp của con người, và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Xác định ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì cho rằng hiệu suất offline sẽ kéo dài. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có quy trình khôi phục, học từ sự cố, xóa và lưu trữ được ghi chép, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.
Câu hỏi thường gặp
Kỹ thuật prompt chỉ là việc tìm các từ thần kỳ?
Không. Đó là một thực hành có hệ thống bao gồm định nghĩa nhiệm vụ, ngữ cảnh, ví dụ, công cụ, đầu ra có cấu trúc, đánh giá, phiên bản hoá và giám sát.
Prompt có nên yêu cầu mô hình tiết lộ toàn bộ quá trình suy luận của nó không?
Không. Lý do được tạo ra có thể không đầy đủ hoặc không trung thực. Yêu cầu bằng chứng hỗ trợ ngắn gọn hoặc các phép tính có thể kiểm chứng phù hợp với nhiệm vụ.
Tài liệu tham khảo chính
