Lãnh đạo tư tưởng

Xây dựng RAG đáng tin cậy: phân tích bảy điểm lỗi và các khung đánh giá

Kuriko IWAI
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhDeepEval tích hợp vào các pipeline CI/CD để phát hiện các lỗi hồi quy RAG trước khi…
Xem thêm
  • DeepEval tích hợp vào các pipeline CI/CD để phát hiện các lỗi hồi quy RAG trước khi triển khai vào môi trường sản xuất.
  • RAGAS tạo ra các bộ kiểm tra tổng hợp để chẩn đoán lỗi truy xuất so với lỗi tạo sinh mà không cần dữ liệu con người.
  • Arize Phoenix trực quan hóa các cụm embedding để phát hiện các khoảng trống trong phạm vi kiến thức của cơ sở dữ liệu vector.

Retrieval-Augmented Generation (RAG) là một thành phần quan trọng trong kiến trúc AI hiện đại, đóng vai trò là một khuôn khổ thiết yếu để xây dựng các tác nhân nhận thức về ngữ cảnh.

Nhưng việc chuyển từ một nguyên mẫu cơ bản sang một hệ thống sẵn sàng vận hành thực tế liên quan đến việc vượt qua các thách thức đáng kể trong việc truy xuất dữ liệu, hợp nhất ngữ cảnh và tổng hợp phản hồi.

Bài viết này cung cấp một phân tích sâu về bảy điểm lỗi phổ biến của RAG và các chỉ số đánh giá với các ví dụ lập trình thực tế.

Cấu Trúc Của Sự Sụp Đổ Của RAG – 7 Điểm Lỗi (FPs)

Theo các nhà nghiên cứu Barnett và cộng sự, hệ thống sinh tăng cường truy xuất (RAG) gặp phải bảy điểm lỗi (FPs) cụ thể trên toàn bộ chuỗi xử lý.

Dưới đây là sơ đồ minh họa các giai đoạn này:

Hình A. Các quá trình lập chỉ mục và truy vấn cần thiết để xây dựng hệ thống RAG. Việc lập chỉ mục diễn ra trong giai đoạn phát triển, còn truy vấn diễn ra khi hệ thống chạy. Các điểm lỗi được xác định trong nghiên cứu này nằm trong những ô màu đỏ (nguồn)

Hình A. Các quá trình lập chỉ mục và truy vấn cần thiết để xây dựng hệ thống RAG. Việc lập chỉ mục diễn ra trong giai đoạn phát triển, còn truy vấn diễn ra khi hệ thống chạy. Các điểm lỗi được xác định trong nghiên cứu này nằm trong những ô màu đỏ (nguồn)

Hãy cùng khám phá từng điểm lỗi theo thứ tự trong quá trình, theo tiến trình từ góc trên bên trái đến góc dưới bên phải như được hiển thị trong Hình A.

FP1. Nội Dung Thiếu

Nội dung thiếu xảy ra khi hệ thống được hỏi một câu hỏi mà không thể trả lời vì thông tin liên quan không có trong kho vector có sẵn từ đầu.

Sự cố xảy ra khi mô hình ngôn ngữ lớn (LLM) cung cấp một phản hồi nghe có vẻ hợp lý nhưng không chính xác thay vì nói rằng nó không biết.

FP2. Bỏ Qua Các Tài Liệu Được Xếp Hạng Cao

Đây là tình huống mà một tài liệu chính xác tồn tại trong kho vector, nhưng bộ truy xuất không thể xếp hạng nó đủ cao để bao gồm trong nhóm top-k tài liệu được cung cấp cho LLM làm ngữ cảnh.

Kết quả là thông tin chính xác không bao giờ đến được LLM.

FP3. Không Trong Ngữ Cảnh (Giới Hạn Chiến Lược Hợp Nhất)

Đây là tình huống mà một tài liệu chính xác tồn tại và được truy xuất từ kho vector, nhưng bị loại bỏ trong quá trình hợp nhất.

Điều này xảy ra khi quá nhiều tài liệu được trả về và hệ thống phải lọc chúng xuống để phù hợp trong cửa sổ ngữ cảnh của LLM, giới hạn token hoặc giới hạn tần suất gọi.

FP4. Không Trích Xuất

Đây là tình huống mà LLM không thể xác định thông tin chính xác trong ngữ cảnh, ngay cả khi thông tin chính xác có trong kho vector và được truy xuất / hợp nhất thành công.

Điều này xảy ra khi ngữ cảnh có quá nhiều nhiễu hoặc chứa thông tin mâu thuẫn khiến LLM bị nhầm lẫn.

FP5. Định Dạng Sai

Đây là tình huống mà việc lưu trữ, truy xuất, hợp nhất và giải thích của LLM đều được xử lý thành công, nhưng LLM không thể tuân theo các hướng dẫn định dạng cụ thể được cung cấp trong lời nhắc, chẳng hạn như một bảng, danh sách có dấu đầu dòng hoặc lược đồ JSON.

FP6. Mức độ chi tiết không phù hợp

LLM thực sự tạo ra đầu ra, nhưng hoặc quá chung chung hoặc quá phức tạp so với nhu cầu của người dùng.

Ví dụ, LLM tạo ra câu trả lời đơn giản cho một truy vấn của người dùng có mục tiêu chuyên môn phức tạp.

FP7. Câu Trả Lời Không Hoàn Chỉnh

Đây là tình huống mà LLM tạo ra đầu ra không nhất thiết sai, nhưng thiếu các mảnh thông tin chính mà có sẵn trong ngữ cảnh.

Ví dụ, khi người dùng hỏi một câu hỏi phức tạp như “Những điểm chính trong tài liệu A, B và C là gì?”, LLM chỉ giải quyết một hoặc hai nguồn.

FPs Ảnh Hưởng Như Thế Nào đến Hiệu Suất của Dòng RAG

Mỗi điểm lỗi này ảnh hưởng đến hiệu suất của các đường ống RAG:

Lỗi về tính toàn vẹn dữ liệu và độ tin cậy

Khi thông tin thiếu hoặc không chính xác, hệ thống không còn là nguồn thông tin đáng tin cậy. Các điểm lỗi chính bao gồm:

  • FP1 (Nội Dung Thiếu): Câu trả lời không có trong tài liệu từ đầu.
  • FP4 (Không Trích Xuất): LLM quyết định bỏ qua câu trả lời chính xác trong tài liệu.
  • FP7 (Không Hoàn Chỉnh): LLM cung cấp nửa sự thật, thiếu các mảnh thông tin quan trọng.

Các Nút thắt về Truy xuất và hiệu suất

Đường ống RAG có thể không hiệu quả khi nó bỏ lỡ thông tin chính trong các giai đoạn truy xuất và hợp nhất. Các điểm lỗi chính bao gồm:

  • FP2 (Bỏ Qua Các Tài Liệu Được Xếp Hạng Cao): Mô hình nhúng không chọn được top-k vector nhúng.
  • FP3 (Chiến Lược Hợp Nhất): Đoạn mã cắt ngắn tài liệu cho vừa với giới hạn của LLM loại bỏ các phần quan trọng nhất.

Lỗi Trải Nghiệm Người Dùng và Định Dạng

Mặc dù đúng, đầu ra có khả năng đọc kém hoặc định dạng sai có thể làm suy giảm trải nghiệm người dùng. Các điểm lỗi chính bao gồm:

  • FP5 (Định Dạng Sai): LLM không thể tuân theo định dạng đầu ra cụ thể như JSON.
  • FP6 (Mức độ chi tiết không phù hợp): LLM tạo ra đầu ra dài dòng cho một câu hỏi có/không đơn giản hoặc ngược lại (quá ngắn cho một câu hỏi phức tạp).

Hệ thống đánh giá: các khung giúp giảm thiểu điểm lỗi

Các chỉ số đánh giá được thiết kế để giảm thiểu một cách có hệ thống các điểm lỗi này.

Phần này khám phá các chỉ số đánh giá chính với các trường hợp sử dụng thực tế.

Các Chỉ Số Đánh Giá RAG Chính:

  • DeepEval
  • RAGAS
  • TruLens
  • Arize Phoenix
  • Braintrust

DeepEval – kiểm thử đơn vị trước khi triển khai

DeepEval tính toán một điểm số có trọng số dựa trên các tiêu chí.

Một LLM làm trọng tài (ví dụ, GPT-4o) đánh giá đầu ra của LLM theo từng tiêu chí:

DeepEval tận dụng G-eval, một khuôn khổ suy nghĩ theo chuỗi (CoT) thực hiện một cách tiếp cận đa bước để đánh giá đầu ra:

  1. Định nghĩa một tiêu chí để đo lường (ví dụ, “sự mạch lạc”, “sự trôi chảy” hoặc “sự liên quan”).
  2. Tạo các bước đánh giá (sử dụng một LLM đánh giá).
  3. Làm theo các bước đánh giá và phân tích đầu vào và đầu ra của LLM.
  4. Tính toán tổng có trọng số kỳ vọng của điểm số của từng tiêu chí.

Tình Huống Thông Thường Trong Thực Tiễn

  • Tình Huống: Một trợ lý tài liệu kỹ thuật (bot) cho một sản phẩm phần mềm phức tạp dường như hoạt động mọi lúc khi nhóm kỹ sư cập nhật cơ sở mã.
  • Vấn Đề: Không có bằng chứng định lượng về việc bot vẫn có thể trả lời truy vấn của người dùng (Bạn chỉ “nghĩ” nó hoạt động…).
  • Giải Pháp: Tích hợp một hàm PyTest vào bộ kiểm thử hồi quy CI/CD trong GitHub Actions nơi DeepEval chạy G-Eval và các chỉ số khác trên một trường hợp thử nghiệm:
  • Kết Quả Dự Kiến: Nếu bất kỳ điểm số nào của các chỉ số giảm xuống dưới ngưỡng (0,85), PyTest sẽ phát sinh AssertionError – khiến quá trình build CI thất bại ngay lập tức, ngăn lỗi suy giảm khó nhận thấy lọt vào môi trường vận hành thực tế.

Ưu điểm và nhược điểm

  • Cung cấp nhiều chỉ số (50+) bao gồm cả kiểm tra thiên vị và độc tính chuyên dụng.
  • Tích hợp liền mạch với các đường ống CI / CD hiện có.
  • Không cần tham chiếu. Đánh giá đầu ra dựa chỉ trên lời nhắc và ngữ cảnh được cung cấp.
  • Chất lượng đánh giá phụ thuộc nặng vào khả năng của LLM trọng tài.
  • Tính toán tốn kém khi LLM trọng tài là một mô hình cao cấp.

Lưu Ý Của Nhà Phát Triển – Trường Hợp Thử Nghiệm Cho DeepEval
Một tập hợp các đối tượng LLMTestCase định nghĩa trường hợp thử nghiệm mà DeepEval chạy.

Trong thực tế, trường hợp thử nghiệm này nên chứa các truy vấn quan trọng nhất của người dùng và đầu ra được gắn nhãn với ngữ cảnh được truy xuất.

Những điều này có thể được truy xuất từ một tệp JSON hoặc CSV.

RAGAS – tối ưu việc tìm kim trong đống cỏ khô

Retrieval Augmented Generation Assessment (Ragas) nhằm đánh giá RAG mà không cần tập dữ liệu do con người gán nhãn bằng cách tạo các tập kiểm tra tổng hợp.

Sau đó, nó tính toán các chỉ số chủ chốt:

Hình B. Sơ đồ đánh giá bộ ba RAGAS liên kết câu hỏi, ngữ cảnh và câu trả lời qua các chỉ số độ chính xác, độ bao phủ, mức độ trung thành với nguồn và mức độ liên quan (tác giả: Kuriko IWAI)

Hình B. Sơ đồ đánh giá bộ ba RAGAS liên kết câu hỏi, ngữ cảnh và câu trả lời qua các chỉ số độ chính xác, độ bao phủ, mức độ trung thành với nguồn và mức độ liên quan (tác giả: Kuriko IWAI)

Các chỉ số chủ chốt được chia thành ba nhóm:

  • Chuỗi truy xuất (đường liền, màu đen, Hình B): Độ chính xác ngữ cảnh, độ bao phủ ngữ cảnh.
  • Đường ống tạo (đường đứt, màu đen, Hình B): Mức độ trung thành với nguồn, sự liên quan của câu trả lời.
  • Dữ liệu chuẩn (hộp màu đỏ, Hình B): Độ tương đồng ngữ nghĩa của câu trả lời, độ chính xác của câu trả lời.

Tình Huống Thông Thường Trong Thực Tiễn

  • Tình Huống: Hệ thống RAG cho các hợp đồng pháp lý thiếu các điều khoản quan trọng. Bạn không chắc chắn liệu vấn đề có nằm trong Tìm kiếm (Truy xuất) hay Đọc (Tạo).
  • Vấn Đề: Không có ý tưởng về số lượng tối ưu các phần được truy xuất (top-k).
  • Giải Pháp: Sử dụng RAGAS để tạo một tập kiểm tra tổng hợp với 100 cặp câu hỏi và bằng chứng. Sau đó, chạy chuỗi xử lý RAG trên tập kiểm tra để tính độ bao phủ ngữ cảnh và độ chính xác ngữ cảnh:
  • Kết Quả Dự Kiến: Tùy thuộc vào kết quả chỉ số, kế hoạch hành động có thể là như sau:
Chỉ Số Điểm Số Chẩn Đoán Kế Hoạch Hành Động
Độ bao phủ Ngữ Cảnh Thấp Bộ truy xuất bỏ lỡ thông tin chính xác. – Tăng top-k.
– Thử tìm kiếm kết hợp (BM25 + vector).
Độ Chính Xác Ngữ Cảnh Thấp Các phần top-k chứa quá nhiều nội dung thừa và nhiễu – làm cho LLM bị nhầm lẫn. – Giảm top-k
– Thực hiện một Bộ Xếp Hạng Lại (ví dụ, Cohere).
Mức độ trung thành với nguồn Thấp Bộ sinh đang tạo thông tin ảo giác dù có sẵn dữ liệu. – Điều chỉnh lời nhắc hệ thống.
– Kiểm tra giới hạn cửa sổ ngữ cảnh.

Bảng 1. Ma Trận Chẩn Đoán và Hành Động Của RAGAS – Liên kết điểm số với các điều chỉnh hệ thống.

Ưu điểm và nhược điểm

  • Rất phù hợp cho dự án giai đoạn đầu không có tập dữ liệu chuẩn (Như chúng ta đã thấy trong đoạn mã, RAGAS có thể tạo một tập kiểm tra tổng hợp).
  • Tập kiểm tra tổng hợp có thể bỏ lỡ các lỗi thực tế tinh vi.
  • Yêu cầu một mô hình trích xuất mạnh mẽ để chia nhỏ câu trả lời thành các tuyên bố riêng lẻ (Tôi đã sử dụng gpt-4o trong ví dụ).

TruLens – Chuyên Gia Vòng Lặp Phản Hồi

TruLens tập trung vào các cơ chế nội bộ của quá trình RAG thay vì chỉ đầu ra cuối cùng bằng cách sử dụng hàm phản hồi.

Nó cũng sử dụng một điểm số dựa trên LLM phản ánh mức độ đáp ứng của phản hồi với ý định của truy vấn, sử dụng thang điểm Likert 4 điểm (0-3), khiến nó vượt trội trong xếp hạng chất lượng của các kết quả tìm kiếm khác nhau.

Tình Huống Thông Thường Trong Thực Tiễn

  • Tình Huống: Một bot tư vấn y tế trả lời câu hỏi của người dùng một cách chính xác nhưng thêm một mẹo không có trong cơ sở PDF được kiểm chứng.
  • Vấn Đề: Mẹo thêm vào có thể hữu ích nhưng không dựa trên tài liệu nguồn.
  • Giải Pháp: Sử dụng TruLens để thực hiện một hàm phản hồi về căn cứ với một ngưỡng như score > 0.8.
  • Kết Quả Dự Kiến: Khi LLM tạo ra một phản hồi chứa thông tin không có trong các phần được truy xuất, TruLens đánh dấu bản ghi trong bảng điều khiển của bạn.

Ưu điểm và nhược điểm

  • Trực quan hóa chuỗi suy luận để xác định chính xác nơi tác nhân đi sai đường.
  • Cung cấp hỗ trợ tích hợp để kiểm tra căn cứ trong nguồn để bắt các ảo giác trong thời gian thực.
  • Đường cong học tập để định nghĩa các hàm phản hồi tùy chỉnh.
  • Bảng điều khiển có thể cảm thấy nặng nề cho các đoạn mã đơn giản.

Arize Phoenix – Bản Đồ Sự Cố Im Lặng

Arize Phoenix là một công cụ đánh giá và quan sát mã nguồn mở để đánh giá đầu ra của LLM, bao gồm cả các hệ thống RAG phức tạp.

Xây dựng trên OpenTelemetry bởi Arize AI, nó tập trung vào khả năng quan sát bằng cách coi đánh giá LLM là một tập con của MLOps.

Trong ngữ cảnh của đánh giá RAG, Phoenix vượt trội trong phân tích nhúng, sử dụng Uniform Manifold Approximation and Projection (UMAP) để giảm các vector nhúng nhiều chiều xuống không gian 2D / 3D.

Phân tích nhúng này tiết lộ một cách toán học nếu các truy vấn thất bại được nhóm lại về mặt ngữ nghĩa, chỉ ra một khoảng trống trong cơ sở dữ liệu vector.

Tình Huống Thông Thường Trong Thực Tiễn

  • Tình Huống: Một bot hỗ trợ khách hàng hoạt động tốt cho việc hoàn trả nhưng đưa ra câu trả lời vô nghĩa cho các yêu cầu bảo hành.
  • Vấn Đề: Lỗ hổng dữ liệu trong cơ sở dữ liệu vector (Không tìm thấy trong nhật ký).
  • Giải Pháp: Sử dụng Arize Phoenix để tạo một hình trực quan hóa vector nhúng bằng UMAP (UEV), một bản đồ 3D cho cơ sở dữ liệu vector – để chồng các truy vấn của người dùng lên các phần tài liệu.
  • Kết Quả Dự Kiến: Nhìn thấy trực quan một cụm truy vấn của người dùng rơi vào vùng tối nơi không có tài liệu, cho thấy một số tài liệu bị quên tải lên kho vector.

Ưu điểm và nhược điểm

  • Được xây dựng trên OpenTelemetry; tích hợp với các ngăn xếp giám sát doanh nghiệp hiện có.
  • Công cụ tốt nhất để trực quan hóa điểm mù của kho vector.
  • Ít tập trung vào việc tính điểm, nhiều hơn vào việc quan sát.
  • Có thể là quá mức cho các ứng dụng quy mô nhỏ hoặc công cụ chỉ có một tác nhân.

Braintrust – lưới an toàn chống suy giảm khi sửa lời nhắc

Braintrust được thiết kế cho các chu kỳ lặp lại với tần suất cao bằng cách sử dụng so sánh giữa các mô hình.

Tình Huống Thông Thường Trong Thực Tiễn

  • Tình Huống: Một đội kỹ sư nâng cấp lời nhắc từ “Trả Lời Câu Hỏi” (Trường Hợp A) lên một hướng dẫn hệ thống phức tạp 500 từ (Trường Hợp B).
  • Vấn Đề: Cải thiện lời nhắc cho Trường Hợp B có thể vô tình làm hỏng Trường Hợp A.
  • Giải Pháp: Sử dụng Braintrust để tạo một tập dữ liệu vàng với một tập hợp N ví dụ hoàn hảo (ví dụ, N = 50). Hãy để Braintrust chạy so sánh song song (SxS) mỗi khi đội cập nhật một từ trong lời nhắc:
  • Kết Quả Dự Kiến: Báo cáo khác biệt chỉ rõ những trường hợp nào trong tập dữ liệu chuẩn (N = 50) được cải thiện hoặc xấu đi.

Ưu điểm và nhược điểm

  • Rất nhanh để kiểm tra trước khi triển khai.
  • Giao diện người dùng tuyệt vời cho các bên liên quan không kỹ thuật để xem xét và đánh giá đầu ra.
  • Định hướng SaaS / độc quyền (mặc dù họ có thành phần mã nguồn mở).
  • Ít chỉ số kỹ thuật chuyên sâu tích hợp sẵn hơn so với DeepEval hoặc Ragas.

Kết Luận

Khi được xử lý với các khuôn khổ đánh giá phù hợp, RAG có thể là một công cụ cạnh tranh để cung cấp ngữ cảnh LLM liên quan nhất đến truy vấn của người dùng.

Chiến lược triển khai: liên kết chỉ số với điểm lỗi

Mặc dù không có giải pháp phù hợp với tất cả, Bảng 2 hiển thị các chỉ số đánh giá nào để áp dụng cho từng điểm lỗi mà chúng ta đã đề cập trong bài viết này:

Điểm Lỗi Ý Tưởng Chỉ Số Đánh Giá Tính Năng Để Sử Dụng
FP1: Nội Dung Thiếu RAGAS Mức độ trung thành với nguồn / Độ Chính Xác Câu Trả Lời
FP2: Bỏ Qua Xếp Hạng TruLens Độ bao phủ Ngữ Cảnh / Độ Chính Xác Ngữ Cảnh
FP3: Hợp Nhất Arize Phoenix Theo dõi truy xuất & Phân Tích Độ Trễ
FP4: Không Trích Xuất DeepEval Mức độ trung thành với nguồn / Độ bao phủ ngữ cảnh
FP5: Định Dạng Sai DeepEval G-Eval (Bảng Đánh Giá Tùy Chỉnh)
FP6: Mức độ chi tiết Braintrust Đánh giá thủ công & Đánh Giá Song Song
FP7: Không Hoàn Chỉnh RAGAS Sự Liên Quan Của Câu Trả Lời

Bảng 2. Ma Trận Giảm Thiểu Điểm Lỗi – Công Cụ Nào Giải Quyết Điểm Lỗi Nào?

DeepEval và RAGAS có thể tận dụng các chỉ số mức độ trung thành với nguồn của chúng để đo lường các lỗi về tính toàn vẹn dữ liệu (FP1, FP4, FP7).

TruLens tận dụng độ chính xác ngữ cảnh / độ bao phủ của nó để đo lường sự liên quan của ngữ cảnh đến đầu ra – hiệu quả đánh giá FP2.

Arize Phoenix cung cấp một bản đồ truy vết của quá trình truy xuất, giúp dễ dàng xem liệu tài liệu được truy xuất có bị mất trong quá trình hợp nhất (FP3) hay không.

Đối với các lỗi về trải nghiệm người dùng, DeepEval tạo ra các chỉ số tùy chỉnh để đánh giá lỗi về trải nghiệm người dùng, trong khi Braintrust vượt trội trong việc so sánh tập dữ liệu chuẩn.

Kuriko IWAI là kỹ sư học máy tại Kernel Labs, một trung tâm nghiên cứu và kỹ thuật chuyên chuyển các nghiên cứu về ML thành quy trình tự động, sẵn sàng đưa vào sản xuất.

Cô chuyên xây dựng các hệ thống ML, tập trung vào kiến trúc AI tạo sinh, dòng dõi ML và tinh chỉnh LLM.
Với bề dày kinh nghiệm làm chủ sản phẩm trên khắp Đông Nam Á, Kuriko xuất sắc trong việc gắn kết hoạt động thử nghiệm kỹ thuật với giá trị kinh doanh.