Nền tảng AI
Tìm kiếm tương đồng vector là gì và nó hoạt động như thế nào?
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Tìm kiếm tương đồng vector tìm các mục có biểu diễn số gần với vector truy vấn dựa trên hàm khoảng cách hoặc độ tương đồng đã chọn. Mô hình nhúng ánh xạ văn bản, hình ảnh, âm thanh, sản phẩm hoặc người dùng thành các vector để các mục liên quan có thể nằm trong các khu vực gần nhau của không gian biểu diễn.
Chỉ mục tìm kiếm không hiểu được độ tương đồng một cách độc lập với mô hình nhúng và metric. Nếu biểu diễn mã hoá khái niệm liên quan sai, một thuật toán tìm lân cận gần nhất nhanh sẽ trả về các lân cận sai một cách hiệu quả.
Những điểm chính
- Mô hình nhúng, tiền xử lý và metric khoảng cách xác định ý nghĩa của “gần”.
- Tìm kiếm k-lân cận gần nhất chính xác quét toàn bộ các ứng cử viên; các chỉ mục xấp xỉ đổi lại một phần độ thu hồi để tăng tốc và giảm bộ nhớ.
- HNSW, chỉ mục tệp đảo ngược và lượng tử hoá sản phẩm cung cấp các cân bằng khác nhau về xây dựng, truy vấn và cập nhật.
- Lọc siêu dữ liệu, truy xuất hỗn hợp và sắp xếp lại là một phần của hệ thống, không phải là những thứ được thêm vào sau.
Nhúng và các metric độ tương đồng
Một transformer hoặc bộ mã hoá khác chuyển một mục thành một vector có độ dài cố định. Độ tương đồng cosine so sánh góc, tích vô hướng kết hợp hướng và độ lớn, và khoảng cách Euclid đo khoảng cách thẳng.
Chuẩn hoá có thể làm cho thứ hạng dựa trên độ tương đồng cosine và tích vô hướng trở nên tương đương. Metric được dùng để huấn luyện mô hình nhúng nên phù hợp với việc truy xuất. Đánh giá mức độ liên quan theo miền vì độ tương đồng ngữ nghĩa, khả năng thay thế và sở thích người dùng là các mục tiêu khác nhau.
Tìm kiếm chính xác so với xấp xỉ
Tìm kiếm chính xác tính độ tương đồng với mọi vector đủ điều kiện và trả về các ứng cử viên thực sự gần nhất. Nó đơn giản và chính xác nhưng trở nên tốn kém khi kích thước bộ sưu tập, chiều không gian hoặc tần suất truy vấn tăng lên.
Các chỉ mục lân cận gần nhất xấp xỉ (ANN) xem xét một tập hợp ứng cử viên nhỏ hơn. Đo recall@k so với kết quả chuẩn chính xác cùng với độ trễ, thông lượng và bộ nhớ. “Xấp xỉ” mô tả thuật toán tìm kiếm, không phải việc mô hình nhúng có đúng hay không.
HNSW, tệp đảo ngược và nén
Đồ thị Hierarchical Navigable Small World (HNSW) kết nối các vector theo các lớp. Một truy vấn đi xuống từ các liên kết dài khoảng rải rác tới các liên kết cục bộ dày đặc. Độ rộng tìm kiếm kiểm soát sự cân bằng giữa độ thu hồi và độ trễ, trong khi việc xây dựng và cập nhật đồ thị tiêu tốn bộ nhớ.
Các chỉ mục tệp đảo ngược sử dụng cụm thô — thường liên quan tới K-means — để tìm kiếm các vùng đã chọn. Lượng tử hoá sản phẩm nén các không gian phụ của vector, giảm bộ nhớ nhưng gây sai số khoảng cách. Faiss kết hợp một số kỹ thuật như vậy.
Lọc, truy xuất hỗn hợp và sắp xếp lại
Các truy vấn thực tế thường yêu cầu bộ lọc theo tenant, ngôn ngữ, ngày, quyền truy cập hoặc sản phẩm. Lọc trước có thể để lại quá ít ứng cử viên trong đồ thị; lọc sau có thể lãng phí công việc truy xuất. Các kế hoạch chỉ mục và truy vấn nên được kiểm thử với độ chọn lọc bộ lọc thực tế.
Tìm kiếm hỗn hợp kết hợp khớp từ khóa với độ tương đồng vector để cả tên chính xác và ý nghĩa ngữ nghĩa đều đóng góp. Một bộ sắp xếp lại (reranker) có thể áp dụng một cross-encoder tốn kém hơn hoặc các quy tắc kinh doanh cho các ứng cử viên hàng đầu. Duy trì kiểm tra quyền truy cập qua mọi giai đoạn.
Đánh giá, cập nhật và trôi dạt
Sử dụng các đánh giá liên quan có nhãn hoặc thành công của tác vụ hạ lưu, không chỉ dựa vào các cụm hình ảnh. Theo dõi recall, precision, normalized discounted cumulative gain, các phần trăm độ trễ, bộ nhớ, thời gian xây dựng chỉ mục và độ tươi mới.
Nâng cấp mô hình nhúng yêu cầu tái nhúng và có thể di chuyển mọi điểm. Các vector và chỉ mục phiên bản, hỗ trợ di chuyển song song và giám sát trôi dạt của truy vấn/dân số. Giảm chiều có thể hỗ trợ trực quan hoá nhưng có thể làm méo mó các khu vực lân cận và không nên nhầm lẫn với việc đánh giá truy xuất.
Nhúng, metric và cấu trúc chỉ mục
Tìm kiếm tương đồng vector biểu diễn các mục dưới dạng các nhúng số và truy xuất các vector gần với truy vấn dựa trên một metric như độ tương đồng cosine, tích vô hướng, hoặc khoảng cách Euclid. Mô hình nhúng xác định ý nghĩa của sự gần nhau; chỉ mục chỉ tăng tốc cho hình học đó. Chuẩn hoá vector khi cần, bảo tồn phiên bản mô hình và tiền xử lý, và không so sánh khoảng cách từ các không gian nhúng không tương thích. Một mô hình mạnh cho ngữ nghĩa chung có thể thất bại trong việc tương thích sản phẩm, trích dẫn pháp lý, hình ảnh, mã nguồn, hoặc thuật ngữ đa ngôn ngữ nếu không có đánh giá theo miền.
Tìm kiếm chính xác so sánh mọi vector và đơn giản nhưng tốn kém khi quy mô lớn. Các phương pháp lân cận gần nhất xấp xỉ đổi lại độ thu hồi để tăng tốc và giảm bộ nhớ. Các chỉ mục đồ thị như HNSW điều hướng các lân cận được liên kết; các phương pháp tệp đảo ngược chia vector thành các ô thô; lượng tử hoá sản phẩm nén vector; các phương pháp dựa trên đĩa đổi lại lưu trữ và độ trễ. Các tham số thời gian xây dựng, thời gian truy vấn và bộ nhớ tương tác lẫn nhau. Thực hiện benchmark trên số lượng vector, chiều, cập nhật, bộ lọc, đồng thời và phần cứng giống môi trường sản xuất.
Chất lượng truy xuất và tìm kiếm hỗn hợp
Tạo các truy vấn có đánh giá với các mục liên quan và không liên quan, bao gồm các thuật ngữ hiếm, tính mơ hồ, văn bản dài, ngôn ngữ và độ tươi mới. Đo recall@k, precision@k, mean reciprocal rank, normalized discounted gain, độ trễ và chi phí. Đo riêng recall của ANN so với các lân cận chính xác và độ liên quan ngữ nghĩa so với đánh giá của con người. Một chỉ mục nhanh có thể truy xuất các mục gần nhất về mặt toán học nhưng sai nếu mô hình nhúng kém.
Tìm kiếm bằng từ khóa vẫn mạnh mẽ cho các tên chính xác, định danh, ngày tháng và token hiếm. Truy xuất hỗn hợp kết hợp xếp hạng từ khóa và vector, trong khi các bộ lọc siêu dữ liệu thực thi tenant, quyền truy cập, ngôn ngữ, ngày và loại. Áp dụng kiểm tra quyền trước khi trả về hoặc tạo kết quả; lọc sau truy xuất có thể rò rỉ sự tồn tại hoặc nội dung. Các bộ sắp xếp lại (rerankers) cải thiện precision với độ trễ bổ sung. Việc chia thành các đoạn (chunking) nên tuân theo cấu trúc tài liệu và bảo tồn nguồn, phiên bản và offset để trích dẫn.
Vòng đời sản xuất
Cập nhật cần ID xác định, lan truyền xóa, tombstone hoặc nén, và chiến lược tái nhúng sau khi thay đổi mô hình. Không bao giờ trộn lẫn các nhúng cũ và mới một cách im lặng; xây dựng lại hoặc phiên bản chỉ mục và so sánh ngoại tuyến trước khi chuyển đổi. Giám sát phân phối truy vấn và kết quả, các tìm kiếm trống hoặc điểm thấp, độ trễ, sức khỏe chỉ mục và phản hồi có nhãn. Bảo vệ các nhúng vì chúng có thể mã hoá thông tin nhạy cảm và cho phép suy luận. Tìm kiếm vector là hạ tầng truy xuất, không phải bảo đảm tính thực tế; các hệ thống hạ lưu phải bảo tồn bằng chứng và từ chối khi hỗ trợ không đủ.
Ví dụ thực tế: truy xuất vector có nhận thức quyền
Một doanh nghiệp chia tài liệu hướng dẫn thành các đoạn theo phần, nhúng chúng bằng một mô hình có phiên bản, và lưu trữ ID tài liệu, quyền truy cập, ngôn ngữ, phiên bản và offset. Một bộ truy vấn có đánh giá so sánh truy xuất bằng từ khóa, vector, hỗn hợp và sắp xếp lại. Đánh giá đo recall và precision tại k, độ bao phủ trích dẫn, độ trễ, chi phí và kết quả cho các số phần chính xác và thuật ngữ đa ngôn ngữ. Recall của ANN được kiểm tra riêng so với các lân cận vector chính xác.
Khi truy vấn, bộ lọc quyền truy cập loại bỏ các ứng cử viên trước khi nội dung được trả về. Các tìm kiếm có điểm thấp sẽ từ chối, và lớp trả lời trích dẫn các phần nguồn và nêu ra xung đột. Việc tái nhúng xây dựng một chỉ mục mới thay vì trộn các phiên bản vector, và các sự kiện xóa loại bỏ nguồn, các đoạn và bộ nhớ đệm. Giám sát theo dõi các truy vấn trống, phân phối điểm và độ trễ, các trường hợp từ chối quyền, và mức độ liên quan đã được xem xét. Các nhúng được bảo vệ như dữ liệu nhạy cảm. Độ tương đồng truy xuất bằng chứng; nó không khẳng định bằng chứng là đúng hoặc áp dụng được.
Bằng chứng triển khai và sẵn sàng vận hành
Một quyết định sản xuất cần hơn một buổi trình diễn thành công. Xác định người dùng mục tiêu, môi trường hoạt động, đầu vào, đầu ra, các phụ thuộc, người sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một baseline có thể tái tạo và một bộ đánh giá có phiên bản trước khi tinh chỉnh. Kiểm thử các trường hợp thường, điều kiện biên, đầu vào sai định dạng hoặc thiếu, sự dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị thiếu hụt. Đo lường chất lượng nhiệm vụ cùng với hiệu chỉnh hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một nguyên mẫu hấp dẫn.
Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng hoạt động. Sử dụng triển khai theo giai đoạn, bảo tồn một phương án dự phòng an toàn, và xác minh giám sát bằng cách cố tình đưa vào các lỗi. Dữ liệu đo lường vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, sức khỏe phụ thuộc, can thiệp của con người và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Xác định ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng ngoại tuyến sẽ duy trì. Đánh giá lại mỗi khi nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần có quy trình phục hồi, học hỏi từ sự cố, xóa và lưu trữ, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.
Câu hỏi thường gặp
Có cần một cơ sở dữ liệu vector để tìm kiếm tương đồng không?
Không. Các thư viện và cơ sở dữ liệu quan hệ có thể hỗ trợ các chỉ mục vector. Một cơ sở dữ liệu chuyên dụng hữu ích khi quy mô, khả năng lọc, độ bền và các tính năng vận hành của nó phù hợp với tải công việc.
Mô hình nhúng có chiều cao hơn luôn cho hiệu suất tốt hơn không?
Không. Số chiều cao hơn làm tăng chi phí và có thể mã hoá tiếng ồn. So sánh các mô hình dựa trên chất lượng truy xuất đại diện, độ trễ và lưu trữ.
Tài liệu tham khảo chính
