Tiến sĩ Ram Sriharsha, Phó Chủ tịch Kỹ thuật tại Pinecone – Loạt Phỏng vấn

Tiến sĩ Ram Sriharsha là Phó Chủ tịch Kỹ thuật và Nghiên cứu tại Pinecone.

Trước khi gia nhập Pinecone, Ram đã từng giữ vị trí Phó Chủ tịch tại Yahoo, Databricks và Splunk. Tại Yahoo, anh từng là kỹ sư phần mềm chính và sau đó là nhà khoa học nghiên cứu; tại Databricks, anh là người dẫn đầu sản phẩm và kỹ thuật cho nền tảng phân tích thống nhất cho genomics; và trong ba năm tại Splunk, anh đã đảm nhiệm nhiều vai trò khác nhau, bao gồm both Nhà khoa học Chính, Phó Chủ tịch Kỹ thuật và Kỹ sư Distinguished.

Pinecone là một cơ sở dữ liệu vector được quản lý hoàn toàn, giúp dễ dàng thêm tìm kiếm vector vào các ứng dụng sản xuất. Nó kết hợp các thư viện tìm kiếm vector, khả năng như lọc và cơ sở hạ tầng phân tán để cung cấp hiệu suất cao và độ tin cậy ở bất kỳ quy mô nào.

Điều gì thu hút bạn đến học máy?

Thống kê chiều không gian cao, lý thuyết học và chủ đề như vậy là những gì thu hút tôi đến học máy. Chúng được định nghĩa toán học tốt, có thể được lý giải và cung cấp một số kiến thức cơ bản về ý nghĩa của việc học và cách thiết kế các thuật toán có thể học hiệu quả.

Trước đây bạn là Phó Chủ tịch Kỹ thuật tại Splunk, một nền tảng dữ liệu giúp biến dữ liệu thành hành động cho khả năng quan sát, CNTT, Bảo mật và nhiều hơn. Những kết luận chính của bạn từ kinh nghiệm này là gì?

Tôi không nhận ra cho đến khi tôi đến Splunk rằng các trường hợp sử dụng trong tìm kiếm doanh nghiệp là rất đa dạng: mọi người sử dụng Splunk cho phân tích nhật ký, khả năng quan sát và phân tích bảo mật trong số nhiều trường hợp sử dụng khác. Và điều chung cho nhiều trường hợp sử dụng này là ý tưởng phát hiện các sự kiện tương tự hoặc khác biệt (hoặc bất thường) trong dữ liệu không cấu trúc. Điều này hóa ra là một vấn đề khó khăn và các phương tiện tìm kiếm truyền thống không thể mở rộng quy mô. Trong thời gian của tôi tại Splunk, tôi đã khởi xướng nghiên cứu về các lĩnh vực này về cách chúng tôi có thể sử dụng học máy (và học sâu) cho khai thác nhật ký, phân tích bảo mật, v.v. Qua công việc đó, tôi đã nhận ra rằng nhúng vector và tìm kiếm vector sẽ trở thành một nguyên tắc cơ bản cho các phương pháp mới trong các lĩnh vực này.

Có thể bạn mô tả tìm kiếm vector cho chúng tôi?

Trong tìm kiếm truyền thống (còn được gọi là tìm kiếm từ khóa), bạn đang tìm kiếm sự trùng khớp từ khóa giữa một truy vấn và tài liệu (đây có thể là tweet, tài liệu web, tài liệu pháp lý, v.v.). Để làm điều này, bạn chia truy vấn của mình thành các token, lấy tài liệu chứa token đã cho và hợp nhất và xếp hạng để xác định tài liệu liên quan nhất cho một truy vấn nhất định.

Vấn đề chính当然 là để có được kết quả liên quan, truy vấn của bạn phải có sự trùng khớp từ khóa trong tài liệu. Một vấn đề kinh điển với tìm kiếm truyền thống là: nếu bạn tìm kiếm “pop”, bạn sẽ trùng khớp “nhạc pop”, nhưng sẽ không trùng khớp “soda”, v.v. vì không có sự trùng khớp từ khóa giữa “pop” và tài liệu chứa “soda”, mặc dù chúng ta biết rằng trong nhiều khu vực ở Mỹ, “pop” có nghĩa là giống như “soda”.

Trong tìm kiếm vector, bạn bắt đầu bằng cách chuyển đổi cả truy vấn và tài liệu thành vector trong không gian chiều cao. Điều này thường được thực hiện bằng cách truyền văn bản qua một mô hình học sâu như LLM của OpenAI hoặc các mô hình ngôn ngữ khác. Điều bạn nhận được là một mảng số điểm nổi có thể được coi là một vector trong không gian chiều cao.

Ý tưởng cốt lõi là các vector gần nhau trong không gian chiều cao này cũng tương tự về mặt ngữ nghĩa. Quay lại ví dụ về “soda” và “pop”, nếu mô hình được đào tạo trên corpus phù hợp, nó có khả năng coi “pop” và “soda” là tương tự về mặt ngữ nghĩa và do đó các bản nhúng tương ứng sẽ gần nhau trong không gian nhúng. Nếu đó là trường hợp, thì việc lấy tài liệu gần nhất cho một truy vấn nhất định trở thành vấn đề tìm kiếm các láng giềng gần nhất của vector truy vấn tương ứng trong không gian chiều cao này.

Có thể bạn mô tả vector database và cách nó cho phép xây dựng các ứng dụng tìm kiếm vector hiệu suất cao?

Một cơ sở dữ liệu vector lưu trữ, lập chỉ mục và quản lý các bản nhúng (hoặc vector) này. Các thách thức chính mà cơ sở dữ liệu vector giải quyết là:

• Xây dựng một chỉ mục tìm kiếm hiệu quả trên vector để trả lời các truy vấn láng giềng gần nhất
• Xây dựng các chỉ mục và cấu trúc dữ liệu phụ trợ hiệu quả để hỗ trợ lọc truy vấn. Ví dụ, giả sử bạn muốn tìm kiếm trên một tập hợp con của corpus, bạn nên có thể tận dụng chỉ mục tìm kiếm hiện có mà không cần phải xây dựng lại nó

Hỗ trợ cập nhật hiệu quả và giữ cho cả dữ liệu và chỉ mục tìm kiếm luôn mới, nhất quán, bền vững, v.v.

Loại thuật toán học máy nào được sử dụng tại Pinecone?

Chúng tôi thường làm việc trên các thuật toán tìm kiếm láng giềng gần nhất xấp xỉ và phát triển các thuật toán mới để cập nhật, truy vấn và xử lý lượng lớn dữ liệu một cách hiệu quả về chi phí.

Chúng tôi cũng làm việc trên các thuật toán kết hợp truy hồi dày đặc và thưa thớt để cải thiện độ liên quan của tìm kiếm.

Thử thách nào đằng sau việc xây dựng tìm kiếm có khả năng mở rộng?

Mặc dù tìm kiếm láng giềng gần nhất xấp xỉ đã được nghiên cứu trong nhiều thập kỷ, chúng tôi tin rằng vẫn còn nhiều điều chưa được khám phá.

Cụ thể, khi nói đến việc thiết kế tìm kiếm láng giềng gần nhất lớn với hiệu quả về chi phí, thực hiện lọc hiệu quả ở quy mô lớn, hoặc thiết kế các thuật toán hỗ trợ cập nhật khối lượng lớn và chỉ mục luôn mới là những vấn đề thách thức ngày nay.

Loại trường hợp sử dụng nào mà công nghệ này có thể được sử dụng?

Phạm vi các trường hợp sử dụng cho cơ sở dữ liệu vector đang phát triển mỗi ngày. Ngoài việc sử dụng trong tìm kiếm ngữ nghĩa, chúng tôi cũng thấy nó được sử dụng trong tìm kiếm hình ảnh, tìm kiếm hình ảnh, trí tuệ tạo ra, phân tích bảo mật, v.v.

Tầm nhìn của bạn cho tương lai của tìm kiếm là gì?

Tôi nghĩ rằng tương lai của tìm kiếm sẽ được thúc đẩy bởi trí tuệ nhân tạo, và tôi không nghĩ rằng điều này quá xa. Trong tương lai đó, tôi kỳ vọng cơ sở dữ liệu vector sẽ trở thành một nguyên tắc cơ bản. Chúng tôi thích nghĩ về cơ sở dữ liệu vector như bộ nhớ dài hạn (hoặc cơ sở tri thức bên ngoài) của trí tuệ nhân tạo.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Pinecone.