Công Nghệ Một Mình Không Đảm Bảo Việc Áp Dụng: Bài Học Từ Xây Dựng Trợ Lý Ảo Nội Bộ

Khi việc áp dụng trí tuệ nhân tạo được tăng tốc trên nhiều ngành công nghiệp, việc triển khai một trợ lý ảo để hỗ trợ một ứng dụng nội bộ mới được phát hành dường như là một quyết định hợp lý. Tuy nhiên, ứng dụng đó đã thách thức những kỳ vọng của người dùng theo cách thông thường. Nó giới thiệu những quy trình làm việc mới dựa trên công nghệ mới mà hầu hết người dùng không quen thuộc.

Để giảm thiểu sự phức tạp và cải thiện việc áp dụng, trợ lý ảo được thiết kế để trả lời các câu hỏi về ứng dụng và công nghệ cơ bản. Mục tiêu là giúp người dùng hiểu không chỉ những việc cần làm, mà còn tại sao hệ thống lại hoạt động theo cách đó. Chúng tôi tin rằng việc cung cấp các giải thích theo ngữ cảnh sẽ giúp đẩy nhanh quá trình học tập và giảm thiểu sự nhầm lẫn.

Từ đầu, trợ lý ảo được coi là một giải pháp có phạm vi hạn chế. Nó được thiết kế nghiêm ngặt để hỗ trợ tài liệu và cung cấp hỗ trợ cho người dùng. Về mặt khái niệm, trợ lý ảo được dự định để hoạt động như một sự thay thế động cho tài liệu Câu hỏi thường gặp truyền thống, cung cấp một giao diện đối话, có thể tìm kiếm và luôn sẵn sàng với chức năng mở rộng vượt quá nội dung tĩnh.

Để tích hợp trợ lý vào môi trường trò chuyện nội bộ của tổ chức, chúng tôi cần phải hiểu cách các tin nhắn được cấu trúc, cách lịch sử cuộc trò chuyện được lưu trữ và cách hệ thống xác định người tham gia trong các luồng. Điều này cho phép chúng tôi xác định các biến số cốt lõi cần thiết để bắt đầu xử lý các câu hỏi của người dùng.

Căn Chữ Cho Mô Hình: Từ Ước Tính Đến Ngữ Cảnh Tin Cậy

Các mô hình ngôn ngữ lớn rất mạnh mẽ, nhưng nếu không có neo ngữ cảnh, chúng có xu hướng ảo tưởng. Để giải quyết vấn đề này, chúng tôi đã triển khai một kỹ thuật nhúng vector.

Hướng dẫn người dùng, tài liệu nội bộ và tầm nhìn sản phẩm được chuyển đổi thành các biểu diễn vector số của văn bản. Những nhúng này nắm bắt ý nghĩa ngữ nghĩa, cho phép hệ thống khớp các khái niệm thay vì dựa vào việc khớp từ khóa đơn giản.

Khi người dùng đặt một câu hỏi, hệ thống chuyển đổi truy vấn thành một biểu diễn vector và so sánh nó với các tài liệu nhúng được lưu trữ. Nó thu hồi các tài liệu liên quan nhất về mặt ngữ nghĩa và tiêm chúng vào lời nhắc của mô hình. Mô hình sau đó tạo ra một phản hồi dựa trên những tài liệu cụ thể đó, thường tóm tắt thông tin liên quan.

Cách tiếp cận này đã cải thiện đáng kể độ chính xác của phản hồi. Thay vì tạo ra câu trả lời dựa hoàn toàn vào kiến thức chung, mô hình phản hồi bằng cách sử dụng chính tài liệu của tổ chức chúng tôi làm ngữ cảnh.

Sự Phức Tạp Ẩn Đằng Sau Quản Lý Ngữ Cảnh

Điều quan trọng là phải bao gồm lịch sử cuộc trò chuyện trong lời nhắc để bot có thể diễn giải các câu hỏi tiếp theo và duy trì tính liên tục. Nếu không có lịch sử, các tương tác trở nên rời rạc và lặp lại. Người dùng thường tinh chỉnh câu hỏi của họ một cách dần dần, và nếu không có ngữ cảnh, bot không thể diễn giải các tham chiếu như “tùy chọn đó” hoặc “bước trước đó”.

Tuy nhiên, việc bao gồm quá nhiều lịch sử đã tạo ra một vấn đề khác: giới hạn token. Điều này xảy ra khi các mô hình ngôn ngữ cắt ngắn các đầu vào vượt quá cửa sổ ngữ cảnh tối đa của chúng. Nếu một câu hỏi hoặc cuộc trò chuyện trở nên quá dài, thông tin quan trọng có thể bị mất. Điều này không tạo ra lỗi rõ ràng, mà thay vào đó làm giảm chất lượng phản hồi hoặc ảnh hưởng đến độ chính xác của việc thu hồi.

Để giảm thiểu điều này, chúng tôi đã triển khai các chiến lược để kiểm soát kích thước lời nhắc, ưu tiên nội dung liên quan và theo dõi độ dài câu hỏi. Chúng tôi đã thử nghiệm việc tóm tắt các tin nhắn cũ hơn và chọn lọc chỉ các phần quan trọng nhất của cuộc trò chuyện. Ngữ cảnh là rất quan trọng nhưng nó cần được quản lý cẩn thận.

Mở Rộng Khả Năng và Tạo Ra Sự Nhầm Lẫn

Ngoài việc trả lời các câu hỏi dựa trên tài liệu, chúng tôi đã mở rộng khả năng của bot bằng cách thêm các hàm backend có thể trích xuất một số thông tin công khai trực tiếp từ ứng dụng. Điều này cho phép người dùng thu thập dữ liệu từ cuộc trò chuyện mà không cần đăng nhập vào ứng dụng. Ý tưởng là giảm thiểu sự phức tạp và củng cố bot như một giao diện hữu ích, không chỉ là một lớp kiến thức tĩnh.

Tuy nhiên, sự mở rộng này đã tạo ra sự nhầm lẫn cho một số người dùng. Khi bot bắt đầu thu thập dữ liệu trực tiếp, người dùng bắt đầu yêu cầu nó thực hiện các hành động đòi hỏi tương tác trực tiếp trong nền tảng. Họ cho rằng bot có thể thay thế các bước hoạt động, bao gồm cả những bước đòi hỏi xác thực hoặc thực hiện có chủ ý trong nền tảng.

Bot không bao giờ được thiết kế để thực hiện những hành động đó, nhưng sự phân biệt giữa hỗ trợ thông tin và thực hiện hoạt động không luôn rõ ràng.

Việc tích hợp dữ liệu trực tiếp cũng giới thiệu các xem xét kỹ thuật mới. Chúng tôi cần xác định khi nào một câu hỏi nên đi qua thu hồi dựa trên nhúng và khi nào nó nên kích hoạt một cuộc gọi backend. Logic quyết định đó đòi hỏi thiết kế cẩn thận. Ngoài ra, chúng tôi cần tinh chỉnh phản hồi để xử lý các ngoại lệ kỹ thuật một cách tinh tế và tránh phơi bày các lỗi hệ thống thô cho người dùng.

Khả Năng Đa Ngôn Ngữ Không Tự Động

Trong quá trình thử nghiệm, chúng tôi nhận ra rằng bot hoạt động tốt hơn trong tiếng Anh so với các ngôn ngữ khác được sử dụng trong Jalasoft. Lý do chính là cấu trúc: hầu hết tài liệu được sử dụng để tạo ra các nhúng đều được viết bằng tiếng Anh, và mô hình nhúng mà chúng tôi đã chọn được tối ưu hóa cho sự tương tự ngữ nghĩa tiếng Anh.

Nó không hỗ trợ thu hồi ngôn ngữ chéo hoặc so sánh ngữ nghĩa giữa các ngôn ngữ. Do đó, các truy vấn không phải tiếng Anh thường thu hồi tài liệu ít liên quan, dẫn đến phản hồi yếu hơn.

Điều này nhấn mạnh một nhận xét quan trọng: khả năng đa ngôn ngữ không phải là tự động.

Khi Kỳ Vọng Mở Rộng Quá Phạm Vi

Để kiểm soát chi phí sử dụng, chúng tôi đã triển khai một giới hạn hàng ngày về số lượng câu hỏi mà người dùng có thể đặt. Tuy nhiên, chúng tôi không hạn chế rõ ràng phạm vi của những câu hỏi đó. Người dùng được tự do đặt bất kỳ câu hỏi nào.

Điều này dẫn đến các mẫu sử dụng không mong đợi. Một số người dùng bắt đầu tương tác với bot cho mục đích cá nhân hoặc khám phá không liên quan đến ứng dụng. Theo thời gian, kỳ vọng đã vượt quá vai trò dự định của bot, tạo ra một khoảng cách giữa những gì người dùng hy vọng nó có thể làm và những gì nó được thiết kế để hỗ trợ.

Sự không phù hợp này dần dần làm giảm giá trị nhận thức của nó. Sử dụng giảm, và bot cuối cùng đã bị loại bỏ, với nỗ lực được chuyển hướng đến việc thiết kế lại ứng dụng để làm cho nó trực quan và dễ sử dụng hơn.

Bài Học Thực Sự: Thiết Kế Tương Tác

Từ góc độ kỹ thuật, hệ thống hoạt động khá tốt. Nó thu hồi tài liệu, tích hợp lịch sử cuộc trò chuyện, giảm ảo tưởng thông qua nhúng, xử lý các cuộc gọi backend và quản lý kích thước lời nhắc. Kiến trúc hoạt động như dự định.

Tuy nhiên, nó thiếu thiết kế tương tác có chủ đích.

Bot không định hình rõ ràng các cuộc trò chuyện. Nó không nhất quán trong việc củng cố phạm vi của mình. Nó không hướng dẫn người dùng với các ví dụ có cấu trúc về những gì nó có thể và không thể làm. Nó trả lời các câu hỏi, nhưng nó không đặt ra kỳ vọng.

Chúng tôi đã học được rằng các hệ thống trí tuệ nhân tạo đối话 đòi hỏi hơn là các mô hình mạnh và dữ liệu có cấu trúc. Chúng đòi hỏi sự kỳ vọng được thiết kế cẩn thận. Người dùng cần sự rõ ràng về vai trò của tác nhân, ranh giới của nó và điểm mạnh của nó. Hệ thống phải chủ động cung cấp các ví dụ về lời nhắc, làm rõ các hạn chế và chuyển hướng các câu hỏi ngoài phạm vi một cách nhất quán.

Không có sự định hình chủ đích này, ngay cả một triển khai kỹ thuật âm thanh cũng có thể gặp khó khăn trong việc duy trì giá trị. Người dùng có thể đánh giá cao khả năng hoặc từ chối khi các kỳ vọng không được đáp ứng.

Cái nhìn cốt lõi là đơn giản nhưng mạnh mẽ.

Xây Dựng Trợ Lý Ảo Không Chỉ Là Thử Thách Kỹ Thuật. Đó Là Thử Thách Thiết Kế Tương Tác.

Ngữ cảnh mạnh, thu hồi chính xác và kiến trúc vững chắc là cần thiết, nhưng không đủ. Hiệu quả của hệ thống phụ thuộc đồng đều vào cách nó định nghĩa vai trò của mình, truyền đạt ranh giới của mình và định hình kỳ vọng của người dùng.

Công nghệ một mình không đảm bảo việc áp dụng. Thiết kế tương tác rõ ràng làm.