Bốn Sự Cố Tốn Kém Của Trí Tuệ Nhân Tạo Không Được Kiểm Thử

Khi các công ty triển khai trí tuệ nhân tạo mà không có sự giám sát của con người, họ cơ bản đang yêu cầu một hệ thống tự động không xác định để tự xác thực.

Vấn đề không nhất thiết là trí tuệ nhân tạo không tốt trong việc kiểm tra. Trí tuệ nhân tạo rất tốt trong việc thực hiện những việc đã được thực hiện trước đó, đặc biệt là tuân theo các quy tắc mà bạn đã đặt ra rõ ràng. Nhưng những sai sót thực sự gây hại cho thương hiệu của bạn? Những sai sót đó sống trong những không gian mà phán quyết của con người quan trọng nhất. Một ảo giác về chính sách trả hàng. Một phản hồi không phù hợp với một khiếu nại nhạy cảm. Một rào an ninh không giữ được dưới áp lực.

Với 70% khách hàng sẵn sàng chuyển sang после một tương tác trí tuệ nhân tạo không tốt, mức độ rủi ro rất cao. Tuy nhiên, hầu hết các công ty đang triển khai trí tuệ nhân tạo được xác thực bởi các công cụ tự động hoặc lỗi thời, được xây dựng cho phần mềm xác định. Đó là một cấu trúc không bao giờ được thiết kế để bắt được những sai sót thực sự khiến mọi người rời đi.

Trong các dự án mà Teslio đã thực hiện cho các đội doanh nghiệp, bốn chế độ sai sót chiếm đa số thiệt hại có thể nhìn thấy của khách hàng. Không có chế độ nào trong số đó được bắt bởi kiểm tra tự động alone.

1. Rào An Ninh Và Bảo Mật Không Thực Sự Bảo Vệ

Một khách hàng hỏi chatbot của bạn câu hỏi đúng cách. Bot cung cấp cho họ một món đồ 1.000 đô la với giá 10 đô la. Hoặc nó tiết lộ thông tin mà nó tuyệt đối không nên. Hoặc nó phá vỡ một quy tắc kinh doanh cơ bản vì không ai kiểm tra các điều kiện biên.

Rủi ro là trực tiếp. Thiệt hại là ngay lập tức và công khai.

Vấn đề thực sự không chỉ là tự động hóa, mặc dù đó là một phần của nó. Rào an ninh không được tiêu chuẩn hóa, chúng phải được thích nghi với bối cảnh kinh doanh cụ thể của bạn. Và ngay cả khi các phương pháp hay nhất được tuân theo, rào an ninh vẫn dễ bị tổn thương. Các kỹ thuật như “jailbreak thơ ca” cho thấy chúng ta rằng rào an ninh tốt có thể bị thao túng theo những cách mà các nhà tạo ra nó không bao giờ dự kiến. Câu hỏi mà các công ty cần hỏi không phải là “liệu rào an ninh của chúng tôi có tuân theo tiêu chuẩn ngành không?” mà là “có những cách mới nào mà mô hình này có thể bị thao túng?”

Điều này đòi hỏi phải có suy nghĩ đối lập. Những con người sáng tạo, thử nghiệm, hiểu cả thiết kế rào an ninh và bề mặt tấn công. Kiểm tra các cạnh, thử nghiệm căng thẳng, đặt câu hỏi phức tạp. Đó là sự khác biệt giữa một rào an ninh vượt qua sự tuân thủ và một rào an ninh thực sự giữ được.

2. Sai Sót Về Độ Chính Xác Và Logic Kinh Doanh Ẩn Trong Ảo Giác

Thực tế là trí tuệ nhân tạo ảo giác. Điều tôi đã học được là khi bạn có chuyên môn trong một lĩnh vực, bạn sẽ nhận ra ảo giác ngay lập tức. Bạn nhìn thẳng qua nó.

Nhưng đây là khiếm khuyết quan trọng trong việc chỉ dựa vào đội ngũ nội bộ: họ có điểm mù. Khi bạn biết một sản phẩm từ trong ra ngoài, bạn biết chính xác những câu hỏi để hỏi để có được câu trả lời đúng. Bạn không thể tìm thấy sự không chính xác nếu bạn không tìm kiếm chúng. Các đội nội bộ biết sản phẩm được thiết kế để hoạt động như thế nào, không phải như thế nào nó thực sự hoạt động cho người dùng thực với các mô hình tinh thần khác nhau, các ngữ cảnh khác nhau và các cách phá vỡ giả định của bạn.

Đó là nơi giám sát từ những người tiếp cận hệ thống một cách mới mẻ đến. Họ không chỉ xác thực rằng trí tuệ nhân tạo làm những gì bạn nói với nó; họ đưa ra các vấn đề có thể quan tâm đến các bộ phận khác và nhấn mạnh các lĩnh vực thất bại trong thế giới thực.

Khi các công ty bắt đầu xây dựng trên các mô hình ngôn ngữ lớn chính, khi họ thêm các quy trình và công việc của riêng họ lên trên, yêu cầu kiểm tra trở nên quan trọng hơn.

3. Thiếu Sót Về Tính Sử Dụng Và Trải Nghiệm Người Dùng

Có cảm giác đúng không? Có nhìn đúng không? Quá trình xử lý thanh toán có kéo dài một chút quá không? Phản hồi có mang đúng giọng điệu cho một khách hàng thất vọng hay đúng nhịp cho một người dùng lần đầu không.

Đây là những loại câu hỏi mà các công cụ tự động không thể trả lời. Và chúng là những loại câu hỏi rất quan trọng với khách hàng.

Có một sự khác biệt cơ bản giữa việc vượt qua một bộ kiểm tra và thực sự tốt. Một tương tác trí tuệ nhân tạo có thể kiểm tra mọi hộp trong tiêu chí chấp nhận của bạn và vẫn được coi là sai bởi người dùng. Nó có thể chính xác về mặt kỹ thuật nhưng cồng kềnh về mặt tổ chức. Nó có thể cung cấp thông tin chính xác trong nhịp điệu hoặc giọng điệu sai.

Đây là nơi một con người trong vòng lặp là thiết yếu. Bạn cần những người được đào tạo để nhận ra cách trí tuệ nhân tạo thất bại, kiểm tra trong các khu vực mà khách hàng của bạn sống, với các thiết bị và phương thức thanh toán mà họ thực sự sử dụng. Một người kiểm tra trên một chiếc iPhone hàng đầu ở San Francisco không có cùng trải nghiệm với một người kiểm tra trên một chiếc Android trung cấp với một kết nối dữ liệu không ổn định ở Jakarta. Không có sự đa dạng trong những người kiểm tra và nơi họ kiểm tra, bạn sẽ nhận được kết quả mô phỏng mà sẽ thất bại ngay khi sản phẩm của bạn gặp thực tế.

Bạn phải có ai đó thực sự sử dụng sản phẩm, thực sự nghĩ về ý nghĩa của trải nghiệm, thực sự phản hồi lại khi có gì đó không cảm giác đúng.

4. Ảo Tưởng Về Chuyên Môn Được Xác Thực

Đây là sự thất bại tinh vi nhất, và có thể là nguy hiểm nhất. Khi các công ty triển khai trí tuệ nhân tạo mà không kiểm tra đúng, họ thường đặt cược rằng trí tuệ nhân tạo đã hấp thụ đủ kiến thức để xử lý lĩnh vực một cách phù hợp. Họ giả định rằng vì trí tuệ nhân tạo có thể nói một cách tự tin về điều gì đó, nó có thể biết nó đang nói về điều gì.

Nhưng có một chiều khác của rủi ro này. Hầu hết mọi người sử dụng tính năng trí tuệ nhân tạo đều đưa ra cùng một giả định. Họ không đặt câu hỏi về đầu ra. Nếu nó nghe có vẻ có thẩm quyền và không rõ ràng sai, họ tin vào nó. Tư vấn y tế không tốt. Hướng dẫn pháp lý không chính xác. Khuyến nghị tài chính không hoàn hảo. Hậu quả tăng lên khi người dùng giả định trí tuệ nhân tạo là chính xác và không có lý do để nghi ngờ nó.

Trí tuệ nhân tạo rất tốt trong việc biết những gì đã được thực hiện. Nó không tốt trong việc biết những gì nên được thực hiện trong các tình huống mới. Mỗi doanh nghiệp có tình huống mới. Mỗi sản phẩm có trường hợp biên. Mỗi hành trình khách hàng có một khoảnh khắc mà câu trả lời đúng là câu trả lời mà trí tuệ nhân tạo chưa được đào tạo để đưa ra.

Định Nghĩa Lại Sẵn Sàng Phát Hành

Một chiến lược phát hành trí tuệ nhân tạo trưởng thành đòi hỏi phải đi vượt qua tư duy tự động hóa alone.

• Kỹ Sư:Đội ngũ này nên sở hữu tính toàn vẹn của hệ thống, xác định sự thất bại trông như thế nào ở lớp mô hình và cơ sở hạ tầng, và nơi rào an ninh cần được đặt.
• Sản Phẩm:Các nhà lãnh đạo nên sở hữu ranh giới quyết định, phán xét những quyết định nào trí tuệ nhân tạo được phép đưa ra tự động, những quyết định nào cần sự phê duyệt của con người, và những quyết định nào nó không nên chạm vào.
• Thiết Kế Và Kiểm Tra:Những chuyên gia này nên sở hữu trải nghiệm người dùng, liệu người dùng có hiểu trí tuệ nhân tạo đang làm gì, có thể nhận ra khi nó sai, và có biện pháp khắc phục có ý nghĩa khi nó sai.

Chúng ta phải chấp nhận rằng trong khi trí tuệ nhân tạo có thể tạo ra những trải nghiệm tuyệt vời cho khách hàng của chúng ta, nó không thể là thẩm phán và bồi thẩm đoàn của chính mình. Trách nhiệm về chất lượng trí tuệ nhân tạo là một trách nhiệm của tổ chức, được phân phối trên các đội, được neo đậu trong chuyên môn của con người, và được thử nghiệm trong thế giới thực.