Các nhà nghiên cứu phát triển bộ câu hỏi có thể làm cho máy tính bị nhầm lẫn

Các nhà nghiên cứu từ Đại học Maryland đã có thể tạo ra một bộ câu hỏi mà con người có thể trả lời dễ dàng nhưng các hệ thống máy tính trả lời tốt nhất hiện nay khó có thể trả lời. Đội ngũ đã tạo ra các câu hỏi thông qua sự hợp tác giữa con người và máy tính, và họ đã tạo ra một cơ sở dữ liệu với hơn 1.200 từ. Nếu một hệ thống máy tính có thể học và掌握 những câu hỏi này, nó sẽ có sự hiểu biết tốt nhất về ngôn ngữ của con người trong số tất cả các hệ thống máy tính hiện có.

Công việc này đã được công bố trong một bài viết trên tạp chí Transactions of the Association for Computational Linguistics.

Jordan Boyd-Gaber, giáo sư phụ tá khoa học máy tính tại UMD và là tác giả chính của bài viết, đã nói về những phát triển mới.

“Hầu hết các hệ thống máy tính trả lời câu hỏi không giải thích tại sao họ trả lời theo cách đó, nhưng công việc của chúng tôi giúp chúng tôi thấy máy tính thực sự hiểu gì,” ông nói. “Ngoài ra, chúng tôi đã tạo ra một bộ dữ liệu để kiểm tra trên máy tính sẽ tiết lộ liệu một hệ thống ngôn ngữ máy tính thực sự đang đọc và thực hiện các loại xử lý mà con người có thể làm.”

Hiện tại, các câu hỏi cho các chương trình và hệ thống này được tạo ra bởi các tác giả con người hoặc máy tính. Vấn đề là khi con người tạo ra câu hỏi, họ không biết tất cả các yếu tố khác nhau của một câu hỏi mà máy tính thấy khó hiểu. Máy tính thì sử dụng các công thức, viết câu hỏi điền vào chỗ trống, hoặc tạo ra lỗi, tất cả đều có thể tạo ra những điều vô nghĩa.

Để có được sự hợp tác giữa con người và máy tính cho phép họ tạo ra các câu hỏi, Boyd-Garber và đội ngũ các nhà nghiên cứu đã tạo ra một giao diện máy tính đặc biệt. Theo họ, nó có thể cho biết máy tính đang “nghĩ” gì khi một người đang nhập một câu hỏi. Người viết sau đó có thể chỉnh sửa và thay đổi câu hỏi dựa trên điểm yếu của máy tính. Điều này có thể tạo ra sự nhầm lẫn cho máy tính.

Khi người viết nhập câu hỏi, các đoán của máy tính được sắp xếp theo thứ tự. Các từ có trách nhiệm cho các đoán của máy tính được突出.

Hệ thống có thể trả lời đúng một câu hỏi và giao diện sẽ突出 các từ hoặc cụm từ dẫn đến câu trả lời. Với thông tin đó, tác giả sau đó có thể chỉnh sửa câu hỏi để làm cho nó khó hơn cho máy tính, nhưng câu hỏi vẫn sẽ có cùng ý nghĩa. Trong khi máy tính sẽ bị nhầm lẫn, con người chuyên nghiệp vẫn có thể trả lời.

Khi con người và máy tính làm việc cùng nhau, họ đã có thể phát triển 1.213 câu hỏi máy tính mà máy tính không thể trả lời. Các nhà nghiên cứu đã kiểm tra các câu hỏi trong một cuộc thi giữa người chơi và máy tính. Người chơi con người bao gồm các đội thi đấu trivia trường trung học và các nhà vô địch “Jeopardy!”. Đội con người yếu nhất đã có thể đánh bại hệ thống máy tính mạnh nhất.

Shi Feng, một sinh viên sau đại học khoa học máy tính từ UMD và là đồng tác giả của bài viết, đã nói về nghiên cứu mới.

“Trong ba hoặc bốn năm, mọi người đã biết rằng các hệ thống máy tính trả lời câu hỏi rất giòn và có thể bị đánh lừa rất dễ dàng,” cô nói. “Nhưng đây là bài viết đầu tiên chúng tôi biết rằng thực sự sử dụng máy móc để giúp con người phá vỡ mô hình chính nó.”

Các câu hỏi được sử dụng đã có thể tiết lộ sáu hiện tượng ngôn ngữ khác nhau mà máy tính thấy khó hiểu. Có hai loại chính. Loại đầu tiên là hiện tượng ngôn ngữ bao gồm việc diễn đạt lại, ngôn ngữ phân tâm và ngữ cảnh không mong đợi. Loại thứ hai là kỹ năng lý luận và bao gồm logic và tính toán, tam giác tinh thần của các yếu tố trong một câu hỏi, và việc kết hợp nhiều bước để hình thành một kết luận.

“Con người có thể khái quát hóa hơn và nhìn thấy các kết nối sâu hơn,” Boyd-Garber nói. “Họ không có bộ nhớ vô tận của máy tính, nhưng họ vẫn có lợi thế trong việc nhìn thấy rừng qua các cây. Việc lập danh mục các vấn đề mà máy tính gặp phải giúp chúng tôi hiểu các vấn đề chúng tôi cần giải quyết, để chúng tôi có thể thực sự giúp máy tính bắt đầu nhìn thấy rừng qua các cây và trả lời câu hỏi theo cách con người làm.”

Nghiên cứu này đặt nền tảng cho các hệ thống máy tính cuối cùng sẽ掌握 ngôn ngữ của con người. Nó chắc chắn sẽ tiếp tục được phát triển và cải thiện.

“Bài viết này đang vạch ra một chương trình nghiên cứu cho vài năm tới để chúng tôi có thể thực sự giúp máy tính trả lời câu hỏi tốt,” Boyd-Garber nói.