Giọng Nói Hiện Là Phương Thức Kém Hiệu Quả Nhất Để Truyền Thông Với Trí Tuệ Nhân Tạo

Nghiên cứu mới cho thấy phương pháp giao tiếp với trí tuệ nhân tạo phổ biến nhất trong khoa học viễn tưởng có thể thực sự mang lại kết quả tồi tệ hơn so với thậm chí cả các lệnh nhập sai.

Từ HAL đến Deep Thought, từ C3P0 đến Wall-E, hình thức lý tưởng của mối quan hệ giữa con người và trí tuệ nhân tạo luôn tập trung vào kiểm soát bằng giọng nói; và điều này đã được thể hiện trong thế giới thực, từ các hệ thống trợ lý ban đầu như Siri và Alexa, đến các truy vấn và đối thoại ngôn ngữ dựa trên các mô hình LLM hiện đại.

Ý tưởng này xuất hiện trong các thời đại ít được giải phóng hơn, nơi – ngoại trừ các tác giả và nhà báo – hành động nhập văn bản được coi là ‘labor bán kỹ năng’, và được thực hiện gần như độc quyền bởi phụ nữ – với chính các phụ nữ hiếm khi tạo ra nội dung họ nhập.

Quyền lực và quyền lực được thể hiện thay vào đó bằng sự thảo luận: các cuộc họp và hội nghị. Vì vậy, dường như rõ ràng rằng với ngôn ngữ phức tạp biểu thị trí tuệ, lời nói sẽ trở thành phương tiện tự nhiên của trí tuệ nhân tạo.

Besides bất kỳ xem xét nào khác, các trao đổi văn bản không được thích nghi tốt với TV và phim; thậm chí các bộ phim khoa học viễn tưởng táo bạo như Colossus: The Forbin Project (1970), mô tả một máy tính phản hồi các lệnh vocal của con người dưới dạng văn bản, nhanh chóng chuyển sang phản hồi hoàn toàn bằng lời nói:

Một cảnh từ 'Colossus: The Forbin Project' (1970), mô tả một siêu máy tính nhanh chóng vượt qua ranh giới của ngôn ngữ dựa trên văn bản, trở thành lời nói và chuyên chế ngay sau khi được bật. Nguồn: Universal Pictures

Nhập Văn Bản Hay Nói?

Mặc dù thực tế là các mô hình trí tuệ nhân tạo hàng đầu cung cấp giao diện âm thanh bản địa cho người dùng, nghiên cứu mới từ Mỹ đã kết luận rằng nói chuyện với một mô hình trí tuệ nhân tạo có thể là phương pháp kém hiệu quả nhất để có được kết quả mong muốn từ nó – đặc biệt nếu bạn đang mong đợi các hình thức đầu ra đáng kể, chẳng hạn như mã, để đáp lại truy vấn của bạn.

Theo bài báo, nói chuyện với một mô hình LLM như ChatGPT hoặc Gemini hiện đang mang lại kết quả tồi tệ hơn so với nhập văn bản một lệnh hoặc truy vấn, thậm chí khi lệnh nhập văn bản chứa lỗi thông thường.

Điều này là do đầu vào lời nói có nhiều khả năng bị cấu trúc lại bởi các hệ thống phiên âm theo cách loại bỏ thông tin mà mô hình phụ thuộc vào. Điều này xảy ra vì phiên âm từ âm thanh phải loại bỏ các yếu tố không liên tục như ‘erm’ và ‘like’, cũng như xu hướng bắt đầu sai (tức là ‘bắt đầu lại’), cũng như điều hướng các điểm không rõ ràng về ngữ pháp và ‘xây dựng không chính thức’ (tức là các câu bị bỏ dở và chuyển sang câu mới mà không hoàn thành).

Các tác giả tuyên bố:

‘Nói chuyện hiện là một con đường hàng đầu vào mô hình ngôn ngữ chứ không phải là một con đường đặc biệt. Các tác nhân mã hóa như Claude Code và Codex chấp nhận các lệnh được nói. Trợ lý điện thoại như Google Assistant và Siri định tuyến một yêu cầu nói đến mô hình LLM ở chế độ sau. Các giao diện nhập liệu như Typeless thêm một lớp LLM khác có khả năng làm sạch và định dạng lại yêu cầu của người dùng trước khi nó được gửi.

‘Trong mỗi trường hợp, mô hình nhận được một bản ghi, và trong mỗi trường hợp, người nói có thể không kiểm tra lại chuỗi đã gửi thực sự. Bất cứ điều gì mà đường ống phiên âm để lại hoặc viết lại là điều mà mô hình phải trả lời.’

Điều này bác bỏ bất kỳ quan niệm nào cho rằng đầu vào văn bản vượt trội vì nó là ‘bản địa’; nó không bản địa trong bất kỳ ý nghĩa nào, vì a) nó luôn được viết lại một cách bí mật hoặc công khai theo một cách nào đó trước khi truyền đến trí tuệ nhân tạo, và b) ngôn ngữ văn bản chỉ là một thành phần trong không gian tiềm ẩn trả về một câu trả lời.

Nghiên cứu cho thấy rằng các lỗi nhập văn bản thông thường chỉ có tác động nhỏ đến hiệu suất, trong khi lời nói hội thoại, bản ghi sạch và đặc biệt là bản ghi nén bởi trí tuệ nhân tạo, gây ra sự suy giảm lớn hơn nhiều về độ chính xác trên các nhiệm vụ lý luận và tạo mã.

Nghiên cứu mới có tiêu đề Nên Nhập Văn Bản Hay Nói Chuyện Với Các Tác Nhân LLM? Một Nghiên Cứu Toàn Diện Về Các Xáo Trộn Đầu Vào Bằng Giọng Nói Và Bàn Phím, và đến từ bốn tác giả trên Santa Monica College và Đại học Nam California.

(Lưu ý: Nghiên cứu cụ thể này kết hợp ‘Phương pháp’ và ‘Kết quả thử nghiệm’ theo cách không thể dễ dàng tách rời thành thứ tự phân tích thông thường của tôi. Do đó, tôi bị buộc phải nén và chọn với tay nặng hơn so với thông thường.)

Phương Pháp

Một ‘bộ thử nghiệm xáo trộn’ được gọi là Human Input Variation Engine (HIVE) đã được các tác giả phát triển để mô phỏng các loại lỗi được giới thiệu khi mọi người nhập văn bản trên bàn phím QWERTY hoặc nói chúng qua hệ thống phiên âm giọng nói:

Sơ đồ khái niệm cho Human Input Variation Engine (HIVE). Yêu cầu của người dùng đến mô hình ngôn ngữ thông qua giọng nói, bàn phím QWERTY hoặc sao chép và dán trực tiếp, với sau cùng đóng vai trò là tham chiếu "sạch". Màu sắc xác định kênh đầu vào chứ không phải phương pháp thực hiện, với các toán tử giọng nói kết hợp chuyển giao phong cách LLM vài lần và các quy tắc quyết định, trong khi các toán tử bàn phím phụ thuộc hoàn toàn vào các quy tắc quyết định. Bảng điều khiển bên phải cho thấy phạm vi các phản hồi mà mô hình có thể tạo ra dưới đầu vào suy giảm. Nguồn

HIVE mô hình hóa ba đường dẫn mà yêu cầu của người dùng đến mô hình ngôn ngữ: thông qua giọng nói; bàn phím QWERTY; hoặc sao chép và dán trực tiếp – với sau cùng đóng vai trò là tham chiếu không thay đổi so với tất cả các đầu vào khác. Hai toán tử bổ sung hoạt động như các kiểm soát thử nghiệm, bằng cách重新 sắp xếp câu hỏi và ngữ cảnh của nó, hoặc bằng cách hoán đổi các tùy chọn trả lời nhiều lựa chọn.

Các toán tử xáo trộn được thực hiện thông qua các quy tắc quyết định hoặc chuyển giao phong cách LLM vài lần sử dụng Qwen2.5-7B. Điều này cho phép cả hai phương pháp đầu vào được đánh giá trong điều kiện được kiểm soát và so sánh trực tiếp.

Điều Kiện Thử Nghiệm và Kết Quả

Thử nghiệm được chạy trên Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; và Phi-4, sử dụng năm hạt giống. Sáu điểm chuẩn được sử dụng là GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; và TruthfulQA MC1.

Tập thử nghiệm sử dụng 200 mục cho mỗi điểm chuẩn, với 164 mục cho tập HumanEval đầy đủ. Giải mã tham lam (chọn token tiếp theo có khả năng nhất mỗi lần) được sử dụng, để mỗi yêu cầu xáo trộn có thể được so sánh với bản gốc sạch của nó trong cùng một lần chạy mô hình, tạo ra 550.000 câu trả lời được chấm điểm trên 17 thay đổi yêu cầu và hai kiểm tra điều khiển (thử nghiệm so sánh được sử dụng để cô lập các hiệu ứng cụ thể).

Biện pháp được thực hiện để đảm bảo rằng ô nhiễm tập thử nghiệm (trùng lặp với dữ liệu mà mô hình có thể đã nhìn thấy trong quá trình đào tạo) không xảy ra:

Bộ xáo trộn đầy đủ được sử dụng trong nghiên cứu, cho thấy sự thay đổi về độ chính xác so với các yêu cầu sạch trên các thay đổi phiên âm giọng nói, lỗi bàn phím QWERTY và thử nghiệm kiểm soát. Hàng đầu tiên cung cấp độ chính xác cơ bản, trong khi các hàng sau đó cho thấy sự thay đổi về điểm phần trăm. Màu đỏ đánh dấu toán tử gây hại nhất trong mỗi khối và cột, màu xanh lam là ít gây hại nhất.

Kết quả rõ ràng nhất trong nghiên cứu là đầu vào giọng nói gây hại hơn đầu vào bàn phím trên các điều kiện thử nghiệm chính, với các thay đổi giọng nói làm giảm độ chính xác của mô hình khoảng ba lần so với các lỗi nhập văn bản. Các kết quả tồi tệ nhất đến khi các yêu cầu nói được viết lại tự động để nghe sạch sẽ và súc tích hơn, vì việc làm sạch đó thường thay đổi cấu trúc của yêu cầu mà mô hình nhận được.

Điều này quan trọng, bởi vì các kết quả yếu hơn cho giọng nói không được gây ra chủ yếu bởi các ‘phụ phí’ lời nói rõ ràng: mặc dù các yếu tố như ‘um’ và ‘like’ có vấn đề (vì thêm chúng vào các yêu cầu văn bản sạch làm giảm độ chính xác), việc loại bỏ các yếu tố như vậy khỏi các bản ghi âm không khôi phục hiệu suất.

Tự Bảo Tồn

Do đó, vấn đề lớn hơn là cách các yêu cầu nói được cấu trúc lại trước khi đến mô hình.

Câu hỏi trung tâm cho nghiên cứu là liệu mô hình vẫn nhận được đủ yêu cầu ban đầu để xây dựng lại ý định của người dùng; các lỗi nhập văn bản thường làm hỏng ‘bề mặt’ của một từ mà không loại bỏ từ hoàn toàn, vì vậy ngữ cảnh xung quanh vẫn có thể giúp mô hình suy luận ra ý nghĩa.

Ngược lại, một bản ghi âm ‘sạch’ có thể thay thế cách diễn đạt ban đầu của người dùng bằng một phiên bản ngắn gọn và mượt mà hơn mà không còn giữ lại các mối quan hệ giữa các sự kiện.

Điều này là lý do tại sao các lỗi bàn phím thường ít gây hại hơn: các nhà nghiên cứu phát hiện ra rằng các chữ cái bị hoán đổi, các chữ cái bị lặp lại, các khoảng cách bị bỏ qua và các lỗi phím lân cận thường để lại nhiều từ gốc có thể phục hồi, trong khi việc làm sạch giọng nói thường loại bỏ hoặc tái cấu trúc thông tin trước khi mô hình có cơ hội giải thích nó.

Mất Trong Dịch

Một ví dụ về cách một tham chiếu có thể ‘mất’ bằng cách xáo trộn trên các hành trình từ người dùng đến mô hình LLM, được đề cập trong bài báo, là khi cụm từ ‘cô ấy đã cho một lượng [sách] bằng nhau cho những đứa trẻ của mình’ được giải thích là có nghĩa là tiền (thay vì sách). Trong trường hợp này, thuật ngữ ‘lượng’ đã bị tách ra khỏi tham chiếu của nó và được áp dụng sai cho mối quan hệ phổ biến nhất của nó (tiền):

Số lượng câu hỏi gốc còn lại sau mỗi thay đổi đầu vào. Các điểm lớn cho thấy các loại xáo trộn riêng lấp, trong khi các điểm nhỏ cho thấy các phiên bản mạnh hơn của cùng một lỗi bàn phím.

Hiệu ứng này mạnh nhất khi mô hình phải xây dựng một câu trả lời từ yêu cầu, thay vì chọn từ các tùy chọn đã cung cấp:

Các tác giả kết luận:

‘Chúng tôi phát hiện ra rằng nói chuyện là kênh tốn kém, rằng những gì gây hại là lượng token hóa câu hỏi ban đầu mà nó phá hủy, và rằng không có ô nhiễm tập thử nghiệm hay thích nghi nhẹ nào có thể giải thích hoặc sửa chữa thiệt hại.

‘Một số kết luận được rút ra. Nếu bạn nhập văn bản, một mô hình lý luận sẽ hấp thụ lỗi của bạn. Nếu bạn nói, nó không làm như vậy, vì vậy cách diễn đạt bạn nói là cách diễn đạt mà mô hình làm việc.

‘Và nếu bạn xây dựng các công cụ nhập liệu, đừng định dạng lại hoặc cấu trúc lại những gì người dùng đã nói: hãy loại bỏ các yếu tố không liên tục một cách tối thiểu và để các đồng âm alone.

‘Điều cuối cùng quan trọng nhất, vì các giao diện nhập liệu nói đang trở thành cách mặc định để tiếp cận mô hình và lớp viết lại của chúng là sự tổn hại lớn nhất mà chúng tôi đo lường và là điều rẻ nhất để thay đổi.’

Kết Luận

Bất kỳ ai từng phải tự ghi chép lại một cuộc phỏng vấn (một nhiệm vụ nhàm chán và cô đơn của các nhà báo trong thời đại trước trí tuệ nhân tạo) sẽ biết rằng quá trình này có thể diễn giải như thế nào, trừ khi người được phỏng vấn hoặc người nói chuyện là người nói chuyện một cách rõ ràng phi thường, hoặc – như thường thấy – chỉ lặp lại danh sách các câu chuyện quen thuộc theo thói quen.

Ngoài những trường hợp cụ thể như vậy, khi chúng ta nói chuyện với mọi người, chúng ta tự động loại bỏ các yếu tố không liên tục và tính toán ý nghĩa. Điều này tất yếu khiến ghi chép có ích trở thành một hành động diễn giải, dẫn đến văn bản đại diện cho ý định của người nói tốt hơn so với một bản dịch văn bản chính xác có thể; và điều thú vị cần lưu ý là các cầu nối âm thanh đến mô hình LLM gặp khó khăn tương tự trong việc giữ lại hoặc thậm chí nhận được cùng một ý nghĩa như các phương tiện tương đương văn bản.

Nó hợp lý khi mong đợi rằng các khuôn khổ sau này sẽ được hưởng lợi từ nghiên cứu sâu hơn và (hy vọng) các tập dữ liệu đông đúc sẽ giúp bắc cầu những khoảng cách được phác thảo trong nghiên cứu mới. Cho đến lúc đó, nghiên cứu mới cho thấy rằng giao tiếp giọng nói với trí tuệ nhân tạo có thể phù hợp hơn với chính xác loại lệnh ngắn mà đã đặc trưng cho các hệ thống ‘trợ lý’ cấp người tiêu dùng.

Được xuất bản lần đầu vào thứ Tư, ngày 12 tháng 8 năm 2026