เสียงปัจจุบันเป็นวิธีการสื่อสารที่แย่ที่สุดกับ AI

การวิจัยใหม่ๆ เสนอว่า วิธีการสื่อสารกับ AI ที่ได้รับความนิยมมากที่สุดในภาพยนตร์ วิทยาศาสตร์อาจทำให้ผลลัพธ์ที่ได้รับจาก AI ไม่ดีเท่ากับการพิมพ์คำสั่งหรือคำถาม แม้แต่การเขียนคำสั่งหรือคำถามที่มีข้อผิดพลาดก็ตาม

ตั้งแต่ HAL ถึง Deep Thought จาก C3P0 ถึง Wall-E รูปแบบที่理想ของความสัมพันธ์ระหว่างมนุษย์และ AI มักจะอยู่รอบๆ การควบคุมด้วยเสียง และสิ่งนี้ได้ปรากฏในโลกแห่งความเป็นจริง ตั้งแต่ระบบผู้ช่วยในระยะแรก เช่น Siri และ Alexa ไปจนถึงระบบภาษาที่ใช้ในการสื่อสารกับ AI ในรูปแบบ LLM ที่ทันสมัย

ความคิดนี้เกิดขึ้นในยุคที่การเขียนถือเป็นงานที่ต้องใช้ทักษะ และมักจะทำโดยผู้หญิง โดยทั่วไปผู้หญิงเหล่านี้ไม่ได้สร้างเนื้อหาที่พวกเขาเขียน

อำนาจและความสามารถในการตัดสินใจแสดงออกผ่านการประชุมและการประชุมสัมมนา ดูเหมือนจะชัดเจนว่าด้วยภาษาที่ซับซ้อน ซึ่งเป็นตัวบ่งชี้ของความฉลาด การสื่อสารด้วยเสียงจะกลายเป็นช่องทางธรรมชาติของ AI

นอกเหนือจากข้อพิจารณาอื่นๆ การสื่อสารด้วยข้อความไม่เหมาะสมสำหรับโทรทัศน์และภาพยนตร์ แม้แต่ภาพยนตร์ SF ที่กล้าได้กล้าเสีย เช่น Colossus: The Forbin Project (1970) ซึ่งแสดงให้เห็นคอมพิวเตอร์ที่ตอบสนองต่อคำสั่งเสียงของมนุษย์เป็นข้อความเขียน ก็เปลี่ยนไปใช้การสื่อสารด้วยเสียงทั้งหมด

ฉากหนึ่งจาก ‘Colossus: The Forbin Project’ (1970) ซึ่งแสดงให้เห็นคอมพิวเตอร์ขนาดใหญ่ที่เกินขอบเขตของภาษาแบบข้อความและกลายเป็นเสียงและเผด็จการหลังจากถูกเปิดใช้งาน Source: Universal Pictures

พิมพ์หรือพูด?

尽管โลกของ AI มีโมเดลที่มีหน้าจอเสียงสำหรับผู้ใช้ การวิจัยใหม่จากสหรัฐอเมริกาสรุปว่าการพูดกับ AI อาจเป็นวิธีที่ไม่มีประสิทธิภาพที่สุดในการรับผลลัพธ์ที่คุณต้องการจาก AI โดยเฉพาะอย่างยิ่งหากคุณคาดหวังผลลัพธ์ที่สำคัญ เช่น รหัสจากคำถามของคุณ

ตามรายงาน การพูด กับ LLM เช่น ChatGPT หรือ Gemini ทำให้ผลลัพธ์ที่ได้รับไม่ดีเท่ากับการพิมพ์คำสั่งหรือคำถาม แม้แต่การเขียนคำสั่งหรือคำถามที่มีข้อผิดพลาด

สิ่งนี้เกิดขึ้นเพราะการป้อนข้อมูลด้วยเสียงมีโอกาสที่จะถูกเปลี่ยนแปลงโดยระบบการถอดเสียงในลักษณะที่ลบข้อมูลที่ AI ต้องการ สิ่งนี้เกิดขึ้นเนื่องจากการถอดเสียงจากเสียงต้องลบความไม่ชัดเจน เช่น ‘erm’ และ ‘like’ รวมถึงการเริ่มต้นใหม่ (เช่น ‘เริ่มต้นใหม่’) และการนำทางความคลุมเครือของไวยากรณ์และการก่อสร้าง ‘ไม่เป็นทางการ’ (เช่น วลีที่ไม่สมบูรณ์และเปลี่ยนเป็นประโยคใหม่)

ผู้เขียนระบุว่า:

‘การพูดคือเส้นทางหลักในการเข้าสู่โมเดลภาษา ไม่ใช่เส้นทางรอง การเขียนโค้ดเช่น Claude Code และ Codex ยอมรับคำสั่งเสียง Phone Assistant เช่น Google Assistant และ Siri ส่งคำขอเสียงไปยัง LLM ด้านหลัง Dictation Front-end เช่น Typeless เพิ่มชั้น LLM ที่มีพลังในการทำความสะอาดและจัดรูปแบบคำขอเสียงของผู้ใช้ก่อนที่จะส่งไป

‘ในกรณีใดๆ โมเดลจะได้รับคำขอถอดเสียง และในกรณีใดๆ ผู้พูดอาจไม่ได้ตรวจสอบคำขอที่ส่งจริงๆ สิ่งที่ท่อการถอดเสียงทิ้งไว้หรือเขียนใหม่คือสิ่งที่โมเดลต้องตอบ’

สิ่งนี้ทำให้เข้าใจผิดที่ว่าการป้อนข้อมูลด้วยข้อความเป็นภาษาแม่เพราะเป็นภาษาแม่ ไม่ใช่ภาษาแม่ในความหมายใดๆ เนื่องจาก a) มันถูกเขียนใหม่หรือเปลี่ยนแปลงในบางวิธีก่อนที่จะถูกส่งไปยัง AI และ b) ภาษาข้อความเป็นเพียงส่วนหนึ่งของพื้นที่ 잠บงที่ส่งคำตอบกลับ

การทดลองของการศึกษาพบว่าข้อผิดพลาดในการพิมพ์แบบปกติมีผลกระทบต่อประสิทธิภาพเพียงเล็กน้อย ในขณะที่การพูด การถอดเสียงที่ทำความสะอาด และการถอดเสียงที่ถูกบีบอัดโดย AI ทำให้ประสิทธิภาพลดลงอย่างมากในการทดสอบการให้เหตุผลและการสร้างโค้ด

งานวิจัยใหม่นี้มีชื่อว่า Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations และมาจากผู้เขียนสี่คนจาก Santa Monica College และ University of Southern California

(หมายเหตุ: การศึกษานี้รวม ‘วิธีการ’ และ ‘การทดสอบ/ผลลัพธ์’ ในลักษณะที่ไม่สามารถแยกออกจากกันได้ง่าย ดังนั้นฉันจึงถูกบังคับให้บีบและเลือกด้วยมือที่หนักกว่าปกติ)

วิธีการ

ชุด ‘การเปลี่ยนแปลง’ ที่เรียกว่า Human Input Variation Engine (HIVE) ถูกพัฒนาโดยผู้เขียนเพื่อจำลองข้อผิดพลาดที่เกิดขึ้นเมื่อมนุษย์ป้อนข้อมูลด้วยแป้นพิมพ์ QWERTY หรือพูดผ่านระบบการถอดเสียง:

แผนภาพที่แสดง Human Input Variation Engine (HIVE)

HIVE สร้างแบบจำลองสามเส้นทางที่คำขอถึงโมเดลภาษา: ผ่านเสียง, แป้นพิมพ์ QWERTY หรือการคัดลอกและวาง – โดยที่สุดท้ายเป็นคำขอแบบไม่เปลี่ยนแปลงที่ใช้สำหรับการเปรียบเทียบ สองตัวดำเนินการเพิ่มเติมทำงานเป็นตัวควบคุมการทดลองโดยการเรียงลำดับคำถามและบริบทใหม่หรือการเปลี่ยนแปลงตัวเลือกคำตอบแบบหลายตัวเลือก

ตัวดำเนินการการเปลี่ยนแปลงถูกนำไปใช้โดยใช้กฎที่แน่นอนหรือการถ่ายโอน LLM แบบ few-shot โดยใช้ Qwen2.5-7B ทำให้สามารถประเมินวิธีการป้อนข้อมูลทั้งสองได้ภายใต้เงื่อนไขที่ควบคุมและเปรียบเทียบได้

เงื่อนไขการทดสอบและผลลัพธ์

การทดลองถูกดำเนินไปบน Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; และ Phi-4 โดยใช้ seeds ห้าแบบ 六แบบที่ใช้ในการทดสอบคือ GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; และ TruthfulQA MC1

ชุดการทดสอบใช้ 200 รายการต่อบenchmark โดยมี 164 รายการสำหรับชุด HumanEval ทั้งหมด การใช้ Greedy decoding (เลือกโทเค็นถัดไปที่น่าจะเป็นมากที่สุดในแต่ละครั้ง) ทำให้สามารถเปรียบเทียบคำขอที่เปลี่ยนแปลงแต่ละรายการกับคำขอแบบไม่เปลี่ยนแปลงในแบบเดียวกันในแต่ละการวิ่งโมเดล โดยสร้างคำตอบที่ได้รับการประเมิน 550,000 คำตอบทั่วการเปลี่ยนแปลงคำขอ 17 รายการและการทดสอบควบคุม 2 รายการ (การทดสอบที่ใช้ในการเปรียบเทียบผลกระทบเฉพาะ)

การวัดถูกนำมาใช้เพื่อให้แน่ใจว่า การปนเปื้อนของชุดการทดสอบ (การซ้ำกันของข้อมูลที่โมเดลอาจได้เห็นระหว่างการฝึก) จะไม่เกิดขึ้น:

ชุดการเปลี่ยนแปลงที่ใช้ในการศึกษา โดยแสดงถึงการเปลี่ยนแปลงของความแม่นยำเมื่อเทียบกับคำขอแบบไม่เปลี่ยนแปลงทั่วการเปลี่ยนแปลงการถอดเสียง การเปลี่ยนแปลงแป้นพิมพ์ QWERTY และการทดสอบควบคุม

ผลลัพธ์ที่ชัดเจนที่สุดในการศึกษาคือว่าการป้อนข้อมูลด้วยเสียงเป็นอันตรายมากกว่าการป้อนข้อมูลด้วยแป้นพิมพ์ ในการเปลี่ยนแปลงหลัก โดยการเปลี่ยนแปลงเสียงลดความแม่นยำของโมเดลลงประมาณสามเท่าเมื่อเทียบกับการพิมพ์ข้อผิดพลาด

สิ่งนี้มีความสำคัญเพราะผลลัพธ์ที่อ่อนแอกว่าสำหรับการป้อนข้อมูลด้วยเสียงไม่ได้ถูกทำให้เกิดจาก ‘ของเสีย’ ที่ชัดเจนของเสียง: แม้ว่าการเติมเสียง เช่น ‘um’ และ ‘like’ จะมีความสำคัญ (เนื่องจากการเพิ่มพวกมันลงในคำขอแบบเขียนจะลดความแม่นยำ) การลบการเติมเสียงออกจากคำขอเสียงไม่ได้ทำให้ประสิทธิภาพกลับมา

การป้องกันตัวเอง

ดังนั้น ปัญหาใหญ่กว่าคือ วิธีการที่คำขอเสียงถูกเปลี่ยนแปลงก่อนที่จะถึงโมเดล

คำถามหลักในการศึกษาคือว่าโมเดลยังคงได้รับคำขอเดิมเพียงพอในการสร้างความตั้งใจของผู้ใช้หรือไม่: ข้อผิดพลาดในการพิมพ์มักจะทำลาย ‘พื้นผิว’ ของคำโดยไม่ลบคำทั้งหมด ดังนั้นบริบทที่อยู่รอบๆ จึงสามารถช่วยโมเดลในการอนุมานว่าหมายถึงอะไร

ในทางตรงกันข้าม คำขอเสียงที่ ‘ทำความสะอาด’ อาจแทนที่การเขียนเดิมของผู้ใช้ด้วยรูปแบบที่สั้นและเรียบง่าย ที่ไม่ยังคงความสัมพันธ์ระหว่างข้อเท็จจริง อีกต่อไป

สิ่งนี้ทำให้ข้อผิดพลาดในการพิมพ์เป็นอันตรายน้อยกว่า: นักวิจัยพบว่าการเปลี่ยนตำแหน่งตัวอักษร การเพิ่มตัวอักษร การขาดพื้นที่ว่าง และข้อผิดพลาดของแป้นพิมพ์ที่อยู่ใกล้กันโดยทั่วไปจะปล่อยให้การเขียนเดิมสามารถกู้คืนได้ ในขณะที่การทำความสะอาดเสียงมักจะลบหรือจัดเรียงข้อมูลใหม่ก่อนที่โมเดลจะมีโอกาสในการตีความ

สูญเสียในการแปล

ตัวอย่างหนึ่งของวิธีการที่อ้างอิงสามารถ ‘สูญเสีย’ โดยการเปลี่ยนแปลงในระหว่างการเดินทางจากผู้ใช้ไปยัง LLM ที่นำเสนอในเอกสาร คือเมื่อประโยค ‘เธอให้จำนวนเท่ากัน [ของหนังสือ] แก่ลูกๆ ของเธอ’ ถูกตีความว่าหมายถึงเงิน (ไม่ใช่หนังสือ) ในกรณีนี้ คำว่า ‘จำนวน’ ถูกแยกออกจากอ้างอิงของมันและถูกนำไปใช้กับการเชื่อมโยงที่พบบ่อยที่สุด (เงิน):

การแสดงถึงการอยู่รอดของโทเค็นเดิมในแต่ละการเปลี่ยนแปลง

ผลกระทบนี้มีมากที่สุดเมื่อโมเดลต้อง สร้างคำตอบจากคำขอ มากกว่าที่จะเลือกจากตัวเลือกที่ให้มา: การทดสอบทางคณิตศาสตร์และการสร้างโค้ดได้รับผลกระทบมากกว่าเนื่องจากต้องรักษาความสัมพันธ์ที่แน่นอนในคำขอ ในขณะที่การทดสอบแบบหลายตัวเลือกได้รับผลกระทบน้อยกว่าเนื่องจากไม่เสี่ยงต่อการเปลี่ยนแปลงนี้

ผู้เขียนสรุปว่า:

‘เราพบว่าการพูดคือช่องทางที่มีค่าใช้จ่ายสูง ว่าสิ่งที่ทำลายคือจำนวนโทเค็นที่ถูกทำลาย และว่าไม่มีการปนเปื้อนของชุดการทดสอบหรือการปรับตัวแบบเบาที่สามารถอธิบายหรือซ่อมแซมความเสียหายได้

‘มีหลายสิ่งที่ต้องทำตามมา หากคุณพิมพ์ โมเดลการให้เหตุผลจะดูดซับข้อผิดพลาดของคุณ หากคุณพูด มันไม่ทำเช่นนั้น ดังนั้นการเขียนที่คุณพูดคือสิ่งที่โมเดลทำงานจาก

‘และหากคุณสร้างเครื่องมือการเขียนคำพูด อย่าจัดรูปแบบหรือเปลี่ยนแปลงสิ่งที่ผู้ใช้พูด: ลบการไม่ชัดเจนให้เหลือน้อยที่สุดและปล่อยให้โฮโมโฟนอยู่

‘สิ่งสุดท้ายนี้มีความสำคัญมากที่สุด เนื่องจากหน้าจอการเขียนคำพูดกำลังกลายเป็นวิธีการเข้าถึงโมเดลโดยปริยาย และชั้นการเขียนใหม่ของพวกมันคืออันตรายที่ใหญ่ที่สุดที่เราได้วัดและเป็นสิ่งที่เปลี่ยนแปลงได้ง่ายที่สุด’

สรุป

ใครก็ตามที่เคยต้องทำการถอดเสียงสัมภาษณ์ (งานที่น่าเบื่อและโดดเดี่ยวในยุคก่อน AI) จะรู้ว่าการถอดเสียงเป็นกระบวนการที่ต้องตีความ Unless ผู้ให้สัมภาษณ์หรือผู้พูดมีความชัดเจนพิเศษหรือแค่พูดซ้ำเรื่องราวที่คุ้นเคยในลักษณะอัตโนมัติ

นอกเหนือจากกรณีเฉพาะเหล่านั้น เมื่อเราพูดกับคนอื่น เราจะต้องลดการไม่ชัดเจนและคำนวณความหมายโดยอัตโนมัติ ซึ่งทำให้การถอดเสียงที่มีประโยชน์เป็นการกระทำที่ต้องตีความ ทำให้ได้ข้อความที่แสดงถึงความตั้งใจของผู้พูดมากกว่าการถอดเสียงที่สมบูรณ์แบบ และเป็นเรื่องที่น่าสนใจที่จะสังเกตว่าสะพานเสียงไปยัง LLM ต้องดิ้นรนเช่นเดียวกันในการรักษาหรือได้รับความหมายเดียวกันกับข้อความที่เทียบเท่า

มีเหตุผลที่จะคาดหวังว่าโครงสร้างในอนาคตจะได้รับการปรับปรุงจากการศึกษาต่อไปและ (หวังว่าจะ) ชุดข้อมูลที่มีประชากรมากที่จะช่วยเชื่อมช่องว่างที่อธิบายไว้ในงานใหม่นี้ ในระหว่างนี้ การศึกษานี้ชี้ให้เห็นว่าการสื่อสารด้วยเสียงกับ AI อาจเหมาะสมกว่าสำหรับคำสั่งแบบสั้นที่มีลักษณะเฉพาะของระบบ ‘ผู้ช่วย’ ระดับผู้บริโภค

เผยแพร่ครั้งแรกวันพุธที่ 12 สิงหาคม 2026