ทางอ้อมของ AI ที่คุณไม่ควรต้องจ่ายเงิน

ไม่ใช่ว่าบริษัท AI ชั้นนำจะไม่ฉวยโอกาสเอาเปรียบเราในการขายโทเค็น หากทำได้โดยไม่ถูกจับได้—ท้ายที่สุด Anthropic ก็ปรับขึ้นราคาให้มีผลเทียบเท่ากับ 30% ในเดือนมิถุนายน ส่วน DeepSeek ปรับขึ้นราคา API ในเดือนสิงหาคม และ OpenAI ก็ยอม ยกเลิก การ ปรับลด โควตาโทเค็นระดับกลางของตนในช่วงปลายเดือนกันยายนอย่างไม่เต็มใจ ดังนั้น แนวโน้มการรัดเข็มขัด จึงเห็นได้ชัดแล้วในขณะนี้

จริงทีเดียว ความคิดนี้มักผุดขึ้นมาอีกครั้งเมื่อเอเจนต์ AI ของคุณใช้โควตาโทเค็นรายวันจนหมดไปกับการเขียนโค้ดที่ไม่ได้ยอดเยี่ยมเสมอไปในเวลา 45 นาที แล้วบอกให้คุณกลับมาใหม่ในอีก 3-4 ชั่วโมง ในช่วงเวลาที่น่าหงุดหงิดเช่นนี้ ก็อดสงสัยไม่ได้ว่ากลไกบางอย่างที่อยู่เบื้องหลังกระบวนการดังกล่าวอาจเอื้อประโยชน์ให้ผู้ให้บริการหรือไม่ ท้ายที่สุดแล้ว วิธีนี้ก็เป็นช่องทางที่ดีที่จะทำให้เราควักเงินซื้อโทเค็นเพิ่มเป็นกรณีพิเศษ หรือถึงขั้นเปิดใช้ “การเติมเงินอัตโนมัติ”

หากเรื่องนี้เป็นเช่นนั้นจริง ในช่วงเวลานี้ บริษัทแนวหน้าก็สามารถอ้างได้อย่างน่าเชื่อถือว่าเรา ยังไม่เข้าใจอย่างถ่องแท้ ว่ามีการใช้โทเค็นอย่างไรในงานที่ทำงานผ่านเอเจนต์ ครอบคลุมทั้งโมเดลและเฟรมเวิร์กที่ใช้ควบคุมเอเจนต์ และ พวกเขาเองก็ไม่เข้าใจเช่นกัน นอกเหนือจากระบบจัดการขั้นตอนการชำระเงินของบริษัทเหล่านั้น (ซึ่งทำได้ราบรื่นมากจริง ๆ) ทุกอย่างยังอยู่ในขั้นก่อนอัลฟา และยังคงเป็นหัวข้อสำหรับงานวิจัยแนวหน้าสุด แม้ผลิตภัณฑ์นี้จะกลายเป็นสินค้าที่หาได้ทั่วไปอย่างแพร่หลายแล้วก็ตาม

การจัดการความสูญเปล่า

ข้อเท็จจริงที่ว่าเอเจนต์ AI ใช้โทเค็นอย่างสิ้นเปลือง (และทำให้คุณเสียเงินโดยเปล่าประโยชน์) ขณะให้เหตุผลในเวิร์กโฟลว์แบบเอเจนต์นั้น เป็นสิ่งที่ได้รับการยอมรับกันดีอยู่แล้ว: เมื่อหนึ่งปีก่อนพอดี ผมเขียนถึงงานวิจัยชิ้นใหม่ที่ชี้ให้เห็นว่าโมเดล AI แบบใช้เหตุผลมีแนวโน้มใช้โทเค็นไปกับการ “พูดวกวน” มากเพียงใด; เมื่อต้นปีนี้ ผมเขียนถึงงานวิจัยเพิ่มเติมที่ระบุว่าการให้เหตุผลแบบเป็นลำดับขั้นเป็นเพียง“ของประดับ”; และเมื่อสัปดาห์ที่แล้ว Nils Bunge หัวหน้าฝ่ายผลิตภัณฑ์ของ Tsuga ได้กล่าวไว้ในบทความแสดงความเห็นจากผู้เชี่ยวชาญที่นี่ว่า:

“ทีมที่ใช้โทเค็นมากเป็นสองเท่าไม่ได้หมายความว่าจะสร้างคุณค่าได้มากเป็นสองเท่าเสมอไป ทีมดังกล่าวอาจกำลังจัดการกับงานที่ยากกว่า ใช้โมเดลที่ทรงพลังเกินความจำเป็น หรือพึ่งพาเอเจนต์ที่ลองทำงานที่ล้มเหลวซ้ำแล้วซ้ำเล่า”

สิ่งที่ยังไม่ค่อยมีใครรู้คือวิธีที่โทเค็นถูกใช้ไปกับงานหรือกระบวนการที่ไม่จำเป็น และนี่คือประเด็นที่งานวิจัยชิ้นใหม่ซึ่งดึงความสนใจของผมกลับมาที่เรื่องนี้ในวันนี้มุ่งศึกษา

งานวิจัยชิ้นใหม่ซึ่งมีชื่อว่า เอเจนต์ AI ทำให้คุณเสียเงินไปกับอะไรบ้าง? เป็นความร่วมมือทางวิชาการจากสหรัฐฯ* ที่นำเสนอกรอบการทำงานแบบบูรณาการ ซึ่งสามารถวัดปริมาณการใช้โทเค็นอย่างสิ้นเปลืองในกระบวนการแบบเอเจนต์ได้ ในกรณีที่โมเดลเป็นแบบปิดซอร์ส วิธีการแบบ “เงา” จะนำสถิติและตัวชี้วัดอย่างเป็นทางการจากผู้ให้บริการมาประกอบกัน เพื่อแสดงรายละเอียดเทียบเท่ากันว่าเกิดอะไรขึ้นกับโทเค็นระหว่างที่ AI กำลังให้เหตุผลและลงมือทำ:

วิธีใหม่สำหรับวัดการใช้โทเค็น AI อย่างสิ้นเปลือง โดยจะบันทึกการให้เหตุผล การกระทำ และต้นทุนของเอเจนต์แต่ละตัว จากนั้นตรวจสอบว่ามีการทำซ้ำ การร้องขอที่ไม่จำเป็น หรือการออกนอกเส้นทางที่หลีกเลี่ยงได้หรือไม่ เมื่อตรวจพบความสูญเปล่าแล้วก็จะตัดส่วนดังกล่าวออก และทดสอบอีกครั้งว่าเอเจนต์ยังทำงานเดิมให้สำเร็จได้หรือไม่ แหล่งที่มา

ดังที่แสดงไว้ข้างต้น เอเจนต์ได้รับอนุญาตให้ทำงานตามปกติ โดยมีการดักจับและบันทึกการสื่อสารกับผู้ให้บริการ AI ซึ่งรวมถึงการให้เหตุผล การใช้เครื่องมือ ปริมาณโทเค็นที่ใช้ และต้นทุน จากนั้นผู้ประเมินที่เป็นโมเดลภาษาขนาดใหญ่ (LLM) จะตรวจสอบบันทึกเหล่านี้เพื่อแยกงานที่มีประโยชน์ออกจากการทำซ้ำ การค้นหาที่ไม่จำเป็น และการออกนอกเส้นทาง หลังจากนั้นจะตัดส่วนที่สงสัยว่าเป็นความสูญเปล่าออก คำนวณจำนวนโทเค็นที่ประหยัดได้ แล้วให้เอเจนต์ทำงานต่อเพื่อดูว่ายังทำงานนั้นจนสำเร็จได้หรือไม่

ในการทดสอบ นักวิจัยพบว่าโทเค็นที่เอเจนต์สร้างขึ้นประมาณ 18% เป็นส่วนที่ใช้ไปอย่างสูญเปล่า ในงานมากกว่า 45% เอเจนต์ตัวหนึ่งใช้โทเค็นอย่างสิ้นเปลืองมากกว่าจำนวนที่เอเจนต์อีกตัวต้องใช้เพื่อทำงานเดียวกันให้สำเร็จ นอกจากนี้ยังพบว่า การตัดการให้เหตุผลที่ไม่จำเป็นออก 41–46% แทบไม่ส่งผลต่อประสิทธิภาพ ซึ่งชี้ให้เห็นว่าสามารถประหยัดได้มากโดยไม่กระทบผลลัพธ์อย่างมีนัยสำคัญ

บทความวิจัยระบุว่า:

“เมื่อพิจารณาเส้นทางการทำงานทั้งหมดที่รวบรวมมา พบว่ามีโทเค็นที่เอเจนต์สร้างขึ้นราว 18% ซึ่งจัดว่าเป็นความสูญเปล่า

“ที่น่าสังเกตคือ ในงานมากกว่า 45% ผลลัพธ์ที่เอเจนต์ตัวหนึ่งสร้างขึ้นอย่างสูญเปล่าเพียงตัวเดียวมีปริมาณมากกว่าผลลัพธ์ทั้งหมดของเอเจนต์อีกตัวที่ทำงานเดียวกันจนสำเร็จ”

นอกจากนี้ งานวิจัยยังพบว่าเอเจนต์ใช้ทรัพยากรอย่างสิ้นเปลืองมากที่สุดเมื่อต้องใช้งานเครื่องมือที่ไม่คุ้นเคยและลองใช้แนวทางที่ท้ายที่สุดไม่เกิดผล อีกทั้งการเพิ่มระดับความพยายามในการให้เหตุผลก็ไม่ได้ทำให้ผลลัพธ์ดีขึ้นอย่างสม่ำเสมอ โดยเมื่อใช้ความพยายามสูงสุด Kimi-K3 สร้างโทเค็นสำหรับการให้เหตุผลมากกว่าการใช้ความพยายามระดับต่ำ6.6 เท่า โดยไม่ได้รับประกันว่าผลลัพธ์จะดีขึ้นตามไปด้วย

ผลการทดสอบแสดงให้เห็นว่า Kimi-K3 ทำงานอย่างไรเมื่อใช้ความพยายามในการให้เหตุผล 4 ระดับ ในชุดทดสอบมาตรฐาน 5 ชุด การใช้ความพยายามในการให้เหตุผลมากขึ้นไม่ได้ช่วยเพิ่มอัตราความสำเร็จอย่างสม่ำเสมอ และบางครั้งการใช้ความพยายามสูงสุดกลับให้ผลแย่กว่าการตั้งค่าระดับต่ำกว่า

หากเปรียบเทียบให้เห็นภาพ เซสชันของเอเจนต์เหล่านี้ไม่ได้เหมือนการขับรถทรงพลังที่ไม่เคยใช้งานสมรรถนะอย่างเต็มที่ แต่คล้ายกับการขับรถที่เร่งไปถึงความเร็วสูงสุดที่ทำได้ ทุกครั้งที่เดินทาง ทั้งที่ไม่ได้เกิดประโยชน์ใด ๆ และยังอาจส่งผลเสียตามมาได้

งานวิจัยยังศึกษาบทบาทของฮาร์เนสแต่ละแบบที่มีส่วนทำให้เกิดการสิ้นเปลืองโทเค็น และพบว่า Kimi-K3 ซึ่งเป็นโมเดล AI เดียวกัน อาจใช้โทเค็นในการให้เหตุผลกับงานเดียวกันมากกว่าถึง 4 เท่า ขึ้นอยู่กับฮาร์เนสที่ใช้ โดยไม่ได้หมายความว่าจะได้ผลลัพธ์ที่ดีขึ้นเสมอไป

พบว่าการสิ้นเปลืองบางส่วนเกิดจากข้อผิดพลาดพื้นฐานของซอฟต์แวร์ โดย OpenCode, Kimi Code CLI และ OpenClaw มักเริ่มทำงานในสภาพแวดล้อม Python ที่ไม่ถูกต้องซ้ำ ๆ จนเกิดข้อผิดพลาดและต้องลองใหม่ ซึ่งทำให้สิ้นเปลืองโทเค็น ส่วน Kimi Code CLI ยังอนุญาตให้ AI ขอเวลาหมดอายุที่ซอฟต์แวร์ของตัวเองจะปฏิเสธ ส่งผลให้ต้องลองอีกหลายครั้งและมีค่าใช้จ่ายเพิ่มขึ้น

สวนทางกับที่คาดไว้ ฮาร์เนสที่มีเครื่องมือให้ใช้มากกว่าไม่ได้สิ้นเปลืองกว่าเสมอไป และดูเหมือนว่าความไม่มีประสิทธิภาพบางอย่างที่เกิดซ้ำจะมาจากตัวโมเดลเอง ไม่ว่าฮาร์เนสใดจะเป็นผู้ควบคุมก็ตาม

‘[Several]คุณสมบัติของฮาร์เนสที่ดูเหมือนจะอธิบายความแตกต่างของการสิ้นเปลืองที่สังเกตพบได้อย่างชัดเจน กลับไม่ได้อธิบายความแตกต่างเหล่านั้นอย่างสม่ำเสมอ ตัวอย่างเช่น ดังที่แสดงใน[below] ฮาร์เนสที่เปิดให้ใช้เครื่องมือมากกว่าไม่ได้สิ้นเปลืองกว่าเสมอไป OpenClaw เปิดให้ใช้เครื่องมือมากกว่าฮาร์เนสอื่น ๆ มาก แต่กลับมีการสิ้นเปลืองในระดับปานกลาง นอกจากนี้ การสิ้นเปลืองก็ไม่ได้เปลี่ยนแปลงไปตามฮาร์เนสทุกกรณี

‘[Below right]แสดงให้เห็นว่า ใน SWE-bench Verified มีทางอ้อมที่เกิดซ้ำ โดย Kimi-K3 จะเขียนสิ่งที่เชื่อว่าเป็นวิธีแก้ไขดั้งเดิมของโปรเจกต์ขึ้นมา แล้วภายหลังก็ละทิ้งวิธีนั้นไป ‘

ผลการทดสอบเปรียบเทียบโทเค็นที่สิ้นเปลืองในฮาร์เนสของเอเจนต์ AI: ด้านซ้าย การมีเครื่องมือให้ใช้มากขึ้นไม่ได้ทำให้สิ้นเปลืองเพิ่มขึ้นเสมอไป ด้านขวา Kimi-K3 พยายามใช้วิธีแก้ไขซอฟต์แวร์ที่คิดว่าเป็นวิธีดั้งเดิมซ้ำ ๆ แล้วก็ละทิ้งวิธีนั้น ไม่ว่าจะใช้ฮาร์เนสใด แต่แทบไม่ทำเช่นนี้กับงานอีกประเภทหนึ่ง

เพื่อแก้ไขปัญหา ผู้เขียนเสนอว่าฮาร์เนสของเอเจนต์ควรตรวจจับเมื่อข้อจำกัดของสภาพแวดล้อมทำให้ไม่สามารถดำเนินงานต่อได้ แจ้งข้อจำกัดดังกล่าวให้โมเดล AI ทราบอย่างชัดเจน และหยุดการทำงาน แทนที่จะปล่อยให้การลองทำซ้ำ ๆ ที่ล้มเหลวใช้โทเค็นเพิ่มขึ้น นอกจากนี้ ยังเสนอให้นำข้อมูลการวัดโทเค็นที่สิ้นเปลืองไปใช้ปรับปรุงการฝึกโมเดล กลยุทธ์การให้เหตุผล และการออกแบบฮาร์เนส

ระเบียบวิธี

เพื่อสร้างภาพกิจกรรมของเอเจนต์ AI ขึ้นใหม่ นักวิจัยติดตามการโต้ตอบแต่ละครั้งระหว่างโมเดลกับซอฟต์แวร์ที่ควบคุมโมเดล พร้อมบันทึกการให้เหตุผล คำตอบ คำขอใช้เครื่องมือ และค่าใช้จ่ายด้านโทเค็น โดยระดับรายละเอียดแตกต่างกันไปตามผู้ให้บริการ: Kimi-K3 เปิดเผยกระบวนการให้เหตุผลทั้งหมด ส่วน Gemini 3.1 Pro เปิดเผยเพียงบทสรุป และ Claude ไม่เปิดเผยข้อมูลดังกล่าวเลย

ผลลัพธ์จากเครื่องมือแต่ละรายการจะถูกส่งกลับไปยังเอเจนต์ ทำให้นักวิจัยติดตามกระบวนการได้จนเสร็จสิ้น หรือจนกว่าจะถึงขีดจำกัดการทำงาน

ตัวอย่าง 4 รูปแบบที่เอเจนต์ AI ใช้โทเค็น การพูดซ้ำข้อมูลที่รู้อยู่แล้ว การค้นหาแบบเดิมซ้ำ และการกล่าวขอโทษอย่างไร้ประโยชน์ ถือเป็นการสิ้นเปลือง ขณะที่การค้นหาที่ไม่สำเร็จไม่ได้หมายความว่าจะสิ้นเปลืองเสมอไป เพราะเอเจนต์อาจมีเหตุผลที่ดีในการลองค้นหา

คำขอของเอเจนต์ถูกส่งผ่านพร็อกซีเพื่อติดตามกิจกรรม โดยต้องแก้ไขโค้ดเพียงเล็กน้อย และติดป้ายกำกับแต่ละคำขอด้วยข้อมูลชุดทดสอบ การทำงาน งาน และรอบทดลอง (ยกเว้น OpenClaw ซึ่งไม่รองรับป้ายกำกับเหล่านี้ ในกรณีนั้นจะใช้พร็อกซีแยกสำหรับการทดสอบแต่ละครั้ง โดยสร้างขึ้นบน LiteLLM)

ผู้เล่น 4 แบบ

งานวิจัยแบ่งการสิ้นเปลืองโทเค็นออกเป็น 4 รูปแบบที่เกิดซ้ำ ได้แก่ การกล่าวซ้ำ (พูดซ้ำข้อมูลที่รู้อยู่แล้ว); การดึงข้อมูลซ้ำ (ส่งคำขอใช้เครื่องมือซ้ำโดยไม่จำเป็น); การเติมข้อความ (เพิ่มข้อความที่ไม่เกี่ยวข้อง); และ การอ้อมไปโดยเปล่าประโยชน์ (ลองใช้แนวทางที่ดูเป็นไปได้ แต่ท้ายที่สุดกลับไม่เกิดผล)

แต่ละเซสชันที่บันทึกไว้ได้รับการตรวจสอบโดย LLM-as-a-Judge (LLMaJ**) ซึ่งได้รับโจทย์ต้นฉบับ บันทึกฉบับเต็ม และเกณฑ์สำหรับระบุรูปแบบการสิ้นเปลืองทั้งสี่แบบ จากนั้นทำเครื่องหมายและตัดส่วนที่สงสัยว่าเป็นการสิ้นเปลืองออก แล้วนับโทเค็นที่เหลือใหม่เพื่อคำนวณสัดส่วนและค่าใช้จ่ายที่สูญเปล่า ต่อมามีการตรวจสอบจำนวนที่นับได้เทียบกับตัวตัดแบ่งโทเค็นหรือเครื่องมือนับของผู้ให้บริการแต่ละราย รวมถึงปริมาณการใช้งานเอาต์พุตที่รายงานไว้ (โดยระบุว่ามีความแตกต่างด้านรูปแบบเพียงเล็กน้อย)

การทดสอบ

โมเดลที่นำมาทดสอบในการศึกษานี้ ได้แก่ Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 และ Claude Fable 5.1 โดยทดสอบกับเกณฑ์มาตรฐาน τ²-bench (บริการลูกค้าด้านสายการบินและค้าปลีก), SWE-bench Verified (วิศวกรรมซอฟต์แวร์), Claw-Eval และ MCP-Atlas (การใช้เครื่องมือทั่วไป)

นอกจากนี้ ยังทดสอบ Kimi-K3 ด้วยระดับการใช้เหตุผลที่แตกต่างกัน และเปรียบเทียบชุดเครื่องมือสำหรับเอเจนต์ 5 แบบ ได้แก่ OpenCode, OpenClaw, OpenHands, Hermes และ Kimi Code CLI โดยใช้การเปรียบเทียบในส่วนหลังนี้ประเมินว่าโมเดล งาน ระดับความพยายามในการใช้เหตุผล และการออกแบบชุดเครื่องมือส่งผลต่อการสิ้นเปลืองโทเค็นอย่างไร (และในการทดสอบเพิ่มเติม ได้ตัดส่วนที่สงสัยว่าเป็นการสิ้นเปลืองออกเพื่อตรวจสอบผลกระทบต่อประสิทธิภาพ)

เพื่อประเมินว่าแต่ละโมเดลทำให้เกิดค่าใช้จ่ายสูญเปล่าเท่าใด จึงนำต้นทุนของข้อความและการเรียกใช้เครื่องมือที่ไม่จำเป็นไปเปรียบเทียบกับต้นทุนเอาต์พุตทั้งหมด โดยหาค่าเฉลี่ยจากผลการทดสอบทั้งสี่เกณฑ์ ส่วนการใช้เหตุผลภายในได้รับการประเมินแยกต่างหากสำหรับ Kimi-K3 ซึ่งเป็นโมเดลเดียวที่เปิดเผยกระบวนการใช้เหตุผลทั้งหมด:

ผลการทดสอบเปรียบเทียบต้นทุนเอาต์พุตที่สูญเปล่าของโมเดล AI 6 รุ่น โดยเฉลี่ยจากเกณฑ์มาตรฐาน 4 รายการ ด้านซ้าย: อัตราการสิ้นเปลืองโดยรวม โดยแสดงการใช้เหตุผลภายในของ Kimi-K3 แยกต่างหาก ด้านขวา: อัตราการสิ้นเปลืองของงานที่ทำสำเร็จและงานที่ล้มเหลว โดยทั่วไปงานที่ล้มเหลวทำให้เกิดการสิ้นเปลืองมากกว่า

ดังที่แสดงไว้ข้างต้น พบว่าเงินที่ใช้สร้างคำตอบและเรียกใช้เครื่องมือระหว่าง 11% ถึง 24.9% ถูกประเมินว่าสูญเปล่า โดย GPT-6 Astra ทำได้ดีที่สุด ส่วน Claude Sonnet 5 ทำได้แย่ที่สุด สำหรับ Kimi-K3 โทเค็นที่ใช้ตอบคำถามและเรียกใช้เครื่องมือประมาณ 1 ใน 6 สูญเปล่า และเพิ่มขึ้นเป็นมากกว่า 1 ใน 4 ในระหว่างการใช้เหตุผลภายใน

โดยทั่วไปพบการสิ้นเปลืองมากขึ้นเมื่องานล้มเหลว แม้ผลจะตรงกันข้ามกับการใช้เหตุผลของ Kimi-K3 และไม่พบหลักฐานชัดเจนว่าการใช้โทเค็นมากขึ้นกับงานที่ไม่จำเป็นช่วยเพิ่มโอกาสทำงานสำเร็จ

ในการทดสอบอีกครั้ง มีความพยายามลดโทเค็นที่สูญเปล่าขณะที่ AI กำลังทำงาน โดยในแต่ละขั้นตอนจะใช้ AI judge** ตัดข้อมูลซ้ำและข้อความที่ไม่มีประโยชน์ออกจากกระบวนการใช้เหตุผลของโมเดล ก่อนปล่อยให้ทำงานต่อไป:

ผลการทดสอบแสดงให้เห็นว่าการตัดการใช้เหตุผลของ AI ที่ไม่จำเป็นออกส่งผลต่ออัตราความสำเร็จในเกณฑ์มาตรฐาน 2 รายการอย่างไร การตัดกระบวนการใช้เหตุผลออก 41–46% แทบไม่ส่งผลต่อประสิทธิภาพ ขณะที่การตัดการใช้เหตุผลออกทั้งหมดทำให้งานล้มเหลวมากขึ้นอย่างเห็นได้ชัด

ในการทดสอบ SWE-bench Verified มีการตัดกระบวนการใช้เหตุผลออก 41% โดยไม่ทำให้ประสิทธิภาพลดลง และอัตราความสำเร็จกลับเพิ่มขึ้นเล็กน้อย จาก 89% เป็น 89.5% ส่วน MCP-Atlas มีการตัดออก 46% โดยอัตราความสำเร็จลดลงเพียงเล็กน้อย จาก 65% เป็น 62.3%

กล่าวอีกนัยหนึ่ง ระหว่างที่ AI กำลังทำงานนั้น สามารถตัดกระบวนการใช้เหตุผลออกได้เกือบครึ่งหนึ่ง โดยไม่ส่งผลเสียร้ายแรงต่อความสามารถในการทำงานให้เสร็จ

ท้ายที่สุด^† มีการทดสอบ Kimi-K3 ด้วยงานเดียวกันโดยใช้ชุดเครื่องมือสำหรับเอเจนต์ที่แตกต่างกัน ปริมาณเอาต์พุตด้านการใช้เหตุผลแตกต่างกันมากกว่าสี่เท่า โดยไม่ได้ทำให้ประสิทธิภาพดีขึ้นอย่างสม่ำเสมอ ดังที่แสดงด้านล่าง:

ผลการทดสอบเปรียบเทียบการใช้โทเค็นของ Kimi-K3 เมื่อใช้ชุดเครื่องมือสำหรับเอเจนต์ต่างกันกับเกณฑ์มาตรฐาน 2 รายการ แสดงการใช้เหตุผลภายในเป็นสีน้ำเงิน และคำตอบกับการเรียกใช้เครื่องมือเป็นสีส้ม ในงานเขียนโค้ด มีการสร้างข้อความสำหรับการใช้เหตุผลด้วย Mini-SWE มากกว่า Hermes เกิน 4 เท่า

พบว่าการสิ้นเปลืองบางส่วนเกิดจากข้อผิดพลาดพื้นฐานของซอฟต์แวร์ OpenCode, Kimi Code CLI และ OpenClaw เริ่มการทดสอบเขียนโค้ดในสภาพแวดล้อม Python ที่ไม่ถูกต้อง ทำให้เกิดข้อผิดพลาดและต้องลองใหม่

บทสรุป

นี่เป็นเพียงการกล่าวถึงคร่าว ๆ ถึงบทความวิจัยที่มีความยาวและระเบียบวิธีละเอียดรอบคอบ ซึ่งอาจคุ้มค่าแก่การอ่านอย่างลึกซึ้งยิ่งขึ้น

เนื้อหานี้ทำให้ฉันนึกถึงสิ่งหนึ่งที่ตระหนักอยู่บ่อยครั้ง นั่นคือช่องว่างมหาศาลระหว่างสิ่งที่เราและผู้ให้บริการแนวหน้ารู้จริงเกี่ยวกับกระบวนการเหล่านี้ กับความเต็มใจของบริษัทต่างๆ ที่จะนำเสนอผลิตภัณฑ์ราวกับว่าเพิ่งผ่านการตรวจสอบด้วย เครื่องมือตรวจสอบโค้ด มาตลอดสามเดือน และผ่านฉลุย

ณ ตอนนี้ หากเกิดผลลัพธ์ที่ไม่พึงประสงค์ เราก็โทษใครไม่ได้นอกจากตัวเราเอง เพราะเรากำลังซื้อผลิตภัณฑ์ที่แทบทุกคนในหมู่พวกเรารู้ดีว่าเป็นสิ่งที่ยังอยู่ในขั้นทดลองอย่างมากและคาดเดาไม่ได้

* โดยระบุอย่างชัดเจนว่า University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) และนักวิจัยอิสระ ต่างมีส่วนร่วมเท่าเทียมกัน

* เท่าที่ผมพอจะสังเกตได้ บทความวิจัยไม่ได้ระบุว่าใช้โมเดลใด

^† สำหรับบทความนี้ ไม่ใช่บทความวิจัย ซึ่งยาวกว่าที่ปกติผมจะอนุญาตให้ตัวเองเขียนถึง และมีการทดสอบกับรายละเอียดเชิงลึกมากกว่าที่เราจะนำเสนอได้ที่นี่ โปรดดู PDF ต้นฉบับที่ลิงก์ไว้ด้านบนเพื่ออ่านรายละเอียดเพิ่มเติม

เผยแพร่ครั้งแรกเมื่อวันศุกร์ที่ 6 พฤศจิกายน 2026