คำถามที่ไม่มีน้ำใจอาจทำให้ต้นทุนของ Enterprise ChatGPT พองตัว

ChatGPT ตอบคำถามที่ใช้โทเค็นมากกว่าเมื่อคุณไม่สุภาพกับมัน ทำให้บิลของคุณเพิ่มขึ้น แต่การพูด “กรุณา” สามารถลดต้นทุนของคุณได้

มีการกล่าวว่าความสุภาพไม่มีต้นทุน แต่ความไม่สุภาพมีค่าใช้จ่ายเท่าใด ในกรณีของการชำระเงินสำหรับ ChatGPT ค่อนข้างสูงตามการศึกษาใหม่จากสหรัฐอเมริกา วิจัยใหม่นี้จากมหาวิทยาลัยไอโอวา พบว่าการไม่สุภาพกับ ChatGPT ทำให้ต้นทุนของการตอบคำถามเพิ่มขึ้น แม้ว่าคำตอบจะเหมือนกันสำหรับคำถามที่สุภาพและไม่สุภาพก็ตาม

ผู้เขียนระบุว่า:

‘ราคาโทเค็นเอาท์พุตคือ 12 ดอลลาร์ต่อ 1 ล้านโทเค็นเอาท์พุตสำหรับ GPT4 เราพบว่าคำถามที่ไม่สุภาพทำให้ใช้โทเค็นมากกว่า 14 โทเค็น ซึ่งเท่ากับต้นทุนเพิ่มเติม 0.000168 ดอลลาร์ต่อคำถามโดยเฉลี่ย จำนวนคำถามที่ส่งไปยัง API ของ OpenAI มากกว่า 2.2 พันล้านต่อวัน’

‘เมื่อเทียบกับสถานการณ์ที่ทุกคำถามมีความสุภาพ เมื่อคำถามไม่สุภาพ จะทำให้เกิดรายได้เพิ่มเติม 369,000 ดอลลาร์ต่อวัน เพียงเพราะโทเค็นที่เพิ่มขึ้นที่คำถามไม่สุภาพสร้างขึ้นในผลลัพธ์’

แม้ว่าผลลัพธ์จะน่าสนใจในตัวเอง ผู้เขียนเน้นย้ำว่าพฤติกรรมที่ไม่ปกตินี้อาจบ่งบอกถึงความผิดปกติอื่นๆ ในการกำหนดค่าของมนุษย์และ AI ที่ยังไม่ทราบ ซึ่งอาจมีผลกระทบทางการเงินด้วย ในเรื่องของเหตุผลที่ความไม่สุภาพทำให้ต้นทุนเพิ่มขึ้น ผู้เขียนไม่ได้ให้ข้อสันนิษฐาน

เพื่อตรวจสอบความถูกต้องของอาการนี้ พวกเขาทำการเขียนคำถามใหม่ โดยสลับระหว่างความสุภาพและไม่สุภาพ ในขณะที่ยังคงความหมายเดิมไว้ ทั้งสองเวอร์ชันถูกส่งไปยังโมเดล GPT-4-Turbo ผ่าน API ที่แยกจากกัน จำนวนโทเค็นที่ใช้ในการตอบคำถามแต่ละเวอร์ชันถูกบันทึกไว้ และความแตกต่างระหว่างทั้งสองถูกมองว่าเป็นตัวชี้วัดของว่าโทนมีอิทธิพลต่อต้นทุน (โทเค็น) อย่างไร

ข้อสรุปที่ได้รับเป็นความขัดแย้งกับเหตุการณ์สำคัญต้นปีนี้ เมื่อ Sam Altman พูดถึง ว่าความสุภาพทำให้ OpenAI เสียเงินหลายล้านดอลลาร์ในการประมวลผลโทเค็นความสุภาพ (เช่น ‘กรุณา’) การวิจัยที่ เผยแพร่ ในช่วงเวลาเดียวกัน cũngบ่งชี้ว่าความสุภาพไม่มีคุณค่าในการได้รับคำตอบที่ดีกว่า (แม้ว่าจะไม่ได้แสดงความคิดเห็นเกี่ยวกับคำตอบที่ ถูกกว่า ก็ตาม)

หากข้อสรุปของงานวิจัยใหม่นี้ถูกต้อง ผู้ใช้ Enterprise ChatGPT ใดๆ ที่ติดตามแนวคิดนี้อาจใช้จ่ายมากกว่าผู้ที่ให้ความสุภาพขั้นต่ำในการแลกเปลี่ยนกับ ChatGPT ในปี 2025

ผู้เขียนแนะนำว่าวิธีแก้ปัญหาหนึ่งที่เป็นไปได้คือการตั้งเพดานโทเค็นสำหรับการตอบคำถาม แม้ว่านี่ไม่ใช่วิธีที่ระบบ LLM สามารถนำไปใช้ได้ง่ายๆ พวกเขาสังเกตเห็นว่าการให้คำแนะนำเป็นเครื่องมือที่อ่อนแอสำหรับการควบคุมต้นทุน เนื่องจากระบบ LLM มีปัญหาในการปฏิบัติตามคำแนะนำเกี่ยวกับความยาวอย่างชัดเจน ในกรณีส่วนใหญ่ ระบบจะไม่ปฏิบัติตามคำแนะนำในการจำกัด; นอกจากนี้ การตอบคำถามอาจถูกตัดทอน เนื่องจากระบบ LLM ของประเภทนี้โดยพื้นฐานแล้ว เดา คำที่น่าจะเป็นไปได้ต่อไปในประโยค/ย่อหน้า และดังนั้นจึงไม่ทราบว่าเรื่องราวจะสิ้นสุดเมื่อใด หรือ ที่ไหน จนกว่าการประมวลผลจะเสร็จสิ้น

ไม่มีวิธีแก้ปัญหาโดยตรง แม้ว่าจะแนะนำให้ใช้วิธีการกำหนดราคาแบบโปร่งใสในกรณีเช่นนี้ ผู้เขียนสรุปว่า:

‘ความเชื่อแบบดั้งเดิมบอกว่าความสุภาพไม่จำเป็นต้องมีในการโต้ตอบกับ LLM’

‘ในทางกลับกัน ผลงานของเราบ่งชี้ว่าคำถามที่ไม่สุภาพทำให้โทเค็นเอาท์พุตเพิ่มขึ้น ซึ่งสร้างต้นทุนเพิ่มเติมสำหรับผู้ใช้ AI ในระดับองค์กร’

งานวิจัย ใหม่ มีชื่อเรื่องว่า ความโปร่งใสของต้นทุนในการนำ AI ไปใช้ในองค์กร และมาจากนักวิจัยสามคนจากมหาวิทยาลัยไอโอวา

วิธีการ

ข้อมูลสำหรับระบบถูกดึงมาจากชุดข้อมูล WildChat ซึ่งเป็นชุดสะสมของการโต้ตอบระหว่างผู้ใช้และ ChatGPT จำนวน 1 ล้านครั้ง และมีการโต้ตอบมากกว่า 2.5 ล้านครั้ง:

จากเว็บไซต์ที่รองรับโครงการ WildChat ตัวอย่างการโต้ตอบระหว่างผู้ใช้และ ChatGPT ที่สามารถค้นหาได้ แหล่งที่มา

ผู้เขียนระบุว่า WildChat มีการโต้ตอบตามธรรมชาติมากกว่าชุดข้อมูลที่มีการดูแลอย่างเข้มงวด

พวกเขาเลือกคำถามภาษาอังกฤษ 20,000 คำถามจากชุดข้อมูล GPT-4 และทิ้งคำตอบทั้งหมด (เนื่องจากตั้งใจจะส่งคำถามผ่านอีกครั้งเพื่อให้ได้คำตอบใหม่) เฉพาะการโต้ตอบครั้งแรกเท่านั้นที่ถูกเลือก แม้ว่าจะมีการโต้ตอบที่ยาวกว่าก็ตาม

ชุดข้อมูลที่ได้ถูกแบ่งออกเป็นหมวด สุภาพ หรือ ไม่สุภาพ โดยมีคำถามทั้งหมดที่ถูกจัดประเภทโดย GPT-4-Turbo นักวิจัยใช้โมเดลเองในการตัดสินว่าคำถามใดสุภาพหรือไม่ เนื่องจากการรับรู้ความสุภาพของโมเดลมีความสำคัญต่อการทดลอง

คำถามที่มีฉลากว่า สุภาพ อาจรวมถึงสัญญาณที่ชัดเจน เช่น คำว่า ‘กรุณา’ หรืออาจสุภาพในแบบที่ไม่ชัดเจน สิ่งใดๆ ที่ไม่ได้รับการยอมรับว่าเป็น สุภาพ ถูกจัดประเภทเป็น ไม่สุภาพ แม้ว่าคำพูดจะเป็นกลางมากกว่าการต่อต้าน

เพื่อศึกษาว่าโมเดลตอบสนองต่อความสุภาพอย่างไร วิธีการมาตรฐาน (เช่น การรักษาข้อความเป็นคุณลักษณะที่วัดได้) ไม่สามารถใช้ได้ เนื่องจากความสุภาพถูกฝังอยู่ในคำพูดเอง การสรุปคำถามเป็นรายการคุณลักษณะจะทำให้สูญเสียบริบทที่สำคัญ

แทนการนั้น แต่ละคำถามถูกเขียนใหม่เพื่อพลิกโทน โดยที่องค์ประกอบอื่นๆ ถูกเก็บไว้เหมือนเดิมมากที่สุด ทำให้สามารถเปรียบเทียบระหว่างคู่ที่แตกต่างกันเพียงในเรื่องของความสุภาพ:

ตัวอย่างของวิธีการแปลงคำถามที่สุภาพและไม่สุภาพให้เป็นรูปแบบที่ตรงกันข้าม ในขณะที่ยังคงความหมายเชิงกลยุทธ์ แหล่งที่มา

การทดสอบ

คำถามดั้งเดิมแต่ละคำถามถูกจับคู่กับคำถามที่เขียนใหม่ที่แตกต่างกันเพียงในระดับความสุภาพ และทั้งสองเวอร์ชันถูกส่งไปยังโมเดล GPT-4-Turbo ผ่าน API ที่แยกจากกัน จำนวนโทเค็นที่ผลิตในการตอบคำถามแต่ละเวอร์ชันถูกบันทึก และความแตกต่างระหว่างทั้งสองถูกมองว่าเป็นตัวชี้วัดของว่าโทน影響 (โทเค็น) ต้นทุนอย่างไร

อุณหภูมิ ถูกตั้งค่าให้คงที่เพื่อป้องกันการเปลี่ยนแปลงแบบสุ่ม และคู่คำถามถูกเก็บไว้เฉพาะเมื่อการเขียนใหม่เปลี่ยนแปลงการเข้าโดยไม่เกิน 5 โทเค็น ซึ่งทำให้แน่ใจว่าผลกระทบที่กำลังศึกษาเกิดจาก โทน มากกว่าการเปลี่ยนแปลงที่กว้างขึ้นในคำพูด:

สถิติสรุปแสดงให้เห็นว่าคำถามที่สุภาพส่งผลให้ใช้โทเค็นเอาท์พุตน้อยกว่าคำถามที่ไม่สุภาพโดยเฉลี่ย แม้ว่าจะมีโทเค็นอินพุตมากกว่าเล็กน้อย

ผลลัพธ์หลักของการทดสอบรอบแรกบ่งชี้ว่าการใช้คำถามที่สุภาพทำให้ความยาวของโทเค็นเอาท์พุตลดลง 14.426 โทเค็น:

ผลการประมาณการแสดงถึงผลกระทบของการรูปแบบคำถามที่สุภาพต่อความยาวของโทเค็นเอาท์พุต

การวิเคราะห์ถูกทำซ้ำข้ามสามชุดย่อยของคำถามที่สุภาพเพื่อทดสอบความแข็งแกร่ง: คำถามที่ใช้เครื่องหมายที่ชัดเจน เช่น ‘กรุณา’ หรือ ‘ขอบคุณ’; คำถามที่ใช้เพียง ‘กรุณา’ เท่านั้น; และคำถามที่มี ความสุภาพโดยนัย เช่น ‘คุณสามารถ’ หรือ ‘คุณจะ’:

ผลการประมาณการตามประเภทของความสุภาพ

เพื่อยืนยันความแข็งแกร่งของผลการพบหลัก การจัดประเภทความสุภาพของคำถามที่สองถูกดำเนินการโดยใช้ เฟรมเวิร์ก LIWC ซึ่งให้คะแนนเชิงกลยุทธ์และซ้ำได้สำหรับคุณลักษณะทางภาษา

ไม่เหมือนกับการจัดประเภทแบบสุ่มของ GPT LIWC สามารถกำหนดคะแนนความสุภาพที่มั่นคงให้กับคำถามแต่ละคำถาม ทำให้สามารถประเมินความสอดคล้องระหว่างวิธีการต่างๆ ได้ ในส่วนนี้ของการทดสอบ คำถามถูกจัดให้เป็น สุภาพ หากคะแนนความสุภาพ LIWC มากกว่า 0 และเป็น ไม่สุภาพ ในทางกลับกัน

เมื่อการเทียบเคียงระหว่างการจัดประเภท LIWC และ GPT ถูกวัด มีอัตราการตรงกัน 81% ซึ่งให้การสนับสนุนความสอดคล้องระหว่างระบบ

เมื่อคำถามที่มีฉลากความสุภาพ LIWC และ GPT ที่ตรงกันถูกวิเคราะห์ คำถามที่สุภาพยังคงนำไปสู่โทเค็นเอาท์พุตที่น้อยกว่า 14 โทเค็น; และเมื่อความสุภาพถูกวัดเป็นระดับที่เลื่อนได้ แต่ละขั้นของความสุภาพที่เพิ่มขึ้นจะลดโทเค็นเอาท์พุตโดยเฉลี่ย 5 โทเค็น:

การประหยัดโทเค็นจากความสุภาพยังคงอยู่เมื่อจัดประเภทใหม่ด้วย LIWC ทั้งแบบป้ายกำกับแบบทวินามและคะแนนแบบต่อเนื่อง

ความทนทาน

เพื่อประเมินว่าผลกระทบของความสุภาพแตกต่างกันไปในประเภทคำถามต่างๆ หรือไม่ แต่ละคำถามถูกกำหนดให้เป็นหนึ่งในหมวดหมู่งานที่กำหนดไว้ล่วงหน้า: การหาข้อมูล; การสร้างข้อความ; การแก้ไขและการเขียนใหม่; การจำแนกประเภท; การสรุป; และ งานทางเทคนิค.

คำถามแต่ละคำถามถูกกำหนดให้เป็นป้ายกำกับงานโดยการเปรียบเทียบการฝังของมันกับงานที่กำหนดไว้ล่วงหน้า โดยใช้โมเดล all-MiniLM-L6-v2 Sentence Transformers

คะแนนความคล้ายคลึงกันแบบโคไซน์ถูกคำนวณระหว่างคำถามแต่ละคำถามและชุดคำอธิบายงาน และป้ายกำกับที่มีความคล้ายคลึงสูงสุดถูกกำหนดให้กับคำถามนั้น

ประเภทงานถูกนำมาใช้เป็นตัวแปรควบคุมในการถดถอย เพื่อทดสอบว่าผลกระทบของความสุภาพแตกต่างกันไปตามประเภทคำถามหรือไม่ และพจน์โต้ตอบระหว่างงานและแนวทางถูกนำมาใช้เพื่อตรวจสอบผลกระทบที่แตกต่างกัน

ทั้งสองกรณี คำถามที่สุภาพสร้างผลลัพธ์ที่สั้นกว่า และไม่มีการเปลี่ยนแปลงที่สำคัญที่พบระหว่างประเภทงาน:

ผลการถดถอยแสดงให้เห็นว่าคำถามที่สุภาพลดความยาวของผลลัพธ์ลงในหมวดหมู่งานทั้งหมด โดยไม่มีผลกระทบการโต้ตอบที่สำคัญ