การเขียนโค้ด Vibe ที่ได้รับผลกระทบเมื่อ AI ขยายบทบาท

การศึกษาใหม่พบว่าการเขียนโค้ด Vibe ดีขึ้นเมื่อมนุษย์มอบคำสั่ง แต่ลดลงเมื่อ AI ทำ โดยชุดข้อมูลไฮบริดที่ดีที่สุดคือการให้มนุษย์เป็นคนนำหน้า และ AI เป็นตัวตัดสิน

การวิจัยใหม่จากสหรัฐอเมริกา ซึ่งตรวจสอบสิ่งที่เกิดขึ้นเมื่อระบบ AI ได้รับอนุญาตให้ควบคุมการเขียนโค้ด Vibe แทนที่จะดำเนินการตามคำสั่งของมนุษย์ พบว่าเมื่อโมเดลภาษาขนาดใหญ่ (LLM) รับบทบาทที่มากขึ้น ผลลัพธ์เกือบจะเสมอเป็นผลลัพธ์ที่แย่กว่า

แม้ว่านักวิจัยจะใช้ GPT-5 ของ OpenAI เป็นโครงสร้างสำหรับการทดลองร่วมกันระหว่างมนุษย์และ AI แต่พวกเขายืนยันว่า Anthropic’s Claude Opus 4.5 และ Google Gemini 3 Pro ก็ได้รับผลกระทบจากแนวโน้มที่ลดลงเช่นเดียวกันเมื่อบทบาทของ AI เพิ่มขึ้น โดยระบุว่า “การมีส่วนร่วมของมนุษย์อย่างจำกัดจะปรับปรุงประสิทธิภาพได้อย่างต่อเนื่อง”

‘มนุษย์ให้คำแนะนำระดับสูงอย่างมีประสิทธิภาพทั่วทั้งการวนซ้ำ ในขณะที่คำแนะนำของ AI มักจะนำไปสู่การล่มสลายของประสิทธิภาพ นอกจากนี้ เราพบว่าการจัดสรรบทบาทอย่างระมัดระวังซึ่งให้มนุษย์เป็นผู้นำในด้านทิศทางในขณะที่มอบหมายการประเมินให้ AI สามารถปรับปรุงประสิทธิภาพของไฮบริดได้’

เพื่อให้ได้การทดสอบที่สอดคล้องกันซึ่งสามารถประเมินได้เท่าเทียมกันโดยทั้งมนุษย์และ AI โครงสร้างการทดลองที่ควบคุมถูกสร้างขึ้นโดยใช้การวนซ้ำในการเขียนโค้ด โดยที่ภาพอ้างอิงซึ่งมีรูปภาพของแมว หมา เสือ นก ช้าง ปิงกิน ปลาฉลาม ซีบร้า และจิระฟ้า – ต้องถูกสร้างขึ้นใหม่โดยใช้กราฟิกเวกเตอร์ที่สามารถปรับขนาดได้ (SVG) และการสร้างใหม่นั้นจะถูกตัดสินจากภาพต้นฉบับที่ได้รับมา

ทั้งผู้เข้าร่วมมนุษย์และ AI จะเห็นภาพอ้างอิงร่วมกับภาพ SVG ที่สร้างโดย AI และขอให้ให้คะแนนความคล้ายคลึงกันระหว่างทั้งสองในระดับ 7 คะแนน

ในแต่ละรอบ หน่วยงานหนึ่งให้คำแนะนำภาษาธรรมชาติระดับสูงเพื่อชี้นำเครื่องสร้างโค้ด และอีกหน่วยงานหนึ่งตัดสินใจว่าจะรักษาเวอร์ชันใหม่หรือกลับไปใช้เวอร์ชันก่อนหน้า – วงจรที่มีโครงสร้างซึ่งสะท้อนถึงกระบวนการทำงานร่วมกันในโลกแห่งความเป็นจริง

ทั่วทั้ง 16 การทดลองที่มีผู้เข้าร่วม 604 คนและหลายพันการเรียก API โครงสร้างการทดลองที่นำโดยมนุษย์เต็มรูปแบบถูกเปรียบเทียบโดยตรงกับการทดลองที่นำโดย AI ทั้งหมดภายใต้เงื่อนไขที่เหมือนกัน

บางส่วนของวิธีแก้ปัญหาที่หลากหลายที่ได้รับจากความพยายามร่วมกันระหว่างมนุษย์และ AI ในหลาย ๆ รูปแบบ (ถูกนำมาจากภาพประกอบที่ใหญ่กว่าในเอกสารต้นฉบับ ซึ่งเราหวังว่าจะได้รับการอ้างอิง)

แม้ว่ามนุษย์และ AI จะแสดงผลลัพธ์ที่คล้ายกันในจุดเริ่มต้น แต่แนวโน้มของพวกเขาเบี่ยงเบนไปตามเวลา: เมื่อมนุษย์มอบคำสั่งและตัดสินใจเลือก ผลลัพธ์จะดีขึ้นอย่างต่อเนื่องในแต่ละรอบ แต่เมื่อระบบ AI มีบทบาททั้งสอง ประสิทธิภาพจะไม่ดีขึ้นและลดลงบ่อยครั้ง

ผลกระทบของ Prolixity

ผลลัพธ์ยังแสดงให้เห็นว่าคำแนะนำของมนุษย์มักจะสั้นและเน้นการกระทำ โดยมุ่งเน้นไปที่สิ่งที่จะเปลี่ยนแปลงต่อไปในภาพปัจจุบัน ในทางกลับกัน คำแนะนำของ AI จะยาวและอธิบายรายละเอียด (ปัจจัยที่ถูก พารามิเตอร์สำหรับ GPT-5) โดยเน้นไปที่คุณลักษณะการมองเห็นมากกว่าการให้ความสำคัญกับการแก้ไขทีละขั้นตอน

แต่ ดังที่เห็นในกราฟด้านล่าง การกำหนดขีดจำกัดคำสำหรับคำแนะนำของ AI ไม่ได้กลับแนวโน้มนี้: แม้จะถูกจำกัดไว้ที่ 10, 20 หรือ 30 คำ คำแนะนำของ AI ที่นำโดย AI ยังคงไม่ดีขึ้นตามเวลา

คะแนนความคล้ายคลึงกันในแต่ละรอบสำหรับการเขียนโค้ดที่นำโดยมนุษย์เมื่อเทียบกับการเขียนโค้ดที่นำโดย AI ทั้งหมดและ AI ที่นำโดย AI ที่ถูกจำกัดไว้ที่ 10, 20 หรือ 30 คำต่อคำแนะนำ

การทดลองไฮบริดทำให้แนวโน้มชัดเจนขึ้น โดยแสดงให้เห็นว่าการเพิ่มการมีส่วนร่วมของมนุษย์เล็กน้อยจะปรับปรุงผลลัพธ์เมื่อเทียบกับการควบคุม AI ทั้งหมด

เมื่อบทบาทถูกแยกออก การประเมินและการเลือกสามารถมอบหมายให้ AI ได้โดยไม่สูญเสียคุณภาพมากนัก แต่การแทนที่คำแนะนำระดับสูงของมนุษย์ด้วยคำแนะนำของ AI นำไปสู่การลดลงของประสิทธิภาพอย่างเห็นได้ชัด ซึ่งบ่งชี้ว่าสิ่งที่สำคัญที่สุดไม่ใช่ว่าใคร สร้างโค้ด แต่ว่าใคร กำหนดและรักษาทิศทาง ตลอดการวนซ้ำ

ผู้เขียนสรุปว่า:

การเขียนโค้ดที่นำโดยมนุษย์ปรับปรุงอย่างต่อเนื่องในแต่ละรอบ ในขณะที่การเขียนโค้ดที่นำโดย AI มักจะล่มสลายแม้จะมีการเข้าถึงข้อมูลและความสามารถในการดำเนินการเหมือนกัน

สิ่งนี้ชี้ให้เห็นถึงความยากลำบากที่สำคัญของระบบ AI ในการรักษาทิศทางระดับสูงอย่างต่อเนื่องตลอดการโต้ตอบซ้ำซึ่งจำเป็นสำหรับการเขียนโค้ด Vibe ที่ประสบความสำเร็จ

เอกสารวิจัยใหม่ ชื่อ เหตุใดการมีส่วนร่วมของมนุษย์จึงมีความสำคัญในการเขียนโค้ด Vibe ร่วมกัน มาจากนักวิจัยเจ็ดคนจาก Cornell University, Princeton University, Massachusetts Institute of Technology และ New York University

วิธีการ

ในการทดลอง ผู้สอนคนหนึ่งจะมองภาพอ้างอิงที่สร้างโดย GPT-5 ร่วมกับภาพ SVG ล่าสุดที่พยายามสร้างขึ้น จากนั้นเขียนคำแนะนำภาษาธรรมชาติเพื่อนำเครื่องสร้างโค้ดไปสู่การสร้างภาพที่ใกล้เคียงกันมากขึ้น

ดังนั้น เครื่องสร้างโค้ดจะสร้างภาพ SVG ใหม่ในแต่ละรอบ โดยให้การวนซ้ำสำหรับการทดสอบผลกระทบของการให้คำแนะนำที่สะสมขึ้นตามเวลา

โครงสร้างของกระบวนการเขียนโค้ด Vibe ที่ใช้ในการศึกษา ใน A) ผู้สอนคนหนึ่งมองภาพอ้างอิงร่วมกับภาพ SVG ที่ดีที่สุดจนถึงขณะนั้นและเขียนคำแนะนำภาษาธรรมชาติสำหรับเครื่องสร้างโค้ดเพื่อใช้ในการสร้างภาพ SVG ต่อไป ใน B) ผู้เลือกคนหนึ่งจะ比较ภาพ SVG ใหม่พร้อมกับภาพก่อนหน้าและเลือกภาพที่ดีกว่าเพื่อนำไปสู่รอบถัดไปของคำแนะนำ

ผู้เลือกคนหนึ่งจะ比较ภาพ SVG ใหม่พร้อมกับภาพก่อนหน้าและเลือกภาพที่ดีกว่าเพื่อนำไปสู่รอบถัดไปของคำแนะนำ ในโครงสร้างพื้นฐานนี้ ผู้สอนคนเดียวกันจะทำทั้งสองบทบาท

เพื่อวัด คุณภาพ ผู้ประเมินอิสระจะให้คะแนนความคล้ายคลึงกันระหว่างภาพ SVG ที่สร้างขึ้นกับภาพอ้างอิงที่ได้รับมา

ทั้งการทดลองดำเนินไปบน PsyNet ซึ่งเป็นโครงสร้างพื้นฐานที่ออกแบบมาเพื่อรองรับการโต้ตอบที่มีโครงสร้างระหว่างมนุษย์และระบบ AI

ผลลัพธ์

การทดลองทั้ง 30 รอบดำเนินไป โดยแต่ละรอบประกอบด้วยการแก้ไข 15 ครั้งของภาพอ้างอิงหลัก 10 รูป

ภายในแต่ละรอบ ผู้เข้าร่วมคนเดียวกันจะเลือกระหว่างภาพ SVG ปัจจุบันและก่อนหน้า จากนั้นเขียนคำแนะนำสำหรับรอบถัดไป

ตัวอย่างที่เป็นตัวแทนของการเขียนโค้ด Vibe หลายรอบแสดงให้เห็นว่ากระบวนการจะเบี่ยงเบนไปตามเวลา เมื่อมนุษย์ทำหน้าที่เป็นทั้งผู้เลือกและผู้สอน ผลลัพธ์จะปรับปรุงอย่างต่อเนื่องในแต่ละรอบ

ตัวอย่างการปรับปรุงของภาพอ้างอิงหนึ่งภาพภายใต้การเขียนโค้ด Vibe ที่นำโดยมนุษย์ (ด้านบน) และ AI (ด้านล่าง) โดยแสดงให้เห็นถึงการปรับปรุงที่ต่อเนื่องในแต่ละรอบเมื่อมนุษย์ทำหน้าที่ทั้งสองบทบาท และการหยุดชะงักหรือการเปลี่ยนแปลงเมื่อ AI ทำทั้งสองบทบาท

ในทางกลับกัน ในการเขียนโค้ดที่นำโดย AI รอบแรกอาจจับ特徵การมองเห็นสำคัญๆ ได้ แต่ความพยายามในรอบต่อมาไม่สามารถสร้างผลลัพธ์ที่ดีขึ้นและในบางกรณีจะเบี่ยงเบนไปจากเป้าหมาย

ผลลัพธ์สุดท้ายของรอบสุดท้าย โดยเปรียบเทียบระหว่างการเขียนโค้ดที่นำโดยมนุษย์ (แถวบน) และ AI (แถวล่าง) โดยใช้ภาพอ้างอิงเดียวกัน ผลลัพธ์ที่นำโดยมนุษย์จะใกล้เคียงกับภาพสัตว์เดิมมากกว่า ในขณะที่ผลลัพธ์ที่นำโดย AI จะแสดงการบิดเบือนหรือสูญเสียคุณลักษณะสำคัญ

เพื่อวัดแนวโน้มที่เกิดขึ้นอย่างมีปริมาณ ผลลัพธ์สุดท้ายจะถูกนำไปให้ผู้ประเมินอิสระและให้คะแนนความคล้ายคลึงกันกับภาพอ้างอิง

คะแนนความคล้ายคลึงกันโดยเฉลี่ยในแต่ละรอบสำหรับการเขียนโค้ด Vibe ที่นำโดยมนุษย์และ AI โดยแสดงให้เห็นถึงการปรับปรุงที่ต่อเนื่องเมื่อมนุษย์ทำหน้าที่ทั้งสองบทบาท และการลดลงเมื่อ AI ทำทั้งสองบทบาท

เพื่อให้แน่ใจว่าแนวโน้มที่เกิดขึ้นไม่ได้มาจากผลกระทบของการทำงานร่วมกันของมนุษย์หลายคน นักวิจัยได้เรียกผู้เข้าร่วมเพิ่มเติม 10 คนเพื่อทำงานคนเดียว โดยแต่ละคนทำหน้าที่เป็นทั้งผู้เลือกและผู้สอนใน 3 รอบ – และผลลัพธ์ปรับปรุงขึ้นในลักษณะเดียวกัน

ภาพรวมใหญ่

อย่างไรก็ตาม หาก GPT-5 ตัดสินผลลัพธ์เอง จะยอมรับหรือไม่ว่าผลลัพธ์ของมนุษย์ดีกว่า? คะแนนของมนุษย์และ AI โดยทั่วไปจะเคลื่อนไปในทิศทางเดียวกัน ดังนั้นโมเดลจึงสามารถแยกผลลัพธ์ที่ดีและไม่ดีออกจากกัน แต่คะแนนของ AI จะให้คะแนนผลลัพธ์ที่สร้างโดย AI สูงกว่าที่มนุษย์ให้คะแนน

โดยเฉพาะอย่างยิ่ง เราถามว่าเอเจนต์ AI จะตระหนักหรือไม่ว่าผลลัพธ์ของตนเองนั้นไม่ดีเท่ากับผลลัพธ์ที่มนุษย์สร้างขึ้น หรือไม่เช่นนั้นจะแสดงความชอบสำหรับการสร้างของตนเอง ซึ่งจะบ่งบอกถึงปัญหาการจัดตำแหน่งที่อาจเกิดขึ้น

เมื่อเกิดเหตุการณ์นี้จริงๆ มีปัญหาเรื่องการจัดตำแหน่ง:

ผู้ประเมิน AI ให้คะแนนผลลัพธ์ที่สร้างโดย AI สูงกว่า ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าความแตกต่างในประสิทธิภาพที่สังเกตได้อาจมาจาก ความไม่สอดคล้องกันของการแสดงผล ระหว่างมนุษย์และ AI

เมื่อตรวจสอบว่ามนุษย์และ AI อธิบายคำแนะนำของตนอย่างไร ความแตกต่างจะชัดเจนในการทดสอบ

การเปรียบเทียบวิธีที่มนุษย์และ AI ให้คำแนะนำระหว่างการเขียนโค้ด ‘A’ แสดงให้เห็นว่ามนุษย์เขียนคำแนะนำที่สั้นและตรงประเด็น ในขณะที่ AI เขียนคำอธิบายที่ยาวและรายละเอียด ‘B’ แสดงให้เห็นว่าคำแนะนำของมนุษย์จะรวมกัน ในขณะที่คำแนะนำของ AI จะแยกออกไปตามสัตว์ ‘C’ แสดงให้เห็นว่าการจำกัดความยาวคำแนะนำของ AI ไม่ได้แก้ไขผลลัพธ์ที่ไม่ดีตามเวลา และ ‘D’ แสดงให้เห็นว่ามนุษย์ให้คำแนะนำที่หลากหลายและสมดุลมากกว่า AI แม้จะถูกจำกัดความยาวคำแนะนำ

คำแนะนำของมนุษย์มักจะสั้นและตรงประเด็น โดยให้คำแนะนำที่ชัดเจนซึ่งสามารถนำไปใช้ได้ทั่วไป ในทางกลับกัน คำแนะนำของ AI จะยาวและรายละเอียด โดยมักจะอธิบายคุณลักษณะการมองเห็น เช่น สี สีเงา เนื้อผ้า หรือรายละเอียดทางกายวิภาค ซึ่งอาจมีประโยชน์ในบริบทอื่น แต่ไม่ได้ให้คำแนะนำที่มีประโยชน์สำหรับโมเดลในการสร้างภาพ

เพื่อดูว่าการลดความยาวคำแนะนำของ AI จะช่วยปรับปรุงผลลัพธ์หรือไม่ GPT-5 ถูกจำกัดไว้ที่ 10, 20 หรือ 30 คำต่อคำแนะนำ แต่คำแนะนำที่ถูกบีบอัดเหล่านี้ก็ไม่แสดงให้เห็นถึงการปรับปรุงใดๆ

การร่วมมือ

ในการทดสอบสิ่งที่เกิดขึ้นเมื่อมนุษย์และ AI แบ่งปัน การควบคุม การเขียนโค้ดถูกดำเนินไปด้วยการผสมผสานระหว่างการมีส่วนร่วมของมนุษย์และ AI ตั้งแต่ ส่วนใหญ่ของมนุษย์ ไปจนถึง ส่วนใหญ่ของ AI

การผสมผสานทุกอย่างที่มีการมีส่วนร่วมของมนุษย์จะทำงานได้ดีกว่าการควบคุม AI ทั้งหมด

การเขียนโค้ดแบบไฮบริดที่มีการผสมผสานระหว่างการมีส่วนร่วมของมนุษย์และ AI (A) แสดงให้เห็นว่ามนุษย์และ AI สลับกันเป็นผู้สอนและผู้เลือกในแต่ละขั้นตอนของการเขียนโค้ด (B) แสดงให้เห็นว่าการมีส่วนร่วมของมนุษย์มากขึ้นจะนำไปสู่ผลลัพธ์ที่ดีกว่า ในขณะที่การมีส่วนร่วมของ AI มากขึ้นจะลดคะแนนลง และ (C) แสดงให้เห็นว่าคุณภาพของผลลัพธ์สุดท้ายลดลงเมื่อการมีส่วนร่วมของมนุษย์ลดลง ซึ่งบ่งชี้ว่าการมีทิศทางที่สม่ำเสมอจากมนุษย์จะนำไปสู่ผลลัพธ์ที่ดีกว่า

เมื่อ AI รับบทบาทมากขึ้น ประสิทธิภาพจะลดลง โดยมีผลลัพธ์ที่ดีที่สุดเมื่อมนุษย์นำส่วนใหญ่ของรอบ และผลลัพธ์ที่อ่อนแอที่สุดเมื่อ AI นำส่วนใหญ่ของรอบ ไม่มีการตั้งค่าแบบผสมที่สามารถปรับปรุงได้อย่างต่อเนื่องในแต่ละรอบ ซึ่งบ่งชี้ว่าการมีทิศทางจากมนุษย์ทำงานได้ดีที่สุดเมื่อมันคงเส้นคงวาและสม่ำเสมอ

การพลิกบทบาท

การศึกษานี้ยังสำรวจว่ามันสำคัญหรือไม่ว่า ใครทำอะไร ในงานเหล่านี้ และทดสอบสิ่งนี้

งานที่ได้รับการแก้ไขประกอบด้วยสองงาน: ผู้เข้าร่วมคนหนึ่งจะบอกว่าจะเปลี่ยนภาพอย่างไร และอีกคนหนึ่งจะเลือกเวอร์ชันที่ดีกว่า

การทดสอบการแบ่งบทบาทในการเขียนโค้ด Vibe: (A) การลบบทบาทของผู้เลือกนำไปสู่ประสิทธิภาพที่แย่ลง แม้กระทั่งเมื่อมนุษย์มอบคำแนะนำ; (B) การแทนที่ผู้เลือกของมนุษย์ด้วย AI ลดคุณภาพเล็กน้อย แต่ไม่มากเท่ากับการข้ามขั้นตอนการเลือกทั้งหมด

เมื่อ AI ควบคุม การข้ามขั้นตอนการเลือกไม่ได้สำคัญ เนื่องจากผลลัพธ์ของ AI จะคงเส้นคงวาไม่ว่าจะในกรณีใดๆ แต่เมื่อมนุษย์มอบคำแนะนำและ AI เลือกผลลัพธ์ คุณภาพจะใกล้เคียงกับการตั้งค่าที่นำโดยมนุษย์ทั้งหมด

สิ่งที่ตรงกันข้ามไม่ได้ผล: การให้ AI มอบคำแนะนำในขณะที่มนุษย์เลือกผลลัพธ์นำไปสู่ผลลัพธ์ที่ อ่อนแอ มากขึ้น ซึ่งบ่งชี้ว่าการให้คำแนะนำเชิงสร้างสรรค์ของมนุษย์ยังคงจำเป็น ในขณะที่งานในการเลือกตัวเลือกสามารถมอบหมายให้ AI ได้โดยไม่สูญเสียคุณภาพมากนัก

เอกสารสรุปว่า:

การสร้างแนวคิดและการให้คำแนะนำระดับสูงเป็นส่วนร่วมที่สำคัญของมนุษย์ ในขณะที่การประเมินและการเลือกสามารถมอบหมายให้ AI ได้โดยไม่สูญเสียคุณภาพ

สิ่งนี้ชี้ให้เห็นหลักการออกแบบที่เป็นไปได้สำหรับระบบไฮบริด: มนุษย์ควรกำหนดทิศทาง ในขณะที่ AI สามารถสนับสนุนการประเมินและการดำเนินการ

สรุป

ยังคงต้องดูว่าการปรับปรุงและ/หรือการเพิ่มขึ้นของหน้าต่างบริบทจะส่งผลต่อประสิทธิภาพของ LLM ในงานประเภทนี้อย่างไร

วันที่ ‘ความจำของ LLM’ หายไปอาจเป็นเหตุการณ์ที่น่าเฉลิมฉลองและกังวลในเวลาเดียวกัน เนื่องจากปัญหาที่ AI พยายามแก้ไข คือ มนุษย์ อย่างแท้จริง

อย่างไรก็ตาม งานของผู้เขียนชี้ให้เห็นว่ามีความไม่เห็นด้วยที่สำคัญและ ในตัว ระหว่าง AI และมนุษย์เกี่ยวกับคุณภาพ ซึ่งอาจถูกกำหนดโดยผู้บริโภคในอนาคตว่าเป็นแนวคิดที่ไม่สามารถแทนที่ได้ด้วย AI

* การแปลงอ้างอิงภายในของฉันให้เป็นลิงก์

เผยแพร่ครั้งแรกวันศุกร์ที่ 13 กุมภาพันธ์ 2026