AI ยังไม่พร้อมสำหรับงานจริง: ทำไมโมเดลถึงล้มเหลวในงานที่ซับซ้อน

นักลงทุนในฟองอากาศ AI เรียกร้องให้มืออาชีพระดับขาวคอลล่อร์มอบปัญหาที่ยากที่สุดของพวกเขาให้กับโมเดลและสัญญาว่าพนักงานจะได้คืนบ่ายของพวกเขา หากพวกเขายอมแบ่งปันข้อมูลเพิ่มเติมเล็กน้อย การวิเคราะห์ที่ซับซ้อน การตัดสินใจเชิงวิจารณญาณ และกระบวนการทำงานที่ใช้หลายปีในการพัฒนา ถูกดูดซับโดยโมเดล ซึ่งอ้างว่าให้มนุษย์มีเวลาไปทำสิ่งที่ดีกว่า นี่คือเรื่องเล่าที่ครอบงำในองค์กรอเมริกาตอนนี้ และมันเป็นกับดัก 

ตำนานความสามารถ: ทำไมโมเดลถึงล้มเหลวในงานที่ซับซ้อน

การศึกษาใหม่การศึกษาจาก UC Berkeley ทดสอบเอเจนต์ AI ชั้นนำกับงานมืออาชีพในโลกจริงครอบคลุม 55 อุตสาหกรรม ตั้งแต่การดูแลสุขภาพจนถึงการเงินและกฎหมาย ผลการทำงานโดยรวมอยู่ต่ำกว่า 25 เปอร์เซ็นต์ จากนั้นนักวิจัยแยกงานที่ยากที่สุดในแต่ละสาขา – งานที่แยกความแตกต่างระหว่างผู้เชี่ยวชาญระดับอาวุโสกับระดับจูเนียร์ – และโมเดลทุกตัวล้มเหลว คะแนนไม่ได้แค่ต่ำ แต่เป็นศูนย์ 

คุณอาจคิดว่าผลลัพธ์เช่นนั้นควรจะเปลี่ยนเรื่องเล่าได้เองแล้ว แต่กลับไม่ได้ ในหลายอุตสาหกรรม นักลงทุน AI มีส่วนได้ส่วนเสียมากในการโน้มน้าวให้มืออาชีพเชื่อว่าโมเดล AI ปัจจุบันส่วนใหญ่ก้าวหน้าเกินความเป็นจริง แต่คำถามที่น่าสนใจที่สุดไม่ได้อยู่ที่ว่า AI สามารถทำส่วนที่ยากที่สุดของงานได้หรือไม่ในวันนี้ เพราะเราทั้งหลายที่ขาย AI รู้คำตอบแล้ว 

ดังนั้น คำถามต่อไปคืออะไร? สิทธิ์การตัดสินใจของมืออาชีพรุ่นใหม่จะเป็นอย่างไรเมื่อพวกเขายอมรับการแลกเปลี่ยนข้อมูลนี้ ก่อนที่เหตุผลของตนเองจะพัฒนาเต็มที่? 

ผลการศึกษาในมินนิโซตา: วิธีที่ AI ทำให้ทักษะแบนลงสู่ระดับกลาง

การศึกษาเชิงประจักษ์ใหม่การศึกษาจากคณะนิติศาสตร์มหาวิทยาลัยมินนิโซตาให้คำตอบที่แท้จริงโดยใช้กฎหมายเป็นกรณีทดสอบ นักวิจัยให้กลุ่มนักกฎหมายระดับสูงประมาณหนึ่งร้อยคนทำตามลำดับของงานที่เป็นจริง: สังเคราะห์กฎหมายจากแหล่งข้อมูลดิบ, ตอบคำถามแบบปิดหนังสือเพื่อทดสอบสิ่งที่พวกเขาเรียนรู้, นำกฎหมายนั้นไปใช้กับรูปแบบข้อเท็จจริง, แล้วแก้ไขงานของตนเอง หนึ่งกลุ่มมีการเข้าถึง AI เพียงขั้นตอนแรกและขั้นตอนสุดท้ายเท่านั้น อีกกลุ่มไม่มี AI จนกระทั่งจบ 

นักศึกษาที่ใช้ AI เพื่อสร้างร่างแรกของงานได้ผลงานที่แข็งแกร่งกว่าและทำได้เร็วกว่า ซึ่งไม่ได้แปลกใจมาก สิ่งที่น่าทึ่งคือสิ่งที่ตามมา นักวิจัยคาดว่าการใช้ AI ตั้งแต่แรกจะทำให้เกิดช่องว่างในการเข้าใจที่จะแสดงออกในภายหลังเมื่อเครื่องมือถูกถอดออก แต่สิ่งนั้นไม่เกิดขึ้น นักศึกษาที่ใช้ AI สังเคราะห์กฎหมายจริงๆ เข้าใจกฎหมายได้ดีกว่านักศึกษาที่ทำงานโดยไม่มี AI เมื่อทดสอบโดยไม่มีการช่วยเหลือ การคิดอย่างอิสระไม่ได้สลายหายไป มันคงอยู่และในบางกรณียังพัฒนายิ่งขึ้น 

การเปลี่ยนแปลงเกิดขึ้นในขั้นตอนสุดท้าย เมื่อทุกนักศึกษามี AI ให้ใช้ในการแก้ไขงานของตน นักศึกษาที่เริ่มต้นด้วยบันทึกที่อ่อนแอใช้การเข้าถึงนั้นเพื่อปรับปรุงอย่างแท้จริง นักศึกษาที่เริ่มต้นด้วยบันทึกที่แข็งแกร่งกลับได้ผลลัพธ์ที่แย่ลง หากปล่อยให้พวกเขาอยู่กับเครื่องมือที่มีประสิทธิภาพแต่ไม่มีโครงสร้างเพิ่มเติมเกี่ยวกับวิธีการใช้ ทักษะจึงไม่เพิ่มพูน แต่กลับแบนลงสู่ระดับกลาง 

การศึกษาทั้งสองนี้ร่วมกันให้ความจริงที่ชัดเจน: AI ไม่ได้เป็นการทดแทนการตัดสินใจเชิงวิชาชีพ และตัวเลขจาก Berkeley ควรจะทำให้การสนทนานี้จบลงอย่างถาวร แต่ AI ก็ไม่ได้เป็นแรงทำลายที่กัดกร่อนการคิดเมื่อสัมผัสกับมัน ผลของ AI ขึ้นอยู่กับว่ามันปรากฏในขั้นตอนใดของกระบวนการ 

การจัดลำดับเหนือการทดแทน: การรักษาการตัดสินใจเป็นแกนกลาง

แนวคิดนี้ใช้ได้นอกเหนือจากการปฏิบัติกฎหมาย ทุกอาชีพที่ใช้ความรู้กำลังทำการทดลองในรูปแบบของตนเองอยู่ในขณะนี้: แพทย์ที่กำลังตัดสินใจว่าจะให้โมเดลร่างการวินิจฉัยแยกต่างหากหรือไม่, นักวิเคราะห์ที่กำลังตัดสินใจว่าจะให้โมเดลสร้างร่างแรกของโมเดลหรือไม่, และผู้ช่วยที่กำลังตัดสินใจว่าจะให้โมเดลจัดโครงสร้างข้อโต้แย้งก่อนที่พวกเขาจะทำงานผ่านมันด้วยตนเอง ผลการศึกษาจากมินนิโซตาแสดงว่าคำตอบไม่ได้เป็นการตอบตกลงหรือปฏิเสธแบบทั่ว ๆ ไปต่อรูปแบบทั้งหมดของ AI มันเป็นคำถามของการจัดลำดับ AI ควรอยู่ในส่วนแรกของงานที่ต้องทำซ้ำ ๆ และส่วนของงานที่สร้างความตึงเครียด แต่ไม่ใช่การตัดสินใจ AI ไม่ควรอยู่ตรงกลางของงานที่ลูกค้าจ่ายเงินเพื่อให้ทำ และในขณะนี้ AI ยังไม่สามารถทำได้แม้จะพยายามก็ตาม 

บริษัทที่ยังคงสัญญาว่าอย่างอื่นกำลังขายเวอร์ชันของ AI ที่ข้อมูลบ่งบอกว่าไม่มีอยู่จริง ผู้ที่สร้างผลิตภัณฑ์และความสัมพันธ์กับลูกค้าตามแนวทางที่การวิจัยชี้แจงจริง ๆ จะเป็นผู้ที่มืออาชีพยังคงเชื่อถือในอีกห้าปีข้างหน้า ทุกคนอื่นจะต้องใช้เวลานั้นอธิบายความเข้าใจผิดที่มีค่าใช้จ่ายสูงมาก