ปัญญาประดิษฐ์
AI 'เรียบง่าย' สามารถคาดการณ์การตัดสินใจสินเชื่อของผู้จัดการธนาคารได้แม่นยำกว่า 95%
โครงการวิจัยใหม่พบว่าการตัดสินใจอย่างรอบคอบของผู้จัดการธนาคารที่เป็นมนุษย์สามารถจำลองแบบโดยระบบการเรียนรู้ของเครื่องให้มีความแม่นยำมากกว่า 95%
การใช้ข้อมูลเดียวกันกับผู้จัดการธนาคารในชุดข้อมูลที่มีสิทธิ์ อัลกอริทึมที่มีประสิทธิภาพดีที่สุดในการทดสอบคือ ป่าสุ่ม การนำไปใช้ – แนวทางที่ค่อนข้างง่ายนั่นคือ อายุยี่สิบปีแต่ยังคงมีประสิทธิภาพดีกว่าโครงข่ายประสาทเทียมเมื่อพยายามเลียนแบบพฤติกรรมของผู้จัดการธนาคารที่เป็นมนุษย์ในการตัดสินใจขั้นสุดท้ายเกี่ยวกับการกู้ยืม
อัลกอริธึม Random Forest ซึ่งเป็นหนึ่งในสี่ขั้นตอนสำหรับโครงการ ได้คะแนนสูงเทียบเท่ามนุษย์เทียบกับประสิทธิภาพของผู้จัดการธนาคาร แม้ว่าอัลกอริทึมจะค่อนข้างเรียบง่ายก็ตาม ที่มา: ผู้จัดการกับเครื่องจักร: อัลกอริทึมจำลองสัญชาตญาณของมนุษย์ในการให้คะแนนเครดิตหรือไม่?, https://arxiv.org/pdf/2202.04218.pdf
นักวิจัยซึ่งเข้าถึงชุดข้อมูลที่เป็นกรรมสิทธิ์ของการจัดอันดับสินเชื่อ 37,449 รายการจากลูกค้าที่ไม่ซ้ำกัน 4,414 รายที่ 'ธนาคารพาณิชย์ขนาดใหญ่' ได้เสนอแนะ ณ จุดต่าง ๆ ในเอกสารเตรียมพิมพ์ว่าการวิเคราะห์ข้อมูลอัตโนมัติที่ผู้จัดการได้รับมอบหมายให้ตัดสินใจได้กลายเป็น แม่นยำมากจนผู้จัดการธนาคารแทบจะไม่เบี่ยงเบนไปจากมัน ซึ่งอาจบ่งบอกว่าส่วนหนึ่งของผู้จัดการธนาคารในกระบวนการอนุมัติสินเชื่อส่วนใหญ่ประกอบด้วยการรักษาคนที่จะไล่ออกในกรณีที่เงินกู้ผิดนัด
กระดาษระบุ:
'จากมุมมองเชิงปฏิบัติ เป็นที่น่าสังเกตว่าผลลัพธ์ของเราอาจบ่งชี้ว่าธนาคารสามารถดำเนินการสินเชื่อได้รวดเร็วและถูกกว่าในกรณีที่ไม่มีผู้จัดการสินเชื่อที่เป็นมนุษย์ซึ่งมีผลลัพธ์ที่ใกล้เคียงกันมาก แม้ว่าผู้จัดการจะทำงานหลากหลายตามธรรมชาติ แต่ก็ยากที่จะโต้แย้งว่าพวกเขามีความจำเป็นสำหรับงานนี้โดยเฉพาะ และอัลกอริธึมที่ค่อนข้างง่ายก็สามารถทำงานได้เช่นกัน
'สิ่งสำคัญคือต้องทราบว่าด้วยข้อมูลเพิ่มเติมและพลังในการคำนวณ อัลกอริทึมเหล่านี้สามารถปรับปรุงเพิ่มเติมได้เช่นกัน'
พื้นที่ กระดาษ มีบรรดาศักดิ์ ผู้จัดการกับเครื่องจักร: อัลกอริทึมจำลองสัญชาตญาณของมนุษย์ในการให้คะแนนเครดิตหรือไม่?และมาจาก Department of Economics and Department of Statistics ที่ UoC Irvine และ Bank of Communications BBM ในบราซิล
พฤติกรรมมนุษย์หุ่นยนต์ในการประเมินอันดับเครดิต
ผลลัพธ์ไม่ได้บ่งชี้ว่าระบบแมชชีนเลิร์นนิงจำเป็นต้องดีกว่าในการตัดสินใจเกี่ยวกับสินเชื่อและอันดับเครดิต แต่แม้ว่าอัลกอริทึมที่ถือว่าค่อนข้าง 'ระดับต่ำ' ก็สามารถสรุปได้เช่นเดียวกับมนุษย์จากข้อมูลเดียวกัน
รายงานระบุลักษณะของผู้จัดการธนาคารโดยปริยายว่าเป็น 'ไฟร์วอลล์ของมีทแวร์' ซึ่งหน้าที่หลักที่เหลืออยู่คือการเพิ่มคะแนนความเสี่ยงที่ระบบดัชนีชี้วัดเชิงสถิติและการวิเคราะห์นำเสนอ (แนวทางปฏิบัติที่รู้จักกันในธนาคารว่า 'การบาก')
'เมื่อเวลาผ่านไป ดูเหมือนว่าผู้จัดการใช้ดุลยพินิจน้อยลง ซึ่งอาจบ่งชี้ถึงประสิทธิภาพที่ดีขึ้นหรือการพึ่งพาวิธีการแบบอัลกอริทึม เช่น ดัชนีชี้วัด'
นักวิจัยยังตั้งข้อสังเกต:
'ผลลัพธ์ในเอกสารนี้แสดงให้เห็นว่างานเฉพาะนี้ที่ดำเนินการโดยผู้จัดการธนาคารที่มีทักษะสูง ที่จริงแล้วอาจจำลองแบบได้ง่ายด้วยอัลกอริธึมที่ค่อนข้างง่าย ประสิทธิภาพของอัลกอริทึมเหล่านี้สามารถปรับปรุงได้โดยการปรับอย่างละเอียดเพื่อพิจารณาถึงความแตกต่างในอุตสาหกรรมต่างๆ และแน่นอนว่าสามารถขยายได้อย่างง่ายดายเพื่อรวมเป้าหมายเพิ่มเติม เช่น รวมการพิจารณาถึงความเป็นธรรมในการให้กู้ยืม หรือเพื่อส่งเสริมเป้าหมายทางสังคมอื่นๆ'
สังเกตความแตกต่าง: การประเมินความเสี่ยงของดัชนีชี้วัด (อัตโนมัติ) การให้คะแนนจะถูกเพิ่มพูนทางสถิติ ('รอยบาก') โดยผู้จัดการธนาคารซึ่งมีการศึกษาการตัดสินใจในการทำงาน ซึ่งเป็นขั้นตอนที่ทำซ้ำได้
เนื่องจากข้อมูลบ่งชี้ว่าผู้จัดการธนาคารดำเนินการในลักษณะที่เกือบจะเป็นอัลกอริทึมและคาดการณ์ได้ การปรับเปลี่ยนจึงไม่ใช่เรื่องยากที่จะทำซ้ำ กระบวนการนี้เพียงแค่ 'คาดเดาครั้งที่สอง' ข้อมูลตารางสรุปสถิติเดิม และปรับระดับความเสี่ยงให้สูงขึ้นภายในระยะขอบที่คาดเดาได้
วิธีการและข้อมูล
ความตั้งใจที่ระบุไว้ของโครงการคือการคาดการณ์ว่าผู้จัดการธนาคารจะตัดสินใจอย่างไร โดยอิงจากระบบการให้คะแนนและตัวแปรอื่นๆ ที่มีให้ แทนที่จะพัฒนาระบบทางเลือกที่เป็นนวัตกรรมใหม่ที่ออกแบบมาเพื่อแทนที่กรอบขั้นตอนการขอสินเชื่อในปัจจุบัน
วิธีการเรียนรู้ของเครื่องที่ทดสอบสำหรับโครงการคือ Multinomial Logistic LASSO (MNL-LASSO), เครือข่ายประสาทเทียมและสองการใช้งานของ ต้นไม้การจำแนกและการถดถอย (รถเข็น): ป่าสุ่มและ ไล่โทนสี.
โครงการพิจารณาทั้งข้อมูลดัชนีชี้วัดสำหรับงานจัดอันดับความน่าเชื่อถือในโลกแห่งความเป็นจริง และผลที่ได้รับตามที่ทราบในข้อมูล การจัดอันดับ Scorecard เป็นหนึ่งในวิธีปฏิบัติแบบอัลกอริทึมที่เก่าแก่ที่สุด ซึ่งตัวแปรสำคัญสำหรับเงินกู้ที่เสนอจะถูกคำนวณเป็นเมทริกซ์ความเสี่ยง ซึ่งมักจะใช้วิธีง่ายๆ เช่น การถดถอยโลจิสติก.
ผลสอบ
MNL-LASSO ทำงานได้แย่ที่สุดในบรรดาอัลกอริธึมที่ทดสอบ โดยจัดประเภทสินเชื่อสำเร็จเพียง 53% เมื่อเทียบกับผู้จัดการในชีวิตจริงในกรณีที่ประเมิน
อีกสามวิธีที่เหลือ (ด้วย CART รวมถึง Random Forest และ Gradient Boosting) ทั้งหมดได้คะแนนอย่างน้อย 90% ในแง่ของความแม่นยำและ Root Mean Square Error (RMSE).
อย่างไรก็ตาม การใช้ CART ของ Random Forest ได้คะแนนที่น่าประทับใจเกือบ 96% ตามมาด้วย Gradient Boosting
แม้จะนำคะแนนบัตรคะแนนออกจากการทดสอบในระหว่างการศึกษาการระเหย (ตารางด้านล่าง) อัลกอริทึมยังได้รับประสิทธิภาพที่ไม่ธรรมดาในการจำลองความฉลาดของผู้จัดการธนาคารสำหรับการจัดอันดับเครดิต
น่าแปลกใจที่นักวิจัยพบว่าโครงข่ายประสาทเทียมที่นำมาใช้ของพวกเขาได้คะแนนเพียง 93% โดยมีช่องว่าง RMSE ที่กว้างขึ้น ทำให้ค่าความเสี่ยงห่างจากค่าประมาณที่มนุษย์สร้างขึ้นหลายระดับ
ผู้เขียนสังเกต:
'ผลลัพธ์ [เหล่านี้] ไม่ได้บ่งชี้ว่าวิธีหนึ่งมีประสิทธิภาพดีกว่าอีกวิธีหนึ่ง ตราบเท่าที่มีการวัดความแม่นยำภายนอกที่เกี่ยวข้อง เช่น ความน่าจะเป็นเริ่มต้นของวัตถุประสงค์ เป็นไปได้ค่อนข้างมากที่ Neural Network เป็นตัวอย่างที่ดีที่สุดสำหรับงานจำแนกประเภทนั้น
'ที่นี่มีวัตถุประสงค์เพียงเพื่อทำซ้ำตัวเลือกของผู้จัดการฝ่ายบุคคล และสำหรับงานนี้ Random Forest ดูเหมือนจะมีประสิทธิภาพดีกว่าวิธีอื่น ๆ ทั้งหมดในเมตริกที่ตรวจสอบ'
นักวิจัยกล่าวว่า 5% ที่ระบบไม่สามารถทำซ้ำได้นั้นคิดเป็นสัดส่วนตามความหลากหลายของอุตสาหกรรมที่ครอบคลุม ผู้เขียนสังเกตว่า 5% ของผู้จัดการบัญชีสำหรับความแตกต่างเกือบทั้งหมดเหล่านี้ และเชื่อว่าระบบที่ซับซ้อนมากขึ้นสามารถครอบคลุมกรณีการใช้งานดังกล่าวได้ในที่สุดและปิดข้อบกพร่องได้
ความรับผิดชอบเป็นเรื่องยากที่จะทำให้เป็นอัตโนมัติ
หากนำไปใช้ในโครงการที่เกี่ยวข้องในภายหลัง การวิจัยชี้ให้เห็นว่า บทบาท 'ผู้จัดการธนาคาร' อาจถูกเพิ่มเข้าไปในตำแหน่งที่ครั้งหนึ่งเคยมีอำนาจและสติปัญญาที่มีอำนาจเพิ่มขึ้นเรื่อย ๆ ซึ่งถูกลดสถานะเป็น 'ผู้ควบคุมดูแล' ในขณะที่ความแม่นยำของระบบเครื่องจักรที่เทียบเคียงได้ ได้รับการทดสอบในระยะยาว และบ่อนทำลาย ตำแหน่งที่ดำรงตำแหน่งร่วมกัน ว่างานสำคัญบางอย่างไม่สามารถทำงานอัตโนมัติได้
อย่างไรก็ตาม ข่าวดีสำหรับผู้จัดการธนาคารดูเหมือนว่า จากมุมมองทางการเมือง ความต้องการความรับผิดชอบของมนุษย์ในกระบวนการทางสังคมที่สำคัญ เช่น การประเมินอันดับเครดิต มีแนวโน้มที่จะรักษาบทบาทปัจจุบันของพวกเขาไว้ แม้ว่าการกระทำของบทบาทดังกล่าว ควรทำซ้ำได้อย่างสมบูรณ์โดยระบบแมชชีนเลิร์นนิง
เผยแพร่ครั้งแรก 18 กุมภาพันธ์ 2022
