มุมมองของ Anderson

AI แบบง่ายสามารถคาดการณ์การตัดสินใจให้สินเชื่อของผู้จัดการธนาคารได้แม่นยำกว่า 95%

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญป่าสุ่มจำลองการตัดสินใจสินเชื่อของผู้จัดการธนาคารได้อย่างแม่นยำเกือบ 96%
ดูเพิ่มเติม
  • ป่าสุ่มจำลองการตัดสินใจสินเชื่อของผู้จัดการธนาคารได้อย่างแม่นยำเกือบ 96%
  • ผู้จัดการแทบจะไม่เบี่ยงเบนไปจากคะแนนอัตโนมัติ ซึ่งบ่งชี้ว่าบทบาทของพวกเขากำลังซ้ำซ้อนมากขึ้น
  • โครงข่ายประสาทเทียมมีประสิทธิภาพต่ำกว่าอัลกอริทึมที่เรียบง่ายกว่าในการเลียนแบบพฤติกรรมการจัดอันดับเครดิตของมนุษย์

โครงการวิจัยใหม่พบว่าการตัดสินใจโดยใช้ดุลยพินิจของผู้จัดการธนาคารสามารถถูกจำลองโดยระบบการเรียนรู้ของเครื่องจักรได้ถึงความแม่นยำมากกว่า 95%

โดยใช้ข้อมูลเดียวกับที่ผู้จัดการธนาคารมีในฐานข้อมูลที่มีสิทธิพิเศษ อัลกอริทึมที่มีประสิทธิภาพสูงสุดในการทดสอบคือการนำไปใช้ Random Forest – วิธีการที่ค่อนข้างง่ายซึ่งมีอายุ 20 ปีแล้ว แต่ยังคงสามารถเอาชนะเครือข่ายประสาทเทียมในการพยายามเลียนแบบพฤติกรรมของผู้จัดการธนาคารในการตัดสินใจสุดท้ายเกี่ยวกับการให้กู้ยืม

อัลกอริทึม Random Forest ซึ่งเป็นหนึ่งในสี่ที่ผ่านการทดสอบสำหรับโครงการนี้ สามารถทำคะแนนได้สูงเทียบเท่ากับผลการดำเนินงานของผู้จัดการธนาคาร แม้ว่าอัลกอริทึมจะค่อนข้างง่ายก็ตาม

อัลกอริทึม Random Forest ซึ่งเป็นหนึ่งในสี่ที่ผ่านการทดสอบสำหรับโครงการนี้ สามารถทำคะแนนได้สูงเทียบเท่ากับผลการดำเนินงานของผู้จัดการธนาคาร แม้ว่าอัลกอริทึมจะค่อนข้างง่ายก็ตาม ที่มา: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

นักวิจัยซึ่งมีการเข้าถึงฐานข้อมูลที่มีสิทธิพิเศษของการให้คะแนนกู้ยืม 37,449 ครั้งจากลูกค้า 4,414 รายที่ ‘ธนาคารพาณิชย์ขนาดใหญ่’ แนะนำในหลายจุดที่รายงานว่า การวิเคราะห์ข้อมูลอัตโนมัติที่ผู้จัดการธนาคารได้รับเพื่อการตัดสินใจของตนเองมีความแม่นยำมากจนผู้จัดการธนาคารแทบจะไม่ขัดแย้งกับมัน ซึ่งอาจบ่งบอกได้ว่าบทบาทของผู้จัดการธนาคารในการอนุมัติกู้ยืมส่วนใหญ่คือการรักษาบุคคลที่จะถูกไล่ออกในกรณีที่ผู้กู้ผิดนัดชำระหนี้

รายงานระบุว่า:

‘จากมุมมองทางปฏิบัติ มีประโยชน์ที่จะทราบว่าผลลัพธ์ของเราอาจบ่งบอกได้ว่าธนาคารสามารถประมวลผลกู้ยืมได้เร็วขึ้นและถูกกว่าหากไม่มีเจ้าหน้าที่จัดการกู้ยืม โดยมีผลลัพธ์ที่คล้ายคลึงกัน ในขณะที่ผู้จัดการธนาคารมีหน้าที่หลากหลาย แต่ก็ยากที่จะแย้งว่าพวกเขาเป็นเรื่องจำเป็นสำหรับงานนี้ และอัลกอริทึมที่ค่อนข้างง่ายสามารถทำงานได้ดีเท่ากัน ‘

‘นอกจากนี้ ยังสำคัญที่จะทราบว่าด้วยข้อมูลและพลังการประมวลผลเพิ่มเติม อัลกอริทึมเหล่านี้สามารถปรับปรุงได้อีก ‘

รายงาน รายงาน มีชื่อเรื่องว่า Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? และมาจาก Department of Economics และ Department of Statistics ที่ UoC Irvine และ Bank of Communications BBM ในบราซิล

พฤติกรรมของมนุษย์แบบโรบอทในการประเมินเครดิต

ผลลัพธ์ไม่ได้บ่งบอกว่าระบบการเรียนรู้ของเครื่องจักรมีความสามารถในการตัดสินใจเกี่ยวกับการให้กู้ยืมและเครดิตที่ดีกว่า แต่แสดงว่าแม้อัลกอริทึมที่ถือว่า ‘ต่ำ’ ก็สามารถสรุปได้เหมือนกับมนุษย์จากข้อมูลเดียวกัน

รายงานอธิบายผู้จัดการธนาคารโดยนัยว่าเป็น ‘ไฟร์วอลล์แบบเนื้อ’ ซึ่งมีหน้าที่หลักคือการเพิ่มคะแนนความเสี่ยงที่ระบบการให้คะแนนและการวิเคราะห์นำเสนอให้พวกเขา (การปฏิบัติที่เรียกว่า ‘การปรับ’ ในการธนาคาร)

‘เมื่อเวลาผ่านไป ดูเหมือนว่าผู้จัดการธนาคารจะใช้ดุลยพินิจน้อยลง ซึ่งอาจบ่งบอกถึงประสิทธิภาพที่ดีขึ้นหรือการพึ่งพาอัลกอริทึม เช่น ระบบการให้คะแนน’

นักวิจัยยังระบุว่า:

‘ผลลัพธ์ในรายงานนี้แสดงให้เห็นว่าภารกิจเฉพาะที่ดำเนินการโดยผู้จัดการธนาคารที่มีทักษะสูงอาจถูกจำลองได้ง่ายโดยอัลกอริทึมที่ค่อนข้างง่าย ผลการทำงานของอัลกอริทึมเหล่านี้สามารถปรับปรุงได้โดยการปรับให้เหมาะสมเพื่อคำนึงถึงความแตกต่างระหว่างอุตสาหกรรม และสามารถขยายได้เพื่อรวมเป้าหมายเพิ่มเติม เช่น การพิจารณาความยุติธรรมในการให้กู้ยืมหรือส่งเสริมเป้าหมายทางสังคมอื่น ๆ ‘

สังเกตเห็นความแตกต่าง: การประเมินความเสี่ยงของการให้คะแนนอัตโนมัติ (scorecard) ถูก 'ปรับ' ขึ้นโดยผู้จัดการธนาคาร ซึ่งการตัดสินใจของพวกเขาถูกศึกษาในงาน – ขั้นตอนที่สามารถจำลองได้

สังเกตเห็นความแตกต่าง: การประเมินความเสี่ยงของการให้คะแนนอัตโนมัติ (scorecard) ถูก ‘ปรับ’ ขึ้นโดยผู้จัดการธนาคาร ซึ่งการตัดสินใจของพวกเขาถูกศึกษาในงาน – ขั้นตอนที่สามารถจำลองได้

เนื่องจากข้อมูลแสดงว่าผู้จัดการธนาคารทำสิ่งนี้ในลักษณะที่คาดเดาได้และเป็นไปตามขั้นตอน การปรับเปลี่ยนของพวกเขาจึงไม่ยากที่จะจำลอง ขั้นตอนนี้ประเมินข้อมูลการให้คะแนนเดิมและปรับเปลี่ยนการให้คะแนนความเสี่ยงขึ้นภายในขอบเขตที่คาดเดาได้

วิธีการและข้อมูล

จุดประสงค์ของโครงการคือการคาดการณ์ว่าผู้จัดการธนาคารจะตัดสินใจอย่างไร โดยอาศัยระบบการให้คะแนนและตัวแปรอื่น ๆ ที่มีให้พวกเขา ไม่ใช่การพัฒนาระบบทางเลือกที่จะมาแทนที่กระบวนการให้กู้ยืมที่มีอยู่

วิธีการเรียนรู้ของเครื่องจักรที่ถูกทดสอบสำหรับโครงการนี้คือ Multinomial Logistic LASSO (MNL-LASSO), เครือข่ายประสาทเทียม, และสองการนำไปใช้ของ Classification and Regression Trees (CART): Random Forest และ Gradient Boosting.

โครงการนี้พิจารณาทั้งข้อมูลการให้คะแนนและผลลัพธ์ของงานให้คะแนนเครดิตที่แท้จริง Scorecard rating เป็นหนึ่งในแนวทางปฏิบัติอัลกอริทึมที่เก่าแก่ที่สุด โดยที่ตัวแปรหลักสำหรับการให้กู้ยืมที่เสนอถูกคำนวณเป็นเมทริกซ์ความเสี่ยง โดยวิธีการที่ง่ายที่สุด เช่น การถดถอยลอจิสติก

ผลลัพธ์

MNL-LASSO ทำผลงานได้แย่ที่สุดในบรรดาอัลกอริทึมที่ถูกทดสอบ โดยสามารถจำแนกการให้กู้ยืมได้เพียง 53% เทียบกับผู้จัดการธนาคารในกรณีที่ประเมิน

อีกสามวิธี (โดย CART ครอบคลุม Random Forest และ Gradient Boosting) จำลองหมวดหมู่ที่ผู้จัดการเลือกได้ตรงกันมากกว่า 90% และประเมินความคลาดเคลื่อนแยกต่างหากด้วยรากของค่าคลาดเคลื่อนกำลังสองเฉลี่ย (RMSE)

อย่างไรก็ตาม การนำไปใช้ Random Forest ของ CART ทำได้เกือบ 96% ตามด้วย Gradient Boosting

แม้ว่าจะลบการให้คะแนน scorecard ออกจากการทดสอบระหว่างการศึกษา ablation (ส่วนล่างของตาราง) อัลกอริทึมก็ยังสามารถทำผลลัพธ์ที่พิเศษในการเลียนแบบการตัดสินใจของผู้จัดการธนาคารเกี่ยวกับการให้คะแนนเครดิต

แม้ว่าจะลบการให้คะแนน scorecard ออกจากการทดสอบระหว่างการศึกษา ablation (ส่วนล่างของตาราง) อัลกอริทึมก็ยังสามารถทำผลลัพธ์ที่พิเศษในการเลียนแบบการตัดสินใจของผู้จัดการธนาคารเกี่ยวกับการให้คะแนนเครดิต

นักวิจัยพบว่าเครือข่ายประสาทเทียมที่พวกเขานำไปใช้ทำได้เพียง 93% โดยมี RMSE ที่กว้างกว่า ทำให้เกิดค่าความเสี่ยงที่ห่างจากค่าประมาณการของมนุษย์หลายขั้น

ผู้เขียนสังเกตว่า:

‘ผลลัพธ์เหล่านี้ไม่แสดงว่าวิธีการหนึ่งดีกว่าวิธีการอื่นในแง่ของมาตรการความแม่นยำภายนอก เช่น ความน่าจะเป็นของการผิดนัดชำระหนี้ที่แท้จริง มันอาจเป็นไปได้ว่าเครือข่ายประสาทเทียมเป็นทางเลือกที่ดีที่สุดสำหรับงานจำแนกประเภทนี้

‘ที่นี่ วัตถุประสงค์เดียวคือเพียงเลียนแบบการตัดสินใจของผู้จัดการธนาคาร และสำหรับงานนี้ Random Forest ดูเหมือนจะทำได้ดีกว่าวิธีการอื่น ๆ ทั้งหมดที่ตรวจสอบ’

5% ที่ระบบไม่สามารถสร้างได้ถูกอธิบายโดยนักวิจัยว่าเป็นผลมาจากความหลากหลายของอุตสาหกรรมที่ครอบคลุม ผู้เขียนระบุว่า 5% ของผู้จัดการธนาคารเป็นสาเหตุของความแตกต่างเหล่านี้เกือบทั้งหมด และเชื่อว่าระบบที่ซับซ้อนกว่านี้สามารถครอบคลุมกรณีการใช้งานดังกล่าวและปิดช่องว่างได้

ความรับผิดชอบยากที่จะอัตโนมัติ

หากผลการวิจัยนี้ได้รับการยืนยันในโครงการที่เกี่ยวข้องต่อไป จะบ่งบอกว่า ‘บทบาทของผู้จัดการธนาคาร’ อาจถูกเพิ่มเข้าไปในกลุ่มตำแหน่งที่มีอำนาจและความสามารถในการตัดสินใจที่กำลังถูกลดลงสู่ ‘สถานะผู้ดูแล’ ในขณะที่ความแม่นยำของระบบเครื่องจักรที่เทียบเท่ากันถูกทดสอบในระยะยาว และบ่อนทำลาย ทัศนคติที่นิยม ที่ว่าภารกิจที่สำคัญบางอย่างไม่สามารถอัตโนมัติได้

อย่างไรก็ตาม ข่าวดีสำหรับผู้จัดการธนาคารคือจากมุมมองทางการเมือง ความจำเป็นในการมีผู้รับผิดชอบต่อกระบวนการทางสังคมที่สำคัญ เช่น การประเมินเครดิต มีแนวโน้มที่จะรักษาบทบาทปัจจุบันของพวกเขา – แม้ว่าการกระทำของบทบาทเหล่านั้นจะสามารถถูกจำลองได้โดยระบบการเรียนรู้ของเครื่องจักรก็ตาม

 

เผยแพร่ครั้งแรกเมื่อวันที่ 18 กุมภาพันธ์ 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai