‘เอไอแบบง่าย’ สามารถคาดการณ์การตัดสินใจของเจ้าหน้าที่จัดการธนาคารเกี่ยวกับการให้กู้ยืมได้มากกว่า 95%

โครงการวิจัยใหม่พบว่าการตัดสินใจโดยใช้ความสามารถพิเศษของเจ้าหน้าที่จัดการธนาคารสามารถถูกจำลองโดยระบบการเรียนรู้ของเครื่องจักรได้ถึงความแม่นยำมากกว่า 95%

โดยใช้ข้อมูลเดียวกับที่เจ้าหน้าที่จัดการธนาคารมีในฐานข้อมูลที่มีสิทธิพิเศษ อัลกอริทึมที่มีประสิทธิภาพสูงสุดในการทดสอบคือการนำไปใช้ Random Forest – วิธีการที่ค่อนข้างง่ายซึ่งมีอายุแล้วถึง 20 ปี แต่ยังคงสามารถเอาชนะเครือข่ายประสาทเทียมในการพยายามเลียนแบบพฤติกรรมของเจ้าหน้าที่จัดการธนาคารในการตัดสินใจสุดท้ายเกี่ยวกับการให้กู้ยืม

อัลกอริทึม Random Forest ซึ่งเป็นหนึ่งในสี่ที่ผ่านการทดสอบสำหรับโครงการนี้ สามารถทำคะแนนได้สูงเทียบเท่ากับผลการดำเนินงานของเจ้าหน้าที่จัดการธนาคาร แม้ว่าอัลกอริทึมจะค่อนข้างง่ายก็ตาม Source: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

นักวิจัยซึ่งมีการเข้าถึงฐานข้อมูลที่มีสิทธิพิเศษของการให้คะแนนกู้ยืม 37,449 ครั้งจากลูกค้า 4,414 รายที่ ‘ธนาคารพาณิชย์ขนาดใหญ่’ แนะนำในหลายจุดที่รายงานว่า การวิเคราะห์ข้อมูลอัตโนมัติที่เจ้าหน้าที่จัดการธนาคารได้รับเพื่อการตัดสินใจของตนเองมีความแม่นยำมากจนเจ้าหน้าที่จัดการธนาคารแทบจะไม่ขัดแย้งกับมัน ซึ่งอาจบ่งบอกได้ว่าบทบาทของเจ้าหน้าที่จัดการธนาคารในการอนุมัติกู้ยืมส่วนใหญ่คือการรักษาบุคคลที่จะถูกไล่ออกในกรณีที่กู้ยืมไม่ผ่าน

รายงานระบุว่า:

‘จากมุมมองทางปฏิบัติ มีประโยชน์ที่จะทราบว่าผลลัพธ์ของเราอาจบ่งบอกได้ว่าธนาคารสามารถประมวลผลกู้ยืมได้เร็วขึ้นและถูกกว่าหากไม่มีเจ้าหน้าที่จัดการกู้ยืม โดยมีผลลัพธ์ที่คล้ายคลึงกัน ในขณะที่เจ้าหน้าที่จัดการธนาคารมีหน้าที่หลากหลาย แต่ก็ยากที่จะแย้งว่าพวกเขาเป็นเรื่องจำเป็นสำหรับงานนี้ และอัลกอริทึมที่ค่อนข้างง่ายสามารถทำงานได้ดีเท่ากัน ‘

‘นอกจากนี้ ยังสำคัญที่จะทราบว่าด้วยข้อมูลและพลังการประมวลผลเพิ่มเติม อัลกอริทึมเหล่านี้สามารถปรับปรุงได้อีก ‘

รายงาน รายงาน มีชื่อเรื่องว่า Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? และมาจาก Department of Economics และ Department of Statistics ที่ UoC Irvine และ Bank of Communications BBM ในบราซิล

พฤติกรรมของมนุษย์แบบโรบอทในการประเมินเครดิต

ผลลัพธ์ไม่ได้บ่งบอกว่าระบบการเรียนรู้ของเครื่องจักรมีความสามารถในการตัดสินใจเกี่ยวกับการให้กู้ยืมและเครดิตที่ดีกว่า แต่แสดงว่าแม้อัลกอริทึมที่ถือว่า ‘ต่ำ’ ก็สามารถสรุปได้เหมือนกับมนุษย์จากข้อมูลเดียวกัน

รายงานอธิบายเจ้าหน้าที่จัดการธนาคารโดยนัยว่าเป็น ‘ไฟร์วอลล์แบบเนื้อ’ ซึ่งมีหน้าที่หลักคือการเพิ่มคะแนนความเสี่ยงที่ระบบการให้คะแนนและการวิเคราะห์นำเสนอให้พวกเขา (การปฏิบัติที่เรียกว่า ‘การปรับ’ ในการธนาคาร)

‘เมื่อเวลาผ่านไป ดูเหมือนว่าเจ้าหน้าที่จัดการธนาคารจะใช้ความสามารถพิเศษน้อยลง ซึ่งอาจบ่งบอกถึงประสิทธิภาพที่ดีขึ้นหรือการพึ่งพาอัลกอริทึม เช่น ระบบการให้คะแนน’

นักวิจัยยังระบุว่า:

‘ผลลัพธ์ในรายงานนี้แสดงให้เห็นว่าภารกิจเฉพาะที่ดำเนินการโดยเจ้าหน้าที่จัดการธนาคารที่มีทักษะสูงอาจถูกจำลองได้ง่ายโดยอัลกอริทึมที่ค่อนข้างง่าย ผลการทำงานของอัลกอริทึมเหล่านี้สามารถปรับปรุงได้โดยการปรับให้เหมาะสมเพื่อคำนึงถึงความแตกต่างระหว่างอุตสาหกรรม และสามารถขยายได้เพื่อรวมเป้าหมายเพิ่มเติม เช่น การพิจารณาความยุติธรรมในการให้กู้ยืมหรือส่งเสริมเป้าหมายทางสังคมอื่น ๆ ‘

สังเกตเห็นความแตกต่าง: การประเมินความเสี่ยงของการให้คะแนนอัตโนมัติ (scorecard) ถูก ‘ปรับ’ ขึ้นโดยเจ้าหน้าที่จัดการธนาคาร ซึ่งการตัดสินใจของพวกเขาถูกศึกษาในงาน – ขั้นตอนที่สามารถจำลองได้

เนื่องจากข้อมูลแสดงว่าเจ้าหน้าที่จัดการธนาคารทำสิ่งนี้ในลักษณะที่คาดเดาได้และเป็นไปตามขั้นตอน การปรับเปลี่ยนของพวกเขาจึงไม่ยากที่จะจำลองขั้นตอนนี้เพียง ‘สังเกต’ ข้อมูลการให้คะแนนเดิมและปรับเปลี่ยนการให้คะแนนความเสี่ยงขึ้นภายในขอบเขตที่คาดเดาได้

วิธีการและข้อมูล

จุดประสงค์ของโครงการคือการคาดการณ์ว่าเจ้าหน้าที่จัดการธนาคารจะตัดสินใจอย่างไร โดยอาศัยระบบการให้คะแนนและตัวแปรอื่น ๆ ที่มีให้พวกเขา ไม่ใช่การพัฒนาระบบทางเลือกที่จะมาแทนที่กระบวนการให้กู้ยืมที่มีอยู่

วิธีการเรียนรู้ของเครื่องจักรที่ถูกทดสอบสำหรับโครงการนี้คือ Multinomial Logistic LASSO (MNL-LASSO), เครือข่ายประสาทเทียม, และสองการนำไปใช้ของ Classification and Regression Trees (CART): Random Forest และ Gradient Boosting.

โครงการนี้พิจารณา cảข้อมูลการให้คะแนนและผลลัพธ์ของงานให้คะแนนเครดิตที่แท้จริง Scorecard rating เป็นหนึ่งในแนวทางปฏิบัติอัลกอริทึมที่เก่าแก่ที่สุด โดยที่ตัวแปรหลักสำหรับการให้กู้ยืมที่เสนอถูกคำนวณเป็นเมทริกซ์ความเสี่ยง โดยวิธีการที่ง่ายที่สุด เช่น การถดถอยลอจิสติก

ผลลัพธ์

MNL-LASSO ทำได้ไม่ดีที่สุดในบรรดาอัลกอริทึมที่ถูกทดสอบ โดยสามารถจำแนกการให้กู้ยืมได้เพียง 53% เทียบกับเจ้าหน้าที่จัดการธนาคารในกรณีที่ประเมิน

วิธีการอื่น ๆ (โดย CART รวม Random Forest และ Gradient Boosting) ทั้งหมดทำได้ดีกว่า 90% ในด้านความแม่นยำและ Root Mean Square Error (RMSE).

อย่างไรก็ตาม การนำไปใช้ Random Forest ของ CART ทำได้ดีถึง 96% ตามด้วย Gradient Boosting

แม้ว่าจะลบการให้คะแนน scorecard ออกจากการทดสอบระหว่างการศึกษา ablation (ส่วนล่างของตาราง) อัลกอริทึมก็ยังสามารถทำผลลัพธ์ที่พิเศษในการเลียนแบบการตัดสินใจของเจ้าหน้าที่จัดการธนาคารเกี่ยวกับการให้คะแนนเครดิต

นักวิจัยพบว่าเครือข่ายประสาทเทียมที่พวกเขานำไปใช้ทำได้เพียง 93% โดยมี RMSE ที่กว้างกว่า ทำให้เกิดค่าความเสี่ยงที่ห่างจากค่าประมาณการของมนุษย์หลายขั้น

ผู้เขียนสังเกตว่า:

‘ผลลัพธ์เหล่านี้ไม่แสดงว่าวิธีการหนึ่งดีกว่าวิธีการอื่นในแง่ของมาตรการความแม่นยำภายนอก เช่น ความน่าจะเป็นของการผิดนัดชำระหนี้ที่แท้จริง มันอาจเป็นไปได้ว่าเครือข่ายประสาทเทียมเป็นทางเลือกที่ดีที่สุดสำหรับงานจำแนกประเภทนี้

‘ที่นี่ วัตถุประสงค์เดียวคือเพียงเลียนแบบการตัดสินใจของเจ้าหน้าที่จัดการธนาคาร และสำหรับงานนี้ Random Forest ดูเหมือนจะทำได้ดีกว่าวิธีการอื่น ๆ ทั้งหมดที่ตรวจสอบ’

5% ที่ระบบไม่สามารถสร้างได้ถูกอธิบายโดยนักวิจัยว่าเป็นผลมาจากความหลากหลายของอุตสาหกรรมที่ครอบคลุม ผู้เขียนระบุว่า 5% ของเจ้าหน้าที่จัดการธนาคารมีผลต่อการเปลี่ยนแปลงเหล่านี้ และเชื่อว่าระบบที่ซับซ้อนกว่านี้สามารถครอบคลุมกรณีการใช้งานดังกล่าวและปิดช่องว่างได้

ความรับผิดชอบยากที่จะอัตโนมัติ

หากผลการวิจัยนี้ได้รับการยืนยันในโครงการที่เกี่ยวข้องต่อไป จะบ่งบอกว่า ‘บทบาทของเจ้าหน้าที่จัดการธนาคาร’ อาจถูกเพิ่มเข้าไปในกลุ่มตำแหน่งที่มีอำนาจและความสามารถในการตัดสินใจที่กำลังถูกลดลงสู่ ‘สถานะผู้ดูแล’ ในขณะที่ความแม่นยำของระบบเครื่องจักรที่เทียบเท่ากันถูกทดสอบในระยะยาว และบ่อนทำลาย ทัศนคติที่นิยม ที่ว่าภารกิจที่สำคัญบางอย่างไม่สามารถอัตโนมัติได้

อย่างไรก็ตาม ข่าวดีสำหรับเจ้าหน้าที่จัดการธนาคารคือจากมุมมองทางการเมือง ความจำเป็นในการมีผู้รับผิดชอบต่อกระบวนการทางสังคมที่สำคัญ เช่น การประเมินเครดิต มีแนวโน้มที่จะรักษาบทบาทปัจจุบันของพวกเขา – แม้ว่าการกระทำของบทบาทเหล่านั้นจะสามารถถูกจำลองได้โดยระบบการเรียนรู้ของเครื่องจักรก็ตาม

เผยแพร่ครั้งแรกเมื่อวันที่ 18 กุมภาพันธ์ 2022