‘Trợ lý ảo’ đơn giản có thể dự đoán quyết định cho vay của các nhà quản lý ngân hàng với độ chính xác hơn 95%

Dự án nghiên cứu mới đã phát hiện ra rằng các quyết định tùy ý của các nhà quản lý ngân hàng có thể được sao chép bởi các hệ thống học máy với độ chính xác hơn 95%.

Sử dụng cùng dữ liệu có sẵn cho các nhà quản lý ngân hàng trong một tập dữ liệu đặc quyền, thuật toán hoạt động tốt nhất trong thử nghiệm là một triển khai Random Forest – một phương pháp khá đơn giản, đã được 20 năm, nhưng vẫn outperforms một mạng nơ-ron khi cố gắng bắt chước hành vi của các nhà quản lý ngân hàng khi đưa ra quyết định cuối cùng về các khoản vay.

Thuật toán Random Forest, một trong bốn được thử nghiệm cho dự án, đạt điểm số cao tương đương con người so với hiệu suất của các nhà quản lý ngân hàng, mặc dù sự đơn giản của thuật toán. Source: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Các nhà nghiên cứu, những người đã truy cập vào một tập dữ liệu độc quyền của 37.449 xếp hạng khoản vay trên 4.414 khách hàng độc nhất tại ‘một ngân hàng thương mại lớn’, gợi ý tại các điểm khác nhau trong bài báo tiền in rằng phân tích dữ liệu tự động mà các nhà quản lý được cung cấp để đưa ra quyết định của họ đã trở nên chính xác đến mức các nhà quản lý ngân hàng hiếm khi deviate từ nó, có thể chỉ ra rằng vai trò của các nhà quản lý ngân hàng trong quá trình phê duyệt khoản vay chủ yếu bao gồm việc giữ lại ai đó để sa thải trong trường hợp khoản vay bị vỡ nợ.

Bài báo cho biết:

‘Từ góc độ thực tế, đáng chú ý rằng kết quả của chúng tôi có thể cho thấy rằng ngân hàng có thể xử lý các khoản vay nhanh hơn và rẻ hơn trong sự vắng mặt của các nhà quản lý khoản vay con người với kết quả tương đương. Trong khi các nhà quản lý tự nhiên thực hiện nhiều nhiệm vụ, khó có thể lập luận rằng họ là cần thiết cho nhiệm vụ cụ thể này và một thuật toán khá đơn giản có thể hoạt động cũng tốt.

‘Đồng thời, cũng quan trọng để lưu ý rằng với dữ liệu và sức mạnh tính toán bổ sung, các thuật toán này có thể được cải tiến hơn nữa.’

Bài báo này có tiêu đề Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, và đến từ Bộ phận Kinh tế và Bộ phận Thống kê tại UoC Irvine và Ngân hàng Truyền thông BBM ở Brazil.

Hành vi con người trong đánh giá tín dụng

Kết quả không cho thấy rằng các hệ thống học máy tốt hơn con người trong việc đưa ra quyết định về các khoản vay và xếp hạng tín dụng, mà là ngay cả các thuật toán được coi là ‘thấp cấp’ cũng có khả năng đưa ra cùng kết luận như con người từ cùng dữ liệu.

Báo cáo ngụ ý rằng các nhà quản lý ngân hàng được đặc trưng như một loại ‘tường lửa thịt’ mà chức năng còn lại là tăng điểm số rủi ro mà hệ thống thẻ điểm thống kê và phân tích trình bày cho họ (một thực tiễn được biết đến trong lĩnh vực ngân hàng là ‘notching’).

‘Theo thời gian, dường như các nhà quản lý đang sử dụng ít quyền tự do hơn, điều này có thể cho thấy hiệu suất hoặc sự phụ thuộc vào các phương tiện thuật toán như thẻ điểm.’

Các nhà nghiên cứu cũng lưu ý:

‘Kết quả trong bài báo này cho thấy rằng nhiệm vụ cụ thể này được thực hiện bởi các nhà quản lý ngân hàng có kỹ năng cao có thể dễ dàng được sao chép bởi các thuật toán khá đơn giản. Hiệu suất của các thuật toán này có thể được cải tiến bằng cách tinh chỉnh để tính đến sự khác biệt giữa các ngành và có thể dễ dàng mở rộng để bao gồm các mục tiêu bổ sung như tích hợp các yếu tố công bằng trong các hoạt động cho vay hoặc để thúc đẩy các mục tiêu xã hội khác.’

Khám phá sự khác biệt: đánh giá rủi ro của xếp hạng thẻ điểm (tự động) được tăng lên (‘notched’) bởi các nhà quản lý ngân hàng, những người đã đưa ra quyết định được nghiên cứu trong công việc – một quy trình có thể sao chép.

Vì dữ liệu cho thấy các nhà quản lý ngân hàng làm điều này một cách gần như thuật toán và có thể dự đoán, các điều chỉnh của họ không quá khó để sao chép. Quy trình chỉ ‘đo lường lại’ dữ liệu thẻ điểm ban đầu và điều chỉnh xếp hạng rủi ro lên trong các khoảng dự đoán.

Phương pháp và Dữ liệu

Mục đích của dự án là dự đoán những quyết định mà các nhà quản lý ngân hàng sẽ đưa ra, dựa trên hệ thống xếp hạng và các biến khác có sẵn cho họ, chứ không phải để phát triển các hệ thống thay thế sáng tạo được thiết kế để thay thế các khuôn khổ thủ tục申请 khoản vay hiện tại.

Các phương pháp học máy được thử nghiệm cho dự án bao gồm Multinomial Logistic LASSO (MNL-LASSO), mạng nơ-ron và hai triển khai của Classification and Regression Trees (CART): Random Forest và Gradient Boosting.

Dự án xem xét cả dữ liệu thẻ điểm cho một nhiệm vụ xếp hạng tín dụng thực tế và kết quả của nó, như được biết trong dữ liệu. Xếp hạng thẻ điểm là một trong những phương pháp thuật toán lâu đời nhất, nơi các biến chính cho khoản vay được đề xuất được tính toán vào một ma trận rủi ro, thường bằng các phương tiện đơn giản như hồi quy logistic.

Kết quả

MNL-LASSO hoạt động kém nhất trong số các thuật toán được thử nghiệm, chỉ phân loại thành công 53% các khoản vay, so với nhà quản lý thực tế trong các trường hợp được đánh giá.

Các phương pháp khác (với CART bao gồm Random Forest và Gradient Boosting) đều đạt ít nhất 90% về độ chính xác và Root Mean Square Error (RMSE).

Tuy nhiên, triển khai Random Forest của CART đạt được gần 96%, tiếp theo là Gradient Boosting.

Ngay cả khi xếp hạng thẻ điểm được loại bỏ khỏi các thử nghiệm trong các nghiên cứu ablation (phần dưới của bảng), các thuật toán đạt được hiệu suất phi thường trong việc sao chép sự phân biệt của các nhà quản lý ngân hàng con người về xếp hạng tín dụng.

Điều đáng ngạc nhiên là các nhà nghiên cứu đã phát hiện ra rằng mạng nơ-ron được triển khai của họ chỉ đạt 93%, với khoảng cách RMSE rộng hơn, tạo ra các giá trị rủi ro cách xa các ước tính do con người tạo ra.

Các tác giả quan sát:

‘[Những] kết quả này không cho thấy rằng một phương pháp vượt trội so với phương pháp khác về mặt một số chỉ số bên ngoài về độ chính xác như xác suất vỡ nợ mục tiêu. Có thể rằng Mạng nơ-ron, ví dụ, là tốt nhất cho nhiệm vụ phân loại này.

‘Tại đây, mục tiêu chỉ là sao chép lựa chọn của nhà quản lý con người và đối với nhiệm vụ này, Random Forest dường như outperforms tất cả các phương pháp khác trên các chỉ số được điều tra.’

5% mà hệ thống không thể tái tạo được, theo các nhà nghiên cứu, là do sự dị biệt của các ngành được bao phủ. Các tác giả lưu ý rằng 5% của các nhà quản lý chiếm gần tất cả những sai lệch này và tin rằng các hệ thống tinh vi hơn cuối cùng có thể bao gồm các trường hợp sử dụng như vậy và đóng khoảng cách.

Trách nhiệm khó tự động hóa

Nếu được chứng minh trong các dự án liên quan tiếp theo, nghiên cứu cho thấy rằng vai trò ‘nhà quản lý ngân hàng’ có thể được thêm vào một nhóm ngày càng tăng các vị trí quyền lực và phân biệt đang bị giảm xuống thành ‘trạng thái giám sát’ trong khi độ chính xác của các hệ thống máy tương đương đang được thử nghiệm trong thời gian dài; và làm suy yếu quan điểm phổ biến rằng một số nhiệm vụ quan trọng không thể được tự động hóa.

Tuy nhiên, tin tốt cho các nhà quản lý ngân hàng dường như là, từ góc độ chính trị, nhu cầu về trách nhiệm con người trong các quá trình xã hội quan trọng như đánh giá xếp hạng tín dụng có thể sẽ bảo tồn vai trò hiện tại của họ – ngay cả khi hành động của các vai trò có thể trở nên hoàn toàn có thể tái tạo bởi các hệ thống học máy.

Được xuất bản lần đầu vào ngày 18 tháng 2 năm 2022.