‘Prosta’ sztuczna inteligencja może przewidywać decyzje menedżerów banków w sprawie kredytów z dokładnością powyżej 95%

Nowy projekt badawczy wykazał, że decyzje dyskrecjonalne podejmowane przez ludzkich menedżerów banków można odtworzyć za pomocą systemów machine learning z dokładnością ponad 95%.

Korzystając z tych samych danych dostępnych dla menedżerów banków w zestawie danych uprzywilejowanych, najlepszy algorytm w teście był implementacją Random Forest – dość prostym podejściem, które ma dwadzieścia lat, ale które wciąż przewyższało sieć neuronową w próbie naśladowania zachowania ludzkich menedżerów banków formułujących ostateczne decyzje dotyczące kredytów.

Algorytm Random Forest, jeden z czterech, który został poddany testom w ramach projektu, osiąga wysoki wynik porównywalny z wynikiem menedżerów banków, pomimo względnej prostoty algorytmu. Źródło: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

Badacze, którzy mieli dostęp do zestawu danych własnościowych 37 449 ocen kredytowych w odniesieniu do 4 414 unikalnych klientów w “dużym banku komercyjnym”, sugerują na różnych etapach wstępnego artykułu, że automatyczna analiza danych, które menedżerowie otrzymują do podjęcia decyzji, stała się już tak dokładna, że menedżerowie bankowi rzadko odbiegają od niej, co potencjalnie wskazuje, że rola menedżerów bankowych w procesie zatwierdzania kredytów głównie polega na zatrudnieniu kogoś, kto może być zwolniony w przypadku niespłacenia kredytu.

W artykule napisano:

‘Z praktycznego punktu widzenia warto zauważyć, że nasze wyniki mogą wskazywać, że bank mógłby przetwarzać kredyty szybciej i taniej bez udziału ludzkich menedżerów kredytowych, z bardzo porównywalnymi wynikami. Chociaż menedżerowie wykonują naturalnie różne zadania, trudno argumentować, że są niezbędni do tego konkretnego zadania, a dość prosta algorytm może działać równie dobrze.

‘Ważne jest również zauważenie, że z dodatkowymi danymi i mocą obliczeniową te algorytmy mogą być dalej ulepszane.’

Artykuł artykuł nosi tytuł Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings? i pochodzi z Wydziału Ekonomii i Wydziału Statystyki na UoC Irvine oraz Banku Komunikacji BBM w Brazylii.

Behawioralne zachowania ludzkie w ocenach kredytowych

Wyniki nie oznaczają, że systemy machine learning są koniecznie lepsze w podejmowaniu decyzji dotyczących kredytów i ocen kredytowych, ale raczej, że nawet algorytmy uważane obecnie za dość “niskopoziomowe” są w stanie wyciągać te same wnioski co ludzie z tych samych danych.

Raport implikuje, że menedżerowie bankowi są rodzajem “ogniowej ściany” ludzkiej, której podstawową funkcją jest podnoszenie wyników ryzyka, które system statystyczny i analityczny przedstawia im (praktyka znana w bankowości jako “notching”).

‘Z czasem wydaje się, że menedżerowie stosują mniej uznaniowości, co może wskazywać na poprawę wydajności lub zaufanie do środków algorytmicznych, takich jak karta wynikowa.’

Badacze zauważyli również:

‘Wyniki w tym artykule pokazują, że to konkretnie zadanie wykonywane przez wysoko wykwalifikowanych menedżerów bankowych może być łatwo odtworzone przez dość proste algorytmy. Wyniki tych algorytmów można poprawić, dostosowując je do uwzględnienia różnic między branżami i można je łatwo rozszerzyć, aby uwzględnić dodatkowe cele, takie jak uwzględnienie sprawiedliwości w praktykach kredytowych lub promowanie innych celów społecznych.’

Różnica: ocena ryzyka karty wynikowej (automatyczna) jest statystycznie zwiększona (“notowana”) przez menedżerów bankowych, których decyzje zostały zbadane w pracy – jawną procedurą.

Ponieważ dane wskazują, że menedżerowie bankowi robią to w sposób prawie algorytmiczny i przewidywalny, ich dostosowania nie są tak trudne do odtworzenia. Proces po prostu “zastanawia się” nad oryginalnymi danymi karty wynikowej i dostosowuje ocenę ryzyka w górę w przewidywalnych granicach.

Metoda i dane

Stwierdzone zamierzenie projektu było przewidywać, jakie decyzje menedżerowie bankowi podejmą, na podstawie systemu oceniania i innych zmiennych dostępnych im, a nie rozwijać innowacyjnych alternatywnych systemów zaprojektowanych do zastąpienia obecnych ram procedur wnioskowania o kredyt.

Metody machine learning testowane w ramach projektu były Multinomial Logistic LASSO (MNL-LASSO), sieci neuronowe oraz dwie implementacje Classification and Regression Trees (CART): Random Forest i Gradient Boosting.

Projekt uwzględniał zarówno dane karty wynikowej dla rzeczywistego zadania oceny kredytowej, jak i jego wynik, znany w danych. Ocena karty wynikowej jest jedną z najstarszych praktyk algorytmicznych, gdzie kluczowe zmienne dla proponowanego kredytu są obliczane w macierzy ryzyka, często za pomocą tak prostych środków, jak regresja logistyczna.

Wyniki

MNL-LASSO wykonał najgorzej wśród przetestowanych algorytmów, poprawnie klasyfikując tylko 53% kredytów, w porównaniu z menedżerem w przypadkach ocenianych.

Trzy pozostałe metody (z CART obejmującym Random Forest i Gradient Boosting) wszystkie uzyskały co najmniej 90% pod względem dokładności i błędu średniego kwadratowego (RMSE).

Jednak implementacja Random Forest algorytmu CART uzyskała imponujące prawie 96%, a następnie Gradient Boosting.

Nawet z oceną karty wynikowej usuniętą z testów podczas badań ablacjonistycznych (dolna sekcja tabeli), algorytmy osiągają nadzwyczajne wyniki w odtwarzaniu rozeznania menedżerów bankowych dla oceny kredytowej.

Zaskakująco, badacze stwierdzili, że ich zaimplementowana sieć neuronowa uzyskała tylko 93%, z szerszą luką RMSE, produkując wartości ryzyka kilka stopni oddalonych od szacunków ludzkich.

Autorzy zauważają:

‘[Te] wyniki nie wskazują, że jeden sposób przewyższa inny, jeśli chodzi o zewnętrzny wskaźnik dokładności, taki jak obiektywna prawdopodobieństwo niespłacenia. Jest całkiem możliwe, że sieć neuronowa jest najlepsza dla tej klasyfikacji.

‘Tutaj celem jest tylko odtworzenie wyboru ludzkiego menedżera, a dla tego zadania Random Forest wydaje się przewyższać wszystkie inne metody w badanych wskaźnikach.’

5% systemu, którego nie można było odtworzyć, jest uwzględnione, według badaczy, przez heterogeniczność branż objętych. Autorzy zauważają, że 5% menedżerów stanowi prawie wszystkie te rozbieżności i uważają, że bardziej zaawansowane systemy mogą ostatecznie objąć takie przypadki użycia i zamknąć brak.

Trudno zautomatyzować odpowiedzialność

Jeśli zostanie potwierdzone w następnych powiązanych projektach, badanie sugeruje, że rola “menedżera bankowego” może być dodana do rosnącej grupy kiedyś potężnych stanowisk władzy i rozeznania, które są redukowane do statusu “nadzorcy”, podczas gdy dokładność porównywalnych systemów maszynowych jest testowana w długim okresie; i podważa powszechnie przyjęte stanowisko, że pewne krytyczne zadania nie mogą być zautomatyzowane.

Jednak dobra wiadomość dla menedżerów bankowych wydaje się być taka, że z punktu widzenia politycznego, potrzeba ludzkiej odpowiedzialności w krytycznych procesach społecznych, takich jak ocena kredytowa, jest prawdopodobnie zachowana w ich obecnych rolach – nawet jeśli działania tych ról mogą stać się całkowicie odtworzone przez systemy machine learning.

Pierwotnie opublikowane 18 lutego 2022.