‘Prosta’ Sztuczna Inteligencja Może Przewidywać Decyzje Menadżerów Bankowych w Sprawie Udzielenia Pożyczek z Dokładnością Powyżej 95%

Nowy projekt badawczy wykazał, że decyzje dyskrecjonalne podejmowane przez ludzkich menadżerów bankowych mogą być odtworzone przez systemy machine learning z dokładnością większą niż 95%.

Wykorzystując te same dane dostępne menadżerom bankowym w zestawie danych uprzywilejowanych, najlepszy algorytm w teście był implementacją Random Forest – dość prostym podejściem, które ma dwadzieścia lat, ale które wciąż przewyższało sieć neuronową w próbie naśladowania zachowania ludzkich menadżerów bankowych formułujących ostateczne decyzje o pożyczkach.

Algorytm Random Forest, jeden z czterech przebadanych w ramach projektu, osiąga wysoką punktację równoważną z ludzkimi menadżerami bankowymi, pomimo względnej prostoty algorytmu. Źródło: Menadżerowie versus Maszyny: Czy Algorytmy Odtwarzają Ludzką Intuicję w Ocena Kredytowa?, https://arxiv.org/pdf/2202.04218.pdf

Badacze, którzy mieli dostęp do zestawu danych własnościowych 37 449 ocen kredytowych wśród 4 414 unikalnych klientów w “dużym banku komercyjnym”, sugerują na różnych etapach wstępnego artykułu, że zautomatyzowana analiza danych, które menadżerowie otrzymują do podjęcia decyzji, stała się tak dokładna, że menadżerowie bankowi rzadko odbiegają od niej, co potencjalnie wskazuje, że rola menadżerów bankowych w procesie zatwierdzania pożyczek głównie polega na zatrudnieniu kogoś, kto może zostać zwolniony w przypadku niewykonania pożyczki.

W artykule stwierdza się:

‘Z praktycznego punktu widzenia warto zauważyć, że nasze wyniki mogą wskazywać, że bank mógłby przetwarzać pożyczki szybciej i taniej bez udziału ludzkich menadżerów pożyczek, z bardzo porównywalnymi wynikami. Chociaż menadżerowie wykonują szereg zadań, trudno argumentować, że są niezbędni do tego konkretnego zadania, a dość prosty algorytm może działać równie dobrze.

‘Ważne jest również zauważenie, że z dodatkowymi danymi i mocą obliczeniową te algorytmy mogą być dalej udoskonalane.’

Artykuł artykuł nosi tytuł Menadżerowie versus Maszyny: Czy Algorytmy Odtwarzają Ludzką Intuicję w Ocena Kredytowa?, pochodzi z Wydziału Ekonomii i Wydziału Statystyki na UoC Irvine i Banku Komunikacji BBM w Brazylii.

Zachowanie Ludzkie w Ocenie Kredytowej

Wyniki nie oznaczają, że systemy machine learning są koniecznie lepsze w podejmowaniu decyzji o pożyczkach i ocenach kredytowych, ale raczej, że nawet algorytmy uważane za dość “niskopoziomowe” są w stanie wyciągać te same wnioski co ludzie z tych samych danych.

Raport implicite charakteryzuje menadżerów bankowych jako rodzaj “ogniwa ludzkiego” których podstawową funkcją jest podnoszenie wyników ryzyka, które system analityczny i statystyczny przedstawia im (praktyka znana w bankowości jako “notching”).

‘Z biegiem czasu wydaje się, że menadżerowie stosują mniej uznaniowości, co może wskazywać na poprawę wydajności lub zaufanie do środków algorytmicznych, takich jak karta wyników.’

Badacze zauważyli również:

‘Wyniki w tym artykule pokazują, że to konkretnie zadanie wykonywane przez wysoko wykwalifikowanych menadżerów bankowych może być łatwo odtworzone przez dość proste algorytmy. Wydajność tych algorytmów mogłaby być poprawiona przez dostosowanie do różnic między branżami i mogłaby być łatwo rozszerzona o dodatkowe cele, takie jak uwzględnienie sprawiedliwości w praktykach kredytowych lub promowanie innych celów społecznych.’

Znajdź różnicę: ocena ryzyka wyników karty wyników (automatyczna) jest statystycznie zwiększona (‘notowana’) przez menadżerów bankowych, których decyzje zostały zbadane w pracy – procedura, która może być odtworzona.

Ponieważ dane wskazują, że menadżerowie bankowi robią to w sposób prawie algorytmiczny i przewidywalny, ich dostosowania nie są tak trudne do odtworzenia. Proces po prostu “zastępuje” oryginalne dane karty wyników i dostosowuje ocenę ryzyka w górę w przewidywalnych granicach.

Metoda i Dane

Ogłoszony cel projektu polegał na przewidywaniu decyzji, które menadżerowie bankowi podejmą, na podstawie systemu oceniania i innych zmiennych dostępnych im, a nie na opracowaniu innowacyjnych alternatywnych systemów zaprojektowanych w celu zastąpienia obecnych ram procedur wnioskowania o pożyczkę.

Metody machine learning przetestowane w ramach projektu to Multinomial Logistic LASSO (MNL-LASSO), sieci neuronowe oraz dwie implementacje Classification and Regression Trees (CART): Random Forest i Gradient Boosting.

Projekt uwzględnił zarówno dane karty wyników dla rzeczywistego zadania oceny kredytowej, jak i jego wynik, znany w danych. Ocena karty wyników jest jedną z najstarszych praktyk algorytmicznych, gdzie kluczowe zmienne dla proponowanej pożyczki są obliczane w macierzy ryzyka, często za pomocą środków tak prostych, jak regresja logistyczna.

Wyniki

MNL-LASSO osiągnął najgorsze wyniki wśród przetestowanych algorytmów, poprawnie klasyfikując tylko 53% pożyczek, w porównaniu z menadżerem w przypadkach ocenianych.

Pozostałe trzy metody (z CART obejmującym Random Forest i Gradient Boosting) wszystkie osiągnęły co najmniej 90% dokładności i błędu średniego kwadratowego (RMSE).

Jednakże, implementacja Random Forest w CART osiągnęła imponujące niemal 96%, a Gradient Boosting był bardzo blisko.

Nawet z usuniętą oceną karty wyników z testów w trakcie badań (dolna sekcja tabeli), algorytmy osiągają nadzwyczajną wydajność w odtwarzaniu ludzkiej oceny menadżerów bankowych dla oceny kredytowej.

Niespodziewanie, badacze stwierdzili, że ich zaimplementowana sieć neuronowa osiągnęła tylko 93%, z szerszą luką RMSE, produkując wartości ryzyka kilka punktów od ocen ludzkich.

Autorzy zauważają:

‘[Te] wyniki nie wskazują, że jeden sposób przewyższa inny, jeśli chodzi o zewnętrzny wskaźnik dokładności, taki jak obiektywna prawdopodobieństwo niewykonania. Możliwe, że sieć neuronowa jest najlepsza dla tej klasyfikacji.

‘Tutaj celem jest tylko odtworzenie wyboru ludzkiego menadżera, a dla tego zadania Random Forest wydaje się przewyższać wszystkie inne metody we wszystkich badanych wskaźnikach.’

5% których system nie mógł odtworzyć, jest uzasadnione, według badaczy, przez heterogeniczność branż objętych. Autorzy zauważają, że 5% menadżerów stanowi prawie wszystkie te rozbieżności i uważają, że bardziej zaawansowane systemy mogą ostatecznie objąć takie przypadki użycia i zamknąć lukę.

Odpowiedzialność Trudna do Zautomatyzowania

Jeśli wyniki badań zostaną potwierdzone w następnych powiązanych projektach, sugerują one, że rola “menadżera bankowego” może zostać dodana do rosnącej grupy kiedyś potężnych stanowisk władzy i oceny, które są redukowane do statusu “nadzorcy”, podczas gdy dokładność porównywalnych systemów maszynowych jest testowana w długim okresie; i podważa powszechnie przyjęte stanowisko, że pewne krytyczne zadania nie mogą być zautomatyzowane.

Jednakże, dobra wiadomość dla menadżerów bankowych wydaje się być taka, że z punktu widzenia politycznego, potrzeba ludzkiej odpowiedzialności w krytycznych procesach społecznych, takich jak ocena kredytowa, jest prawdopodobnie w stanie zachować ich obecne role – nawet jeśli działania tych ról mogą stać się całkowicie odtworzone przez systemy machine learning.

Pierwotnie opublikowane 18 lutego 2022 r.