Intel·ligència Artificial
La IA "simple" pot anticipar les decisions de préstecs dels administradors bancaris amb una precisió superior al 95%
Un nou projecte de recerca ha descobert que les decisions discrecionals preses pels gestors de bancs humans es poden replicar mitjançant sistemes d'aprenentatge automàtic amb una precisió de més del 95%.
Utilitzant les mateixes dades disponibles per als administradors del banc en un conjunt de dades privilegiat, l'algoritme de millor rendiment de la prova va ser un Bosc aleatori implementació: un enfocament bastant senzill vint anys d'edat, però que encara va superar una xarxa neuronal quan intentava imitar el comportament dels directius humans dels bancs que formulaven decisions finals sobre préstecs.
L'algoritme Random Forest, un dels quatre que s'han posat a prova per al projecte, aconsegueix una puntuació d'equivalència humana elevada en comparació amb el rendiment dels gestors del banc, malgrat la relativa simplicitat de l'algorisme. font: Gestors versus màquines: els algorismes repliquen la intuïció humana en les qualificacions creditícies?, https://arxiv.org/pdf/2202.04218.pdf
Els investigadors, que van tenir accés a un conjunt de dades propietària de 37,449 qualificacions de préstecs entre 4,414 clients únics en "un gran banc comercial", suggereixen en diversos moments del document preimpressió que l'anàlisi de dades automatitzada que reben els gestors per prendre la seva decisió s'ha convertit ara. tan precís que els administradors bancàries poques vegades s'allunyen d'ell, cosa que podria significar que la part dels administradors del banc en el procés d'aprovació de préstecs consisteix principalment a retenir algú per acomiadar-se en cas d'incompliment del préstec.
El document diu:
“Des d'una perspectiva pràctica, val la pena assenyalar que els nostres resultats poden indicar que el banc podria tramitar préstecs més ràpid i més barat en absència de gestors de préstecs humans amb resultats molt comparables. Tot i que els gestors realitzen naturalment una varietat de tasques, és difícil argumentar que són essencials per a aquesta tasca en particular i un algorisme relativament senzill pot funcionar igual de bé.
"També és important tenir en compte que amb dades addicionals i potència computacional, aquests algorismes també es poden millorar encara més".
El paper es titula Gestors versus màquines: els algorismes repliquen la intuïció humana en les qualificacions creditícies?, i prové del Departament d'Economia i del Departament d'Estadística de la UoC Irvine i del Bank of Communications BBM al Brasil.
Comportament humà robòtic en avaluacions de qualificació creditícia
Els resultats no signifiquen que els sistemes d'aprenentatge automàtic siguin necessàriament millors per prendre decisions sobre préstecs i qualificacions creditícies, sinó que fins i tot els algorismes que ara es consideren de "baix nivell" són capaços d'extreure les mateixes conclusions que els humans a partir de les mateixes dades.
L'informe caracteritza implícitament els directius dels bancs com una mena de "tallafocs de productes carnis" la funció principal del qual és augmentar les puntuacions de risc que els presenta el sistema de quadres de comandament estadístic i analític (una pràctica coneguda a la banca com a "notching").
"Amb el temps, sembla que els directius estan emprant menys discreció, cosa que podria indicar la millora del rendiment o la confiança en mitjans algorísmics com ara el quadre de comandament".
Els investigadors també van assenyalar:
"Els resultats d'aquest article mostren que aquesta tasca particular executada per directius de bancs altament qualificats es pot replicar fàcilment mitjançant algorismes relativament senzills. El rendiment d'aquests algorismes es podria millorar ajustant-se per tenir en compte les diferències entre les indústries i, per descomptat, es podria estendre fàcilment per incloure objectius addicionals, com ara incorporar consideracions d'equitat en les pràctiques de préstec o per promoure altres objectius socials".
Trobeu la diferència: l'avaluació del risc de les qualificacions del quadre de comandament (automàtiques) és estadísticament incrementada ('notched') pels directors del banc les decisions dels quals s'han estudiat en el treball, un procediment replicable.
Com que les dades suggereixen que els directius dels bancs ho fan d'una manera gairebé algorítmica i predictible, els seus ajustos no són tan difícils de replicar. El procés simplement "endevina" les dades originals del quadre de comandament i ajusta la qualificació de risc a l'alça dins de marges previsibles.
Mètode i dades
La intenció declarada del projecte era anticipar quines decisions prendrien els directius del banc, basant-se en el sistema de puntuació i altres variables disponibles, en lloc de desenvolupar sistemes alternatius innovadors dissenyats per substituir els marcs actuals de procediment de sol·licitud de préstec.
Els mètodes d'aprenentatge automàtic provats per al projecte van ser Multinomial Logistic LASSO (MNL-LASSO), xarxes neuronals, i dues implementacions de Arbres de classificació i regressió (CART): Random Forest i Augment del gradient.
El projecte va considerar tant les dades del quadre de comandament per a una tasca de qualificació creditícia real com el seu resultat, tal com es coneix a les dades. La qualificació del quadre de comandament és una de les pràctiques algorítmiques més antigues, on les variables clau per al préstec proposat es calculen en una matriu de riscos, sovint per mitjans tan senzills com regressió logística.
Resultats
MNL-LASSO va tenir un rendiment més baix entre els algorismes provats, classificant amb èxit només el 53% dels préstecs, en comparació amb el gestor de la vida real en els casos avaluats.
Els altres tres mètodes (amb CART que inclou Random Forest i Gradient Boosting) van obtenir almenys un 90% en termes de precisió i d'error quadrat mitjà arrel (RMSE).
No obstant això, la implementació de CART de Random Forest va obtenir un impressionant gairebé 96%, seguida de prop per Gradient Boosting.
Fins i tot amb la qualificació del quadre de comandament eliminat de les proves durant els estudis d'ablació (secció inferior de la taula), els algorismes aconsegueixen un rendiment extraordinari en replicar el discerniment dels directius de bancs humans per a la qualificació creditícia.
Sorprenentment, els investigadors van trobar que la seva xarxa neuronal implementada només va obtenir un 93%, amb una bretxa RMSE més àmplia, produint valors de risc a diversos punts de les estimacions produïdes per humans.
Els autors observen:
"[Aquests] resultats no indiquen que un mètode superi l'altre pel que fa a una mètrica externa de precisió, com ara la probabilitat objectiva d'impagament. És molt possible que la xarxa neuronal, per exemple, sigui la millor per a aquesta tasca de classificació.
"Aquí l'objectiu és només replicar l'elecció del gestor humà i, per a aquesta tasca, el bosc aleatori sembla superar tots els altres mètodes a través de les mètriques investigades".
El 5% que el sistema no ha pogut reproduir s'explica, segons els investigadors, per l'heterogeneïtat de les indústries cobertes. Els autors assenyalen que el 5% dels directius expliquen gairebé totes aquestes divergències i creuen que sistemes més elaborats podrien cobrir aquests casos d'ús i tancar el dèficit.
La responsabilitat és difícil d'automatitzar
Si es confirma en projectes relacionats posteriors, la investigació suggereix que el paper de "gerent del banc" es podria afegir a un quadre creixent de posicions d'autoritat i discerniment abans poderoses que s'estan reduint a l'estat de "vigilant", mentre que la precisió dels sistemes de màquines comparables. es prova a llarg termini; i soscava la posició habitual que determinades tasques crítiques no es poden automatitzar.
No obstant això, la bona notícia per als directius dels bancs sembla ser que, des d'un punt de vista polític, és probable que la necessitat de responsabilitat humana en processos socials crítics com l'avaluació de la qualificació creditícia preservi els seus rols actuals, fins i tot si les accions dels rols. hauria de ser completament reproducible pels sistemes d'aprenentatge automàtic.
Publicat per primera vegada l'18 de febrer de 2022.
