'간단한' AI는 은행 관리자의 대출 결정을 95% 이상의 정확도로 예측할 수 있습니다.

새로운 연구 프로젝트에서는 인간 은행 관리자가 내린 재량 결정이 기계 학습 시스템에 의해 95% 이상의 정확도로 복제될 수 있음을 발견했습니다.

권한 있는 데이터 세트에서 은행 관리자가 사용할 수 있는 동일한 데이터를 사용하여 테스트에서 가장 성능이 좋은 알고리즘은 랜덤 포레스트 구현 – 매우 간단한 접근 방식으로 이십 세, 그러나 대출에 대한 최종 결정을 공식화하는 인간 은행 관리자의 행동을 모방하려고 시도할 때 여전히 신경망을 능가했습니다.

Random Forest 알고리즘은 알고리즘의 상대적 단순성에도 불구하고 프로젝트에 투입된 XNUMX가지 알고리즘 중 하나로서 은행 관리자의 성과 대비 높은 인간 동등 점수를 달성했습니다. 출처: 관리자 대 기계: 알고리즘이 신용 등급에서 인간의 직관을 복제합니까?, https://arxiv.org/pdf/2202.04218.pdf

'대형 상업 은행'에서 37,449명의 개별 고객에 대한 4,414개의 대출 등급에 대한 독점 데이터 세트에 액세스할 수 있었던 연구원들은 사전 인쇄 논문의 여러 지점에서 관리자가 결정을 내리기 위해 제공되는 자동화된 데이터 분석이 이제는 너무 정확해서 은행 관리자는 거의 벗어나지 않습니다. 이는 대출 승인 프로세스에서 은행 관리자의 역할이 주로 대출 불이행 시 해고할 사람을 유지하는 것으로 구성된다는 것을 잠재적으로 의미합니다.

논문은 다음과 같이 말합니다.

'실용적인 관점에서 볼 때 우리의 결과는 매우 유사한 결과를 가진 인간 대출 관리자가 없을 때 은행이 대출을 더 빠르고 저렴하게 처리할 수 있음을 나타낼 수 있다는 점에 주목할 가치가 있습니다. 관리자는 자연스럽게 다양한 작업을 수행하지만 관리자가 이 특정 작업에 필수적이며 상대적으로 간단한 알고리즘도 마찬가지로 수행할 수 있다고 주장하기는 어렵습니다.

'추가 데이터와 계산 능력으로 이러한 알고리즘을 더욱 개선할 수 있다는 점에 주목하는 것도 중요합니다.'

XNUMXD덴탈의 종이 제목이 관리자 대 기계: 알고리즘이 신용 등급에서 인간의 직관을 복제합니까?, 브라질의 UoC Irvine 및 Bank of Communications BBM의 경제부 및 통계부 출신입니다.

신용 평가 평가에서 로봇 인간 행동

그 결과는 기계 학습 시스템이 대출 및 신용 등급에 대한 결정을 내리는 데 반드시 더 낫다는 것을 의미하는 것이 아니라 현재 상당히 '낮은 수준'으로 간주되는 알고리즘조차도 동일한 데이터에서 인간과 동일한 결론을 도출할 수 있음을 의미합니다.

이 보고서는 은행 관리자를 통계 및 분석 스코어카드 시스템이 제공하는 위험 점수를 높이는 것이 핵심 남은 기능인 일종의 '고기 방화벽'으로 암묵적으로 특징지었습니다(은행에서 '노칭'으로 알려진 관행).

'시간이 지남에 따라 관리자는 스코어카드와 같은 알고리즘 수단의 개선된 성과 또는 의존도를 나타낼 수 있는 재량권을 덜 사용하는 것으로 보입니다.'

연구원들은 또한 다음과 같이 언급했습니다.

'이 문서의 결과는 고도로 숙련된 은행 관리자가 실행하는 이 특정 작업이 비교적 간단한 알고리즘으로 쉽게 복제될 수 있음을 보여줍니다. 이러한 알고리즘의 성능은 산업 전반의 차이를 설명하기 위해 미세 조정을 통해 개선될 수 있으며 물론 대출 관행의 공정성에 대한 고려 사항을 통합하거나 다른 사회적 목표를 촉진하는 것과 같은 추가 목표를 포함하도록 쉽게 확장될 수 있습니다.'

차이점 발견: 스코어카드(자동) 등급의 위험 평가는 작업에서 결정을 연구한 은행 관리자에 의해 통계적으로 증가('노치')됩니다. 복제 가능한 절차입니다.

데이터에 따르면 은행 관리자는 거의 알고리즘적이고 예측 가능한 방식으로 이 작업을 수행하므로 조정이 복제하기 어렵지 않습니다. 프로세스는 단순히 원래 스코어카드 데이터를 '두 번째 추측'하고 예측 가능한 마진 내에서 위험 등급을 상향 조정합니다.

방법 및 데이터

프로젝트의 명시된 의도는 현재의 대출 신청 절차 프레임워크를 대체하도록 설계된 혁신적인 대체 시스템을 개발하기보다는 은행 관리자가 사용할 수 있는 점수 시스템 및 기타 변수를 기반으로 어떤 결정을 내릴지 예상하는 것이었습니다.

프로젝트에서 테스트한 기계 학습 방법은 Multinomial Logistic LASSO(MNL-올가미), 신경망, 그리고 두 가지 구현 분류 및 회귀 트리 (카트): 랜덤 포레스트 및 그라디언트 부스팅.

이 프로젝트는 실제 신용 평가 작업에 대한 스코어카드 데이터와 데이터에 알려진 결과를 모두 고려했습니다. 스코어카드 등급은 제안된 대출의 주요 변수가 종종 다음과 같은 간단한 방법으로 위험 매트릭스로 계산되는 가장 오래된 알고리즘 관행 중 하나입니다. 로지스틱 회귀.

결과

MNL-LASSO는 평가된 사례에서 실제 관리자와 비교하여 대출의 53%만 성공적으로 분류하여 테스트된 알고리즘 중에서 가장 저조한 성능을 보였습니다.

다른 세 가지 방법(Random Forest 및 Gradient Boosting을 포함하는 CART 포함)은 모두 정확도 및 평균 제곱근 오차(Root Mean Square Error) 측면에서 90% 이상의 점수를 받았습니다.RMSE).

그러나 Random Forest의 CART 구현은 거의 96%에 가까운 인상적인 점수를 얻었고 Gradient Boosting이 그 뒤를 바짝 쫓았습니다.

제거 연구(하단 테이블 섹션) 동안 테스트에서 스코어카드 등급이 제거되더라도 알고리즘은 신용 등급에 대한 인간 은행 관리자의 분별력을 복제하는 데 탁월한 성능을 달성합니다.

놀랍게도 연구원들은 구현된 신경망이 RMSE 격차가 더 넓은 93%에 불과하여 인간이 생성한 추정치에서 몇 단계 떨어진 위험 값을 생성한다는 것을 발견했습니다.

저자는 다음과 같이 관찰합니다.

'[이러한] 결과는 객관적인 기본 확률과 같은 정확도의 외부 메트릭에 관한 한 한 방법이 다른 방법을 능가한다는 것을 나타내지 않습니다. 예를 들어 신경망이 해당 분류 작업에 가장 적합할 수 있습니다.

'여기서 목표는 인간 관리자의 선택을 복제하는 것뿐이며 이 작업을 위해 Random Forest는 조사된 메트릭에서 다른 모든 방법을 능가하는 것으로 보입니다.'

연구자에 따르면 시스템이 재현할 수 없는 5%는 해당 산업의 이질성 때문이라고 합니다. 저자는 관리자의 5%가 거의 모든 차이를 설명하고 더 정교한 시스템이 궁극적으로 그러한 사용 사례를 커버하고 부족분을 해결할 수 있다고 믿습니다.

책임은 자동화하기 어렵다

후속 관련 프로젝트에서 입증된다면, 이 연구는 유사한 기계 시스템의 정확도가 '감독자' 상태로 축소되고 있는 한때 강력했던 권위와 분별력의 위치에 '은행 관리자' 역할이 추가될 수 있음을 시사합니다. 장기간에 걸쳐 테스트됩니다. 그리고 훼손 공통된 위치 특정 중요 작업은 자동화할 수 없습니다.

그러나 은행 관리자에게 희소식은 정치적 관점에서 볼 때 신용 등급 평가와 같은 중요한 사회적 프로세스에서 인간의 책임에 대한 필요성이 현재 역할을 유지할 가능성이 있다는 것입니다. 기계 학습 시스템으로 완전히 재현 가능해야 합니다.

18년 2022월 XNUMX일에 처음 게시되었습니다.