Anderson의 관점

간단한 AI가 은행 관리자의 대출 결정을 95% 넘는 정확도로 예측할 수 있다

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트랜덤 포레스트는 은행 대출 담당자의 대출 결정을 거의 96%의 정확도로 재현했다.
더 보기
  • 랜덤 포레스트는 은행 대출 담당자의 대출 결정을 거의 96%의 정확도로 재현했다.
  • 담당자들은 자동화된 스코어카드에서 거의 벗어나지 않으며, 이는 그들의 역할이 점점 불필요해지고 있음을 시사한다.
  • 신경망은 인간의 신용 평가 행동을 모방하는 데 있어 더 단순한 알고리즘보다 성능이 낮았다.

새로운 연구는 인간 은행 관리자의 재량적 결정을 머신러닝 시스템이 95%가 넘는 정확도로 재현할 수 있음을 발견했습니다.

접근이 제한된 데이터셋에서 은행 관리자에게 제공되는 것과 같은 데이터를 사용했을 때, 가장 성능이 좋은 알고리즘은 Random Forest 구현이었습니다. 20년 된 비교적 단순한 방식이지만, 대출의 최종 결정을 내리는 인간 은행 관리자의 행동을 모방하는 데서는 신경망보다 좋은 성능을 보였습니다.

프로젝트에서 시험한 네 알고리즘 중 하나인 Random Forest는 상대적으로 단순한 알고리즘인데도 은행 관리자의 평가를 높은 수준으로 재현합니다.

프로젝트에서 시험한 네 알고리즘 중 하나인 Random Forest는 상대적으로 단순한 알고리즘인데도 은행 관리자의 평가를 높은 수준으로 재현합니다. 출처: Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?, https://arxiv.org/pdf/2202.04218.pdf

연구진은 한 대형 상업은행의 서로 다른 고객 4,414명에 대한 대출 등급 37,449건의 비공개 데이터셋에 접근했습니다. 사전 공개 논문의 여러 부분에서 연구진은 관리자의 판단을 위해 제공되는 자동 데이터 분석이 매우 정확해져 관리자들이 그 결과에서 거의 벗어나지 않는다고 지적합니다. 따라서 대출 승인 과정에서 은행 관리자의 역할이 주로 대출이 상환되지 않을 때 해고할 사람을 남겨 두는 데 있을 가능성도 시사합니다.

논문은 다음과 같이 말합니다.

“실무적 관점에서 우리의 결과는 인간 대출 관리자가 없어도 은행이 매우 유사한 결과로 대출을 더 빠르고 저렴하게 처리할 수 있음을 시사할 수 있습니다. 관리자가 다양한 업무를 하는 것은 당연하지만, 이 특정 업무에 꼭 필요하다고 주장하기는 어렵고 비교적 단순한 알고리즘도 똑같이 잘 수행할 수 있습니다.”

“추가 데이터와 연산 능력이 주어지면 이 알고리즘들을 더 개선할 수도 있다는 점도 중요합니다.”

논문의 제목은 Managers versus Machines: Do Algorithms Replicate Human Intuition in Credit Ratings?이며, 캘리포니아대학교 어바인 캠퍼스의 경제학과와 통계학과, 브라질의 Bank of Communications BBM 연구진이 작성했습니다.

신용 등급 평가에서 로봇처럼 행동하는 인간

이 결과는 머신러닝 시스템이 대출 및 신용 등급 결정을 반드시 더 잘 내린다는 뜻이 아닙니다. 이제는 상당히 기초적이라고 여겨지는 알고리즘도 같은 데이터에서 인간과 동일한 결론을 내릴 수 있다는 뜻입니다.

보고서는 은행 관리자를 일종의 인간 방화벽으로 묘사합니다. 남아 있는 핵심 기능은 통계·분석 기반 점수표 시스템이 제시한 위험 점수를 올리는 것입니다. 은행에서는 이런 조정을 노칭(notching)이라고 합니다.

“시간이 지날수록 관리자가 재량을 덜 행사하는 것으로 보이며, 이는 점수표 같은 알고리즘 수단의 성능이 좋아졌거나 이에 대한 의존도가 높아졌음을 나타낼 수 있습니다.”

연구진은 다음과 같이 덧붙였습니다.

“이 논문의 결과는 숙련된 은행 관리자가 수행하는 이 특정 업무를 비교적 단순한 알고리즘이 쉽게 재현할 수 있음을 보여줍니다. 산업 간 차이를 고려해 미세 조정하면 성능을 개선할 수 있고, 대출 관행의 공정성을 고려하거나 다른 사회적 목표를 촉진하는 추가 목적도 쉽게 포함할 수 있습니다.”

차이를 찾아보세요. 연구에서 조사한 은행 관리자들은 자동 점수표의 위험 등급을 체계적으로 상향 조정(notching)합니다. 이는 재현할 수 있는 절차입니다.

차이를 찾아보세요. 연구에서 조사한 은행 관리자들은 자동 점수표의 위험 등급을 체계적으로 상향 조정(notching)합니다. 이는 재현할 수 있는 절차입니다.

자료에 따르면 은행 관리자는 거의 알고리즘처럼 예측 가능한 방식으로 이런 조정을 하므로 이를 재현하기도 어렵지 않습니다. 이 과정은 원래 점수표 데이터를 재검토하고 예측 가능한 범위 안에서 위험 등급을 상향 조정하는 것입니다.

방법과 데이터

프로젝트의 명시적 목적은 관리자에게 제공되는 점수 체계와 기타 변수를 바탕으로 관리자가 어떤 결정을 내릴지 예상하는 것이었습니다. 기존 대출 신청 절차를 대체할 혁신적 대안을 개발하려는 연구는 아니었습니다.

시험한 머신러닝 방법은 다항 로지스틱 LASSO(MNL-LASSO), 신경망, 그리고 분류 및 회귀 트리(CART)의 두 구현인 Random Forest와 Gradient Boosting이었습니다.

프로젝트는 실제 신용 등급 평가 업무의 점수표 데이터와 데이터에 기록된 결과를 함께 고려했습니다. 점수표 평가는 가장 오래된 알고리즘 활용 방식 중 하나로, 제안된 대출의 핵심 변수를 위험 행렬에 반영합니다. 이때 로지스틱 회귀처럼 단순한 방법을 사용하는 경우가 많습니다.

결과

MNL-LASSO는 시험한 알고리즘 중 성능이 가장 낮았으며, 평가한 사례에서 실제 관리자의 결정을 기준으로 대출의 53%만 정확히 분류했습니다.

나머지 세 방법(CART에는 Random Forest와 Gradient Boosting이 포함됨)은 90%가 넘는 사례에서 관리자가 선택한 등급 범주를 재현했습니다. 오류는 평균제곱오차의 제곱근(RMSE)으로도 별도로 평가했습니다.

Random Forest의 CART 구현은 거의 96%라는 뛰어난 성능을 보였고 Gradient Boosting이 근소한 차이로 뒤를 이었습니다.

절제 연구에서 점수표 등급을 테스트에서 제외했을 때도(표의 아래 부분), 알고리즘은 신용 등급에 관한 인간 은행 관리자의 판단을 매우 높은 성능으로 재현합니다.

절제 연구에서 점수표 등급을 테스트에서 제외했을 때도(표의 아래 부분), 알고리즘은 신용 등급에 관한 인간 은행 관리자의 판단을 매우 높은 성능으로 재현합니다.

뜻밖에도 연구진이 구현한 신경망은 93%에 그쳤으며 RMSE 격차도 더 커서, 인간의 추정치에서 여러 등급 단계 떨어진 위험 값을 산출했습니다.

저자들은 다음과 같이 설명합니다.

“이 결과가 객관적 채무불이행 확률 같은 외부 정확도 지표에서 한 방법이 다른 방법보다 낫다는 뜻은 아닙니다. 예컨대 신경망이 그 분류 업무에서는 가장 좋을 수도 있습니다.”

“여기서 목표는 인간 관리자의 선택을 재현하는 것뿐이며, 이 업무에서는 조사한 지표 전반에 걸쳐 Random Forest가 다른 모든 방법보다 좋은 성능을 보이는 듯합니다.”

연구진은 시스템이 재현하지 못한 5%를 분석 대상 산업의 이질성으로 설명합니다. 관리자 중 5%가 이런 불일치의 거의 전부를 차지하며, 더 정교한 시스템은 결국 이런 사례도 다뤄 부족한 부분을 메울 수 있을 것으로 봅니다.

책임은 자동화하기 어렵다

후속 관련 프로젝트에서도 확인된다면, 이 연구는 은행 관리자도 한때 권한과 판단력이 중요했던 직책에서 감독자 역할로 축소되는 직책군에 포함될 수 있음을 시사합니다. 유사한 기계 시스템의 정확도를 장기간 검증하는 동안 이런 변화가 생길 수 있으며, 특정 핵심 업무는 자동화할 수 없다는 일반적인 견해에도 의문을 제기합니다.

하지만 은행 관리자에게 좋은 소식은 정치적 관점에서 신용 등급 평가처럼 사회적으로 중요한 절차에 인간의 책임이 필요하다는 점입니다. 이 때문에 해당 역할의 행동을 머신러닝 시스템이 완전히 재현할 수 있게 되더라도 현재의 직책은 유지될 가능성이 높습니다.

 

최초 게시: 2022년 2월 18일.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai