급여 관리에서 가장 위험한 AI 오류는 멀쩡해 보인다

급여 관리는 실수가 발생할 때마다 이름, 금액, 날짜가 모두 기록되는 몇 안 되는 업무 프로세스 중 하나다. 급여 관리에 AI를 도입하는 문제를 더 신중하게 논의해야 하는 이유도 여기에 있다. 논의의 대부분이 AI가 무엇을 찾아내는지에 집중돼 있기 때문이다. 더 어려운 질문은 아무도 지켜보지 않을 때 AI가 무엇을 바꾸느냐는 것이다.

저는 CFO로 일한 뒤 국경을 넘나드는 급여 관리 인프라를 구축하면서 금융 분야에서 17년을 보냈다. 그동안 자동화란 눈에 보이는 수작업을 포기하는 대신, 눈에 보이지 않는 시스템의 작동 방식을 감수하는 거래라고 여기게 됐다.

규정이 실제로 요구하는 것

EU AI법에 따르면, 직장 내 AI가 누구를 채용하거나 승진시키거나 해고할지, 업무를 어떻게 배정할지, 성과를 어떻게 평가할지, 또는 근로 조건을 어떻게 바꿀지 등 사람에 관한 결정을 내리는 데 도움을 준다면 고위험으로 분류된다. 이런 결정은 개인의 직장 생활과 소득에 영향을 미치므로, 해당 도구를 사용하는 회사는 사람이 통제권을 갖도록 하고 각 결정을 어떻게 내렸는지 기록해야 한다. 합의된 시급을 승인된 근무 시간에 적용하는 것은 산술 계산이므로, 급여 계산은 기본적으로 이 목록에 포함되지 않는다. 그러나 급여 데이터가 사람에 관한 의사결정에 활용되기 시작하거나, ‘급여 관리’ 도구로 판매된 제품이 은밀히 그런 결정을 내리기 시작하면 고위험이 된다.

미국 연방 기관인 국립표준기술연구소(NIST)는 기술 및 보안 표준을 수립하는 기관으로 잘 알려져 있으며, 2023년에는 조직이 각자의 상황에 맞게 쉽게 적용할 수 있는 전용 AI 위험 관리 프레임워크를 발표했다. 이 프레임워크는 기업이 실무에 활용할 수 있는 4단계 순환 절차를 제시하며, 이에 대해서는 아래에서 다시 살펴보겠다.

오늘날 급여 관리에서 AI를 안전하게 활용할 수 있는 범위

겉으로 보면 급여 관리에 도입된 AI는 더 빠르게 일하는 손처럼 보인다. 그러나 AI의 초능력이자 동시에 저주는 완벽하고 매끄러우며 중독성 있는 자동화다. 시스템이 작동하기 시작하면, 궁극적으로 영향을 받는 사람들, 즉 직장에서 일하는 사람들에게 어떤 영향을 미치는지 그 모든 양상을 파악하고 바로잡기가 어렵다. HR 분야의 AI가 고위험으로 간주되는 이유도 여기에 있다. 사람들의 생계와 직장 내 성공, 미래의 경력 전망에 직접 영향을 미치기 때문이다.

대부분의 급여 관리 도구는 몇 단계의 짧은 절차를 거친다. 첫 단계에서는 데이터를 비교하고 이상 징후를 표시하며 초안을 작성해 확인하고 준비한다. 다음 단계에서는 지급을 보류하거나 청구서를 확인하라고 제안하는 등 권고를 내리기 시작하고, 최종 판단은 사람이 한다. 세 번째 단계에서는 도구가 개인의 직업, 지위 또는 소득에 영향을 미치는 일을 직접 처리하기 시작하는데, 바로 이 단계에서 작동을 멈추고 결정을 사람에게 돌려야 한다. 문제는 각 단계의 경계가 흐려진다는 점이다. 비정상적인 근무 시간을 표시하는 것은 첫 단계에서는 무해한 대조 확인이지만, 세 번째 단계에서는 성과 평가가 된다. 단계가 바뀌어도 모델은 그대로다. 달라지는 것은 사람이 모델의 출력을 어떻게 활용하느냐는 점이다.

AI가 실질적으로 도움을 주는 분야

자동화된 급여 처리의 긍정적인 효과 중 하나는 오류를 크게 줄일 수 있다는 점입니다. 급여 컨설팅 서비스인 Ignite HCM의 Blair McQuillen에 따르면 오류를 최대 78%까지 줄일 수 있습니다. 급여 오류를 줄이기 위해 AI 기반 도구는 급여 시스템을 검사하고 수정하는 다음 작업을 기본적으로 수행합니다:

• 이상 징후 탐지는 머신러닝 알고리즘으로 급여 데이터를 과거 기록과 비교해 지급액 급증, 중복 입력, 비정상적인 공제 등을 찾아내는 방식이다.
• 실시간 데이터 검증은 AI가 현재 직원 데이터(예: 자동 기록된 출근 현황)와 원천 시스템(예: 근무 시간표)을 함께 살펴 수작업으로 복사해 붙여 넣는 과정에서 발생한 오류를 찾아내는 것을 말한다.
• 예측 기반 오류 예방은 급여 처리가 확정되기 전에 오류를 예측하는 데 목적이 있다.
• 컴플라이언스 업무도 AI 에이전트를 통해 어느 정도 자동화할 수 있다. AI 에이전트는 직원 현황과 급여 계산을 모니터링하고 분기별 감사가 시작되기 전이라도 HR에 즉시 알린다. AI를 내부 고발자 역할로 컴플라이언스 업무에 활용하려면 AI의 기능을 명확히 다루고 실제 사람이 의사결정 과정에 참여하도록 해야 한다.
• AI 기반 예측은 조직의 변화나 시장 변동이 급여 비용과 예산에 어떤 영향을 미칠지 예측한다.

AI 기반 임베디드 회계 API인 OpenLadger 보고서에 따르면, 기업은 재무 결산을 19% 더 빠르게 마쳤고 예산 준수율은 34% 개선됐다.

기준선이 당신의 실수를 학습할 때

대부분의 급여 관리 AI는 지속적인 학습 기능을 내세워 판매된다. 시간이 지나면 시스템은 해당 조직의 정상적인 급여가 어떤 모습인지 파악하고, 매번 급여를 처리할 때마다 그 기준과 비교한다. 이는 분명 유용하지만, 바로 이 지점에서 조용한 실패가 시작되기도 한다.

과거 기록을 바탕으로 ‘정상’을 학습하는 시스템은 그 기록에 들어 있는 오류도 학습한다. 공제가 6개월 동안 잘못 적용됐다고 가정해 보자. 같은 실수가 6개월간 이어진 기록을 기준으로 삼으면 더는 비정상적으로 보이지 않으므로 탐지 시스템은 이를 표시하지 않게 된다.

국경을 넘나드는 업무에서는 이 문제가 더 두드러진다. 여러 국가의 계약자에게 다양한 통화와 지급 수단으로 대금을 지급할 때는 ‘비정상적인’ 거래가 정당한 경우가 많다. 프로젝트 마일스톤에 따른 지급, 결제 수단 변경, 일회성 계약, 새로운 지급 경로의 개설 등이 그 예다. 오탐을 줄이도록 조정된 모델은 시간이 충분히 지나면 실제 이상 징후까지 오탐과 함께 억누르기 시작한다.

지급이 보류되거나, 이상 거래로 표시되거나, 금액이 조정되면 누군가는 그 이유를 설명해야 합니다. 돈을 기다리는 계약직 근로자에게, 몇 달 뒤 감사 담당자에게, 그리고 결국 규제 기관에 설명해야 합니다.

급여 자동화를 감사 가능하게 유지하는 세 가지 방법

1. 업무를 분리하세요. 데이터를 수집하고, 근로자를 분류하고, 급여를 계산하고, 규정 준수 여부를 확인하고, 급여명세서를 보내는 단일 어시스턴트는 도입하기는 편리하지만 감사하기는 어렵습니다. 결과가 잘못됐을 때 어느 단계에서 오류가 발생했는지 알 수 없기 때문입니다. 일부 급여 업체는 이미 다중 에이전트 구조로 전환하고 있습니다. 각기 다른 구성 요소가 근무 시간표 수집, 근로자 분류, 급여 계산, 규정 준수 확인, 커뮤니케이션을 담당하고, 모든 구성 요소가 공유 감사 기록에 내용을 남기는 방식입니다. 이런 구조는 구축 비용이 더 많이 들지만, 규제 기관이 결정에 이른 과정을 물어보는 첫 순간에 그 비용을 만회합니다. 각 단계를 하나씩 따라가며 확인할 수 있습니다.
2. 되돌릴 수 있는지에 따라 조치를 구분하세요. 인사 기술 분야에서 이제 흔히 쓰이는 인간 참여형 모델은 자동화된 조치를 자동 실행, 상위 단계로 이관, 차단의 세 단계로 나눕니다. 저는 단 하나의 기준, 즉 잘못 판단했을 때의 비용에 따라 단계를 정하겠습니다. 알림 발송, 서류 요청, 서식 확인처럼 위험이 낮고 되돌릴 수 있는 조치는 자동으로 실행해도 됩니다. 확인을 위해 지급을 보류하거나 청구서에 이의를 제기하는 등 위험이 중간 수준인 조치는 AI가 근거를 마련하고 사람이 판단하도록 해야 합니다. 되돌릴 수 없는 조치와 누군가의 생계에 영향을 주는 일은 모두 기계가 처리해서는 안 됩니다. 계약 관계 종료, 근로자 상태 변경, 규정 준수를 이유로 한 급여 보류가 이에 해당합니다. 제가 판단할 때 사용하는 기준은 한 가지 질문입니다. 이 조치가 잘못된 것으로 드러난다면, 상대방이 알아차리기 전에 되돌릴 수 있을까요? 답이 ‘아니요’라면 사람이 최종 승인해야 합니다.
3. 확장하기 전에 관리 체계를 마련하세요. 앞서 언급한 NIST AI 위험 관리 프레임워크는 거버넌스, 맥락 파악, 측정, 관리라는 네 가지 기능으로 구성됩니다. 급여 업무에 적용하면 다음 네 가지 질문이 됩니다. 결과에 책임을 지는 곳은 어디인가요? 급여팀, 재무팀, 규정 준수팀, 아니면 업체인가요? AI법에 따라 시스템 운영 조직이 도입자의 의무를 이행해야 하므로, 이제 여러 제품이 “EU AI Act 대응” 배지를 달고 있더라도 “업체”라고 답할 수는 없습니다. 규칙 기반이라고 생각하고 구매한 소프트웨어에도 머신러닝이 점점 더 많이 탑재되는 상황에서, 실제로 AI를 사용하는 도구는 무엇인가요? 사람들이 AI의 판단을 얼마나 자주 뒤집는지도 확인해야 합니다. 제가 가장 주의 깊게 살펴볼 수치이기 때문입니다. 이의 제기율이 거의 0%라고 해서 모델이 완벽하다는 뜻인 경우는 드뭅니다. 오히려 사람이 결과를 더 이상 검토하지 않는다는 의미일 때가 많습니다. 월말 마감 중 모델을 사용할 수 없거나 결과를 더 이상 신뢰할 수 없을 때는 어떻게 대처하나요? 팀원 중 급여를 수작업으로 처리하는 방법을 아는 사람이 아직 있나요? AI를 대규모로 활용할 계획인 인사 및 급여 담당자라면 이 체계를 일찍 마련할 가치가 있습니다.

AI 시대는 기업이 눈에 띄지는 않지만 꼭 필요한 작업을 해둘 기회를 제공합니다. AI 기능이 적용된 도구 목록을 작성하고, 결과뿐 아니라 판단 근거까지 기록하는 로그를 구축하고, 모든 자동화된 결정에 책임자를 지정하며, 자동화 조치의 재검토 및 변경 지표를 정기적으로 살펴보는 일입니다.

고위험 의무가 적용될 때가 되면 감사 담당자의 질문은 “AI를 사용하나요?”가 아니라 “이 지급이 이루어지거나 보류되거나 변경된 이유를 보여주세요.”일 것입니다. 몇 분 안에 답할 수 있는 기업은 자동화를 성공적으로 확장할 수 있습니다.