AI는 인간의 편견을 없애지 않는다. 오히려 그 규모를 키운다.

AI는 흔히 의사결정을 더 객관적으로 만드는 수단으로 제시된다. 인간의 판단을 배제하면 인간의 편견도 사라진다는 논리다. 그러나 점점 더 많은 연구가 이를 반박하고 있다.

AI 시스템은 인간의 역사를 학습한다. 우리의 의사결정과 언어, 제도, 그리고 필연적으로 우리의 사각지대를 바탕으로 훈련된다. 이런 시스템이 지원자를 선별하고 의료 서비스를 배분하거나 직원을 평가할 때면, 어느 한 사람도 따라갈 수 없는 규모와 속도로 그러한 편견을 재현할 수 있다.

더 큰 문제는 의사결정이 중립적으로 보인다는 점이다. 점수가 나오고, 순위가 매겨지며, 추천 결과가 생성된다. 그 이면에 깔린 가정을 보여 주는 흔적은 없고, 회의실에 있는 사람 중 누구도 그 결과에 책임이 있다고 느끼지 않을 수 있다.

그래서 AI 편향은 무엇보다 모델의 문제가 아니다. 거버넌스의 문제다. 모델은 다시 훈련할 수 있지만, 더 어려운 질문은 조직 차원에 있다. 각 의사결정의 책임자는 누구인지, 시스템은 무엇을 최적화하는지, 그리고 누가 이의를 제기할 권한을 갖는지 따져야 한다.

인간의 편견은 AI에 들어가고, 기계의 속도로 되돌아온다

작동 원리는 미스터리가 아니다. 모델은 훈련 데이터에서 통계적 패턴을 찾아내며, 과거의 결과(누가 채용되고 누가 치료받았는지)에 이미 차별이 반영돼 있으면 모델이 예측하도록 학습하는 대상부터 왜곡된다. 최근 연구는 다양한 공급업체와 작업에서 이런 일이 얼마나 쉽게 벌어지는지 보여 준다.

• 대규모 채용. 실제 입사 지원서 400만 건을 분석한 스탠퍼드 연구에 따르면 흑인 지원자의 26%와 아시아계 지원자의 15%는 AI 시스템이 자신이 속한 인종 집단을 차별하는 직무에 지원했다. 모델은 수십 년간 이어진 인간의 채용 결정에서 편견을 학습했다.
• 이력서 순위 산정. 워싱턴대학교 연구진은 실제 이력서 550건이 넘는 자료를 평가하고, 최신 언어 모델이 백인과 연관된 이름을 85%의 경우에 우대하는 반면 흑인 남성의 이름은 좀처럼 선호하지 않는다는 사실을 확인했다.
• 직장 내 소통. 존스홉킨스 연구진이 올해 초 발표한 연구에 따르면 프롬프트에 여성과 더 흔히 연관되는 언어 패턴이 포함됐을 때 GPT-4, Llama, Gemma, Mistral은 덜 세련되고 덜 격식 있는 업무 이메일을 생성했다.

이런 시스템이 도입되고 나면, 그러한 패턴은 더 이상 훈련 데이터의 특성에 머물지 않고 일상적인 의사결정의 일부가 된다.

진짜 위험은 규모와 침묵에 있다

편견을 가진 채용 담당자는 1년에 이력서 수백 건을 검토할 수 있다. 편향된 선별 시스템은 하룻밤 사이에 지원서 수백만 건을 처리하며, 모든 지원서에 똑같이 잘못된 논리를 적용할 수 있다. 인간의 편향된 결정은 흔히 일회성 사건으로 끝나지만, 모델의 편향된 결정은 빠르게 정책으로 자리 잡을 수 있다.

의료 분야는 가장 분명한 사례 중 하나다. 수백만 명의 환자에게 영향을 미친 널리 사용된 알고리즘은 추가 치료를 받으면 도움이 될 사람을 찾아내도록 설계됐다. 이 알고리즘은 같은 정도로 아픈 백인 환자보다 흑인 환자를 더 건강한 것으로 평가했다. 인종차별적인 규칙을 직접 작성한 사람은 없었다. 알고리즘은 의료비 지출을 의료 필요성의 대리 지표로 사용했다. 흑인 환자는 역사적으로 의료 서비스를 덜 받아 지출도 적었기 때문에, 알고리즘은 지출이 적을수록 건강 상태가 더 좋다고 판단했다. 연구진이 Science에 발표한 분석에 따르면, 이 설계상의 선택 하나를 바로잡았을 경우 추가 지원이 필요하다고 판정되는 흑인 환자의 비율은 17.7%에서 46.5%로 증가했을 것이다.

AI 시스템은 우리가 부여한 지표를 단순히 반영하는 것이 아니라, 그 지표의 이면에 있는 가정까지 반영한다. 인간의 편견도 그만큼 실재한다. 다만 이를 알아차리고 검증하기가 더 어려울 뿐이다. 따라서 답은 자동화를 포기하는 것이 아니라 거버넌스를 개선하는 데 있다.

책임성을 의사결정 과정에 포함하라

AI 도입의 표준적인 접근 방식은 모델을 선택하고, 업무 흐름에 통합한 다음, 성능을 모니터링하며 시간이 지남에 따라 개선하는 것이다. 하지만 시스템의 결과가 사람들에게 영향을 미친다면 그것만으로는 충분하지 않다.

나는 대안으로 배포보다 통합을 우선하는 방식을 제안한다. 책임을 맡은 사람이 의사결정 과정에 직접 참여해 실질적인 변경 권한을 갖는 방식이다. 일이 벌어진 뒤 분기마다 대시보드를 검토하는 데 그치지 않는다. 이 방식은 세 단계로 시작한다.

1. AI가 선별하거나 점수를 매기거나 승인하는 모든 의사결정을 파악하고, 각각에 대해 책임을 맡을 담당자를 지정한다.
2. 모델에 입력되는 과거 데이터를 점검해 그 데이터가 정책으로 굳어지기 전에 문제를 확인한다.
3. 모델의 판단을 뒤집어도 불이익이 없도록 하고, 실제로 판단을 뒤집는 비율을 추적한다.

세 번째 단계가 가장 중요하다. 직원들이 기계에 이의를 제기하면 실수로 취급된다고 배우면, 더는 이의를 제기하지 않는다. 그러면 형식상으로는 인간이 여전히 “개입 과정에 포함돼” 있어도 AI가 사실상 의사결정권자가 된다. 중요한 질문은 인간에게 최종 결정권이 있느냐가 아니다. 그 사람이 “기계가 틀렸다”고 말할 권한과 정보, 심리적 안정감을 갖고 있느냐는 것이다.

재훈련은 도움이 되지만, 편향은 의사결정을 통해 들어온다. 모델이 무엇을 최적화하는지, 어떤 데이터를 유효한 것으로 보는지, 누가 결과를 확인하는지가 중요하다. 바로 그런 부분을 살펴야 한다. 또한 시스템이 왜 특정 결과의 순위를 그렇게 매겼는지 물을 수 있고, 답을 바탕으로 조치를 취할 권한이 있는 AI 리더도 필요하다.

시스템의 판단을 뒤집는 비율은 해석이 모호하기 때문에 유용하다. 사람들이 시스템의 판단을 거의 뒤집지 않는다면, 시스템이 그저 정확한 것일 수 있다. 반대로, 시스템에 이의를 제기하는 것이 안전하지 않다고 배웠기 때문일 수도 있다. 연차가 높은 사람들만 시스템의 판단을 뒤집는다면, 그보다 낮은 직원들은 조용히 있는 법을 배웠을 수 있다. 이들은 결과와 그 영향을 받는 사람들에게 가장 가까이 있는 경우가 많은데도 말이다. 목표는 판단을 뒤집는 일이 전혀 없게 하는 것이 아니다. 충분한 근거를 바탕으로 판단을 뒤집는 일을 시스템이 제대로 작동하고 있다는 신호로 받아들이는 문화를 만드는 것이다. 누군가 모델의 판단을 뒤집었고 그 판단이 옳았던 것으로 드러났다면, 그 이야기를 널리 알리라. 그것은 회사가 만들어 낼 수 있는 최고의 AI 교육 자료가 될지도 모른다.

의도가 아니라 결과를 검증하라

조직은 편향 감지를 시작하기 위해 큰 실패를 기다릴 필요가 없다. 지금 바로 시행할 수 있는 테스트는 세 가지다:

1. 통제된 비교. 이력서에 적힌 이름이나 프롬프트의 방언처럼 인구학적 단서만 바꾸고 같은 작업을 수행한다. 프롬프트 템플릿과 입력 순서를 포함해 나머지는 모두 동일하게 유지한다. 모델 출력은 실행할 때마다 달라지므로, 각 쌍을 여러 차례 반복하고 차이가 우연한 변동으로 치부되지 않을 만큼 충분한 수의 쌍을 사용한다. 연구자들이 이력서 순위와 직장 내 의사소통 문구 생성에서 나타난 격차를 밝혀낸 방법도 기본적으로 이와 같으며, 내부 팀도 반나절이면 첫 번째 버전을 실행할 수 있다.
2. 대리 지표 감사. 시스템이 최적화하는 모든 지표에 대해 두 가지를 물어본다. 이 수치는 실제로 무엇을 측정하는가? 그리고 누구를 과소 집계할 수 있는가? 의료 알고리즘은 자신이 선택한 지표를 예측하는 데 문제가 없었다. 비용을 잘 예측했다. 문제는 비용이 의료적 필요를 대신하는 지표로 쓰였다는 점이다. 시스템은 자체 지표 기준으로 정확하면서도, 그 영향을 받는 사람들에게는 크게 틀릴 수 있다.
3. 결과 비교. 실제 운영 환경에서 집단별 선발률이나 승인율을 비교한다. 미국의 고용 관행에서 사용하는 경험칙인 5분의 4 규칙은 한 집단의 비율이 가장 높은 집단 비율의 80% 미만으로 떨어지는 경우 이를 포착하며, 흔히 초기 선별 기준으로 활용된다. 위에서 설명한 판단 번복 모니터링과 함께 사용한다.

이러한 테스트에는 한계가 있다. 이름을 바꾸는 방식은 명시적인 인구학적 단서를 찾아내지만, 우편번호, 학력 또는 경력 공백 같은 대리 지표는 포착하지 못한다. 그래서 결과 비교가 중요하다. 기술적 완화책(훈련 데이터의 가중치 재조정, 공정성 제약 추가, 의사결정 임계값 조정)은 격차를 줄일 수 있지만, 선택을 요구한다. Kleinberg, Mullainathan, Raghavan의 연구와 Chouldechova의 별도 연구는 집단별 기본 비율이 서로 다르면 일반적으로 모델이 보정과 동일 오류율을 동시에 충족할 수 없다는 사실을 보여 주었다. 어떤 공정성 기준을 우선할지는 모델이 답할 수 있는 질문이 아니다. 누군가 책임지고 문서화해야 하는 결정이며, 이는 문제를 다시 거버넌스로 돌려놓는다.

정확성과 함께 공정성도 검토하라

공정성은 너무 자주 별도의 과제로 취급된다. 기술팀이 정확성, 효율성, 비용을 평가한 뒤 인사팀이나 법무팀이 검토하는 식이다. 이러한 분리 자체가 문제의 일부다. 공정성은 정확성 및 비용과 같은 회의에서, 동일한 책임 체계와 명시된 담당자 아래 검토해야 한다.

이 논의에는 인사팀과 법무팀이 참여해야 하며, 이러한 시스템에 의해 잘못 판단된 사람들도 함께해야 한다. 과소평가를 받아 온 사람들은 시스템이 놓치는 점을 가장 먼저 알아차리는 경우가 많다. 이는 내 책 The Bias Advantage의 핵심 사상이다. 조직이 역사적으로 간과해 온 관점은 의사결정 과정에 포함될 때 강력한 통찰의 원천이 된다.

목표는 실수하지 않는 AI 시스템이 아니다. 그런 시스템은 비현실적이다. 목표는 AI가 언제 틀렸는지 알아차리고, 그 이유를 이해하며, 오류가 다른 누군가의 현실이 되기 전에 개입할 수 있는 조직이다.