언어 모델은 어디에서 멈춰야 하는가: 실수가 큰 대가를 치르는 급여, 입학 및 기타 분야를 위한 AI 설계

저는 오답이 실제 대가를 초래하는 제품에 AI를 접목하는 일을 지난 몇 년간 해 왔습니다. 오류가 누군가의 은행 계좌에 영향을 미치는 호주 시장용 AI 기반 급여 규정 준수 플랫폼과, 적합하지 않은 대학을 추천하면 학생의 향후 4년이 달라질 수 있는 대학 입학 제품이 그 예입니다. 두 제품의 아키텍처를 결정한 질문은 같았습니다. 결정론적 시스템이 이어받기 전에 언어 모델이 어디까지 관여하도록 허용해야 할까요?

미국의 급여 지급 중 5건 가운데 1건에서 오류가 발생하며, 소송이 관련되기 전에도 오류 한 건당 평균 291달러의 비용이 듭니다. EU AI법은 입학 결정과 고용 관리에 사용되는 AI를 고위험 범주에 포함합니다.

규칙이 수치를 결정하게 하라

금액이나 법적 결과가 걸린 사안은 결정론적 규칙이 전적으로 관할하고, 모델은 그 규칙을 바탕으로 해석하고 설명하는 역할만 합니다.

급여 플랫폼에서는 급여 규칙과 AI 사이에 명확한 경계를 두는 것이 목표였습니다. 먼저 급여 전문가가 구조화된 형식으로 급여 규칙을 정의합니다. 그런 다음 시스템이 그 규칙을 처리하고, 규칙에서 도출될 수 있는 모든 시나리오를 생성합니다. 이렇게 완성된 시나리오 집합이 모델의 기준 정보가 됩니다. 모델은 새 규칙을 만들거나 기존 규칙을 변경할 수 없으며, 어떤 출처를 사용할지 결정할 수도 없습니다. 모델이 할 수 있는 일은 관련 규칙 집합을 검색하고, 요율표를 조회하고, 사용한 시나리오를 인용하는 것뿐입니다. 규칙 생성, 시나리오 작성, 출처 선택은 모두 AI 계층 밖에서 이루어집니다.

입학 제품도 같은 원칙을 따릅니다. 모델이 순위에 영향을 미치기 전에 거주 지역 요건, 예산 한도, 교육기관의 상태, 자격 기준을 규칙으로 적용합니다. 학생이 캘리포니아주에 있는 대학에 반드시 다녀야 한다고 말하면, 모델이 다른 학교가 더 적합하다고 판단하더라도 다른 주에 있는 학교가 그 요건을 무시할 수는 없습니다. 모델은 상대적으로 유연한 선호 사항과 설명을 처리하고, 대략적으로 맞는 정도로는 충분하지 않은 경우 결정론적 로직이 안전장치 역할을 합니다.

검색 증강은 모델의 근거를 제공하지만, 한계가 있다

검색 증강 생성은 답변이 모델의 학습 과정에서 습득한 내용이 아니라 해당 조직의 자체 정책에 기반하도록 합니다. 그러나 그 효과는 과장되기도 합니다. 스탠퍼드 RegLab이 검색 증강 생성(RAG)을 기반으로 한 상용 법률 조사 도구를 시험했을 때도, 도구들은 17~33%의 비율로 환각을 일으켰습니다. 검색은 모델이 말할 수 있는 범위를 좁혀 주지만, 모델은 여전히 틀릴 수 있습니다.

저는 이를 직접 경험했습니다. 급여 플랫폼에서 한 번은 시스템이 특정 사례에 적용되는 올바른 고용상 급여 기준을 찾아냈지만, 모델이 초과 근무 규칙을 잘못 해석했습니다. 올바른 출처를 검색했는데도 답변은 틀렸습니다. 그 일을 겪은 뒤로는 모델이 독자적으로 판단할 수 있는 범위를 훨씬 엄격하게 제한했습니다. 중요한 급여 규칙은 명시적인 비즈니스 로직으로 옮겼고, 모든 답변에 출처 자료를 근거로 제시하도록 했으며, 문제가 발생한 사례를 바탕으로 테스트도 추가했습니다. 올바른 정보에 접근할 수 있더라도 모델이 그 정보를 어떻게 활용하는지 통제하지 않으면 소용이 없습니다.

모든 답변을 추적할 수 있게 하라

응답을 생성하기 전에 시스템은 어떤 규정집과 버전을 사용했는지, 그리고 어떤 모델을 사용했는지와 그 밖의 요청 세부 정보를 정확히 기록합니다. AI 응답이 회사 정책에 근거했다고 말하는 것만으로는 이를 확인하기 어렵습니다. 보관되어 다른 버전과 비교할 수 있는 특정 계약서의 7판을 사용해 응답을 생성했다고 말하면 훨씬 강력한 증거가 됩니다. 또한 모든 모델 호출과 도구 호출의 과정도 추적합니다. 사용자가 무엇을 요청했는지, 무엇을 검색했는지, 어떤 도구가 실행됐는지, 모델이 무엇을 반환했는지, 그 과정에서 오류가 발생했는지까지 기록합니다. 지원 요청이 접수되면 잘못된 답변이 정확히 어디에서 비롯됐는지 확인할 수 있습니다. 챗봇이 만들어 낸 할인 혜택을 항공사가 이행하도록 재판소가 명령한 2024년 에어캐나다 판결은 그렇지 않을 경우 어떤 대가를 치르는지 보여 줍니다.

결과가 중요한 곳에 사람을 배치하라

NIST의 생성형 AI 프로필은 시스템이 독자적으로 처리할 일과 사람의 개입이 필요한 일을 나누는 것을 거버넌스 차원의 결정으로 다룹니다. 시스템이 확신하지 못하거나 정보가 서로 충돌하거나 결정이 사용자에게 실질적인 영향을 미칠 수 있는 경우에는 담당자에게 사안을 전달합니다. 입학 과정에서는 학생의 이례적인 프로필이나 학생의 필수 요건을 분명히 충족하지 못하는 추천을 상담사가 검토하도록 표시합니다. 이 절차를 통해 겉보기에는 타당하지만 학생 프로필의 제약 조건을 놓친 추천을 찾아냈으며, 이러한 사례는 하나하나 시스템 개선에 반영됐습니다. 두 제품 모두 자체적으로 어떤 결정도 확정하지 않습니다. 추천을 신뢰하고 따르기 전에 상담사의 의견을 반드시 확인해야 하며, 급여 시스템이 생성하는 모든 급여 명세서도 발송 전에 승인을 받도록 표시됩니다. 모든 요청에 사람의 검토가 필요한 것은 아닙니다. 목표는 일상적인 사례를 확신을 갖고 자동화하고, 시스템이 불확실해할 만한 타당한 이유가 있을 때 사람의 도움을 받는 것입니다.

오늘날 모델이 맡을 수 있는 일 판단하기

저는 모든 업무 흐름에 실용적인 기준을 적용합니다. 잘못된 결과가 사람에게 전달되기 전에 발견해 되돌릴 수 있다면, 그 단계는 모델이 맡아도 됩니다. 답변을 규칙과 대조해 확인할 수 있다면 규칙이 판단을 맡고 모델은 이를 설명합니다. 잘못된 결과가 누군가에게 전달되기 전에 급여 지급이나 지원서 심사에 영향을 미칠 수 있다면, 그 단계는 아직 맡길 준비가 되지 않은 것입니다.

언어 모델은 우리가 규정집을 해석하도록 맡겨 본 어떤 것보다 뛰어납니다. 실수가 큰 대가를 치르는 분야에서는 해석까지만 해야 합니다.