모든 AI 에이전트는 말할 수 있다. 믿을 수 있는 AI는 거의 없다

의료 분야에서 AI 에이전트의 필요성은 시급합니다. 업계 전반에 걸쳐 과중한 업무에 시달리는 팀들은 환자 진료를 지연시키는 시간 소모적인 업무에 시달리고 있습니다. 의료진은 업무에 지쳐 있고, 의료비 지급 콜센터는 과부하 상태이며, 환자들은 즉각적인 답변을 기다리게 됩니다.

AI 에이전트 AI는 심각한 격차를 메우고, 임상 및 행정 직원의 업무 범위와 가용성을 확대하며, 의료진과 환자 모두의 번아웃을 줄이는 데 도움을 줄 수 있습니다. 하지만 그러기 위해서는 AI 에이전트에 대한 신뢰를 구축할 수 있는 탄탄한 기반이 필요합니다. 그 신뢰는 따뜻한 어조나 유창한 대화에서 나오는 것이 아닙니다. 바로 엔지니어링에서 나옵니다.

AI 에이전트에 대한 관심이 급증하고 에이전트 AI의 잠재력이 언론에 대대적으로 보도되고 있음에도 불구하고, 환자와 지역 사회에 대한 책임을 져야 하는 의료계 리더들은 이 기술을 대규모로 도입하는 데 여전히 주저하고 있습니다. 스타트업들은 진료 예약과 같은 일상적인 업무 자동화부터 환자와의 소통 및 진료에 이르기까지 다양한 에이전트 기능을 홍보하고 있습니다. 그러나 대부분은 이러한 서비스가 안전하다는 것을 아직 입증하지 못했습니다.

그들 중 다수는 결코 그렇게 하지 않을 것이다.

현실은 누구나 다음을 시작할 수 있다는 것입니다. 음성 에이전트 대규모 언어 모델(LLM)을 기반으로, 공감을 불러일으키는 어조를 부여하고, 설득력 있는 대화 스크립트를 작성하세요. 모든 산업 분야에서 에이전트를 홍보하는 이러한 플랫폼은 많습니다. 에이전트의 생김새와 말투는 다르지만, 행동은 모두 동일합니다. 환각에 걸리기 쉽고, 중요한 사실을 검증하지 못하며, 책임을 보장하는 메커니즘을 갖추지 못했습니다.

이러한 접근 방식, 즉 기초 LLM을 너무 얇고 빈약하게 포장하는 방식은 소매업이나 접객업 같은 산업에서는 효과가 있을지 몰라도 의료 서비스에서는 실패할 것입니다. 기초 모델은 뛰어난 도구이지만, 대부분 범용적입니다. 임상 프로토콜, 의료보험 정책, 규제 기준에 대해 특별히 훈련되지 않았습니다. 이러한 모델을 기반으로 구축된 가장 유창한 에이전트조차도 환각적인 영역으로 빠져들어, 해서는 안 될 질문에 답하거나, 사실을 지어내거나, 사람이 루프에 참여해야 할 시점을 인지하지 못할 수 있습니다.

이러한 행동의 결과는 이론적인 것이 아닙니다. 환자를 혼란스럽게 하고, 진료를 방해하며, 값비싼 인력 재작업을 초래할 수 있습니다. 이는 지능의 문제가 아니라 인프라의 문제입니다.

의료 분야에서 안전하고 효과적이며 안정적으로 작동하려면 AI 에이전트가 단순히 전화 반대편에 있는 자율적인 음성 그 이상의 역할을 해야 합니다. AI 에이전트는 제어, 맥락, 그리고 책임 소재를 고려하여 특별히 설계된 시스템에 의해 작동해야 합니다. 이러한 시스템을 구축해 온 제 경험을 바탕으로, 실제로 AI 에이전트가 어떤 역할을 하는지 살펴보겠습니다.

반응 제어를 통해 환각이 존재하지 않게 만들 수 있습니다.

의료 분야의 AI 에이전트는 단순히 그럴듯한 답변을 생성하는 데 그치지 않습니다. 매번 정확한 답변을 제공해야 합니다. 이를 위해서는 제어 가능한 "행동 공간"이 필요합니다. 이는 AI가 자연스러운 대화를 이해하고 촉진할 수 있도록 하는 동시에, 모든 가능한 응답이 사전 정의되고 승인된 논리에 따라 제한되도록 하는 메커니즘입니다.

응답 제어 매개변수가 내장되어 있어 상담원은 검증된 프로토콜, 사전 정의된 운영 절차 및 규제 표준만 참조할 수 있습니다. 이 모델의 창의성은 사실을 즉흥적으로 만들어내는 것이 아니라 상호작용을 유도하는 데 활용됩니다. 이것이 바로 의료 분야 리더들이 다음과 같은 위험을 예방할 수 있는 방법입니다. 환각 위험을 완전히 없애는 것은 시범 실험이나 단일 포커스 그룹을 통해 테스트하는 것이 아니라, 처음부터 위험을 설계하는 것입니다.

전문 지식 그래프를 통해 신뢰할 수 있는 교환을 보장할 수 있습니다.

모든 건강 관리 대화의 맥락은 매우 개인적입니다. 제2형 당뇨병을 앓고 있는 두 사람이 같은 동네에 살고 있고 위험 요인도 비슷할 수 있습니다. 특정 약물에 대한 적격 여부는 병력, 의사의 치료 지침, 보험 플랜, 그리고 처방약 규정에 따라 달라집니다.

AI 에이전트는 이러한 맥락에 접근할 수 있어야 할 뿐만 아니라 실시간으로 이를 추론할 수 있어야 합니다. 전문화된 지식 그래프 이러한 기능을 제공합니다. 여러 신뢰할 수 있는 출처의 정보를 체계적으로 표현하는 방식으로, 상담원이 들은 내용을 검증하고 제공하는 정보가 정확하고 개인화된지 확인할 수 있도록 합니다. 이러한 계층이 없는 상담원은 마치 전문가처럼 보일지 모르지만, 실제로는 엄격한 업무 흐름에 따라 빈칸을 채우는 데 그치고 있습니다.

강력한 검토 시스템은 정확성을 평가할 수 있습니다.

환자는 AI 상담원과 통화를 끊고 만족감을 느낄 수 있지만, 상담원의 업무는 아직 끝나지 않았습니다. 의료 기관은 상담원이 정확한 정보를 제공할 뿐만 아니라, 상담 내용을 이해하고 문서화했는지 확인해야 합니다. 바로 이 부분에서 자동화된 후처리 시스템이 필요합니다.

강력한 검토 시스템은 모든 대화를 마치 엄청난 시간을 가진 인간 관리자처럼 꼼꼼하게 검토해야 합니다. 응답의 정확성을 파악하고, 정확한 정보가 수집되었는지 확인하며, 후속 조치가 필요한지 여부를 판단할 수 있어야 합니다. 문제가 있는 경우 상담원은 담당자에게 보고할 수 있어야 하며, 모든 사항이 확인되면 해당 작업은 안심하고 처리 목록에서 삭제할 수 있습니다.

신뢰 구축에 필요한 이 세 가지 기본 요소 외에도, 모든 에이전트 AI 인프라는 환자 데이터를 보호하고 에이전트가 규제 범위 내에서 운영되도록 보장하는 강력한 보안 및 규정 준수 프레임워크를 필요로 합니다. 이러한 프레임워크는 SOC 2 및 HIPAA와 같은 일반적인 업계 표준을 엄격히 준수해야 하지만, 편향 테스트, 보호된 건강 정보 삭제, 데이터 보존을 위한 프로세스도 구축해야 합니다.

이러한 보안 장치는 단순히 규정 준수 여부를 확인하는 데 그치지 않습니다. 환자와 의료진이 기대하는 수준으로 모든 상호작용을 관리할 수 있도록 보장하는 신뢰할 수 있는 시스템의 근간을 형성합니다.

의료 산업은 AI에 대한 더 이상의 과장된 홍보가 필요하지 않습니다. 안정적인 AI 인프라가 필요합니다. 에이전트 AI의 경우, 신뢰는 설계를 통해 얻어지는 것이 아니라, 스스로 만들어내는 것입니다.