์ฌ์ ๋ฆฌ๋
์๋ฃ์ฉ AI๋ ์ฑ ์ ๋ฌธ์ ๊ฐ ์๋ค
의료 분야에서 AI는 현재 임상 의사 결정부터 인사 및 재무까지 모든 분야에 깊숙이 침투하고 있다. 그러나 많은 조직은 여전히 AI 도구가 해를 끼치지 않도록 필요한 위험 관리 위임을缺하고 있다. 구조화된 관리의 부재로 인해 AI 관련 결정은 명확한 책임 없이 이루어지며, 이는 조직이 윤리 및 규제 위반의 위험에 노출되도록 한다.
AI가 결정하고 행동할 때誰도 책임을 지지 않는다면, 盲点은 급격히 확대될 것이다. AI 시스템이 감독 없이 고위험 결정을 내릴 때의 결과는 수많고 далеко 갈며, 특히 사람들의 생명이 걸린 경우에는 더욱 그렇다.
오늘날의 AI 거버넌스 격차는 이전의 기술 곡선이 기업의 관리 능력을 따라가지 못한 점과 유사하다. 우리는 클라우드 컴퓨팅에서 이러한 상황을 겪었다. 팀은 SaaS, IaaS, “그림자 IT”를 채택하여 더 빠르게 이동했지만, 거버넌스는 데이터 분류, 身分 및 액세스 관리, 벤더 관리, 로깅/모니터링, 共同 책임 명확성과 같은 기본 사항에서 뒤처졌다. 따라서 책임은 IT, 보안, 조달, 사업부에 걸쳐 분산되었다. 우리는 또한 IT 및 모바일/BYOD의 급속한 소비자화에서 이러한 상황을 보았다. 여기서 직원들은 규제 환경에 새로운 장치와 앱을 가져오기 전에 조직이 암호화, 엔드포인트 제어, 앱 검증, 전자 발견과 같은 성숙한 정책을 갖추지 못한 경우에 있었다. 각 경우에採用은 합리적이었으며 종종 가치 창조를 했지만, 명확한 소유권, 표준화된 제어, 수명 주기 관리의 부재로 인해 예측 가능한 실패가 발생했다. AI에 대한 교훈은 간단하다. 거버넌스는 혁신에 대한 후속 조치가 될 수 없다. 그것은 다른 중요한 인프라와 마찬가지로 의도적으로, 정의된 의사 결정 권한, 지속적인 모니터링, 강제 가능한 가드레일과 함께 구축되어야 한다.
분산된 책임의 문제
AI의 빠른 배포는 거버넌스 및 책임 기준의 개발을 앞섰으며, 이는 단일 实體가 AI가 실패할 때 책임을 지지 않는 “분산된 책임” 격차를 초래했다.
의료 분야에서 책임은 이미 만연한 문제이며, AI는 새로운 도전을 가져왔다. AI 도구에는 인정받은 법적 身分이 없으므로, 그們은 소송이나 보험에 대한 책임을 지지不了, 또한 피해자에게 법적 보상을 지불할 수 없다. 법적 절차에서, 과실은 인간 行為者 또는法人에 전가되어야 한다, 도구에는 전가되어서는 안된다.
의학 연구 저널인 란셋(The Lancet)의 연구자들은 최근 “기관의 책임 구조는 임상 의사로부터 기관이 설계하고 배포하는 [AI] 도구로 책임을 재분배해야 한다”고 주장했다. 이러한 책임에 대한 질문은 장래에도 지속될 것이다.
유럽 연합은 지역 규모에서 이러한 문제를 해결하려고 한다. 이 블록은 두 개의 주요 입법 기관을 도입했다. 하나는 AI 사용을 위험 度에 따라 규제하며 인간의 감독을 유지하는 것을 강조하는 AI 법안이고, 다른 하나는 AI에 의한 피해에 대한 보상을 청구하기 쉽게 하는 새로운 규칙을 정하는 AI 책임 지시문이다.
그러나 규제만으로는 문제를 해결할 수 없다. 병원은 벤더, 임상 의사, 관리자, IT 팀의 복잡한 웹 안에서 운영되므로, AI 시스템이 유해하거나 편향된 출력을 생성할 때, 책임은 이해 관계자 사이에서 공유된다. 벤더는 부적절한 사용을 지적할 수 있으며, 임상 의사는 설계가 결함이 있다고 말할 수 있으며, 리더십은 규제 불명확성을 비난할 수 있다.
이 모든 것이 의미하는 바는 책임이 분산되어 있으며, 병원을重大한 법적 전쟁에 취약하게 한다.
거버넌스 격차를 메우기 위한 실용적인 단계
좋은 소식은, 포괄적인 규제가なく도 의료 기관이 AI 거버넌스 격차를 능동적으로 메울 수 있다는 것이다. 먼저, 리더들은 세계 보건 기구의 보고서인 “의료용 인공 지능의 윤리 및 거버넌스“를 시작할 수 있다. 이 보고서는 AI의 약속을 최대화하면서 위험을 최소화하려고 한다.
이 보고서에서 제시된 단계는 자율성을 보호하고, 인간의幸福과 공공 안전을 증진하며, 투명성과 설명 가능성을 보장하며, 책임과 책임을 증진하는 것을 목표로 한다. 거버넌스 격차를 해결하기 위해, 후자의 두 가지 사항에 초점을 맞출 것이다.
AI 거버넌스를 위한 통일된 접근 방식을 구현하여, 이를 위에서 아래로 지시한다. 현재 많은 기관이 각 부서에서 AI를 사용하도록 허용하고 있지만, 리더들은 조직이 이러한 도구를 어디에서, 어떻게 사용하는지 설명할 수 없다. 가시성은 매우 중요하므로, 사용 중인 도구와 사용 목적을 정확히 알고 있어야 한다.
AI 수명 주기 전반에 걸친 명확한 책임선을 설정하는 것도同樣 중요하다. 이는 조달, 검증, 배포, 모니터링, 사고 대응 등 모든 단계에서 책임을 지는 사람이나 부서를 지정하는 것을 의미한다. 병원은 벤더가 정의된 투명성 및 감사 가능성 표준을 충족하도록 해야 하며, 내부 팀이 AI 시스템의 능력과 한계를 이해하도록 교육해야 한다.
마지막으로, 거버넌스는 문서화된 것이 아니라 운영화되어야 한다. 정책을 워크플로에 통합하여, 조달 프로세스에 AI 위험 평가를 통합하고, AI 성능에 대한 정기적인 감사를 수행하며, 전선 직원이 문제를 신고할 수 있는 메커니즘을 생성한다.
실제로 거버넌스 격차를 메우는 것은 새로운 원칙을 도입하는 것보다 규율을 강화하는 것이다. AI가 조직에 들어가는 방식을 표준화하고, 모든 단계에서誰가 소유하는지 정의하며, 그 성능을 지속적으로 조사한다. 이러한 규율이 없으면, AI 도구는 안전을 유지하기 위한 구조를 앞서나갈 것이다.
숨겨진 위험: 데이터 품질
책임 구조가 갖춰져 있다고 해도, 또 다른 위험이 있다. 그것은 AI 시스템에 입력되는 데이터의 무결성과, 이러한 시스템이 시간의 경과에 따라 어떻게 발전하는지이다. 모든 AI 시스템은 학습 데이터와 지속적으로 학습하는 데이터만큼 신뢰할 수 있다. 그리고 병원 데이터 환경은 조각조각 나뉘어져 있고, 불일치가 많으며, 간격이 많다.
전자 건강 기록, 이미지 시스템, 행정 플랫폼은 종종 실로 운영되며, 이는 직접적으로 AI 출력에 영향을 미칠 수 있다. 불완전하거나 편향된 데이터셋으로 학습된 모델은 결함이 있는 추천을 할 수 있으며, 이미 피해가 발생했을 때까지는 그 잘못이 발견되지 않을 수 있다. 특히 임상 환경에서, 정확성의 작은 편차는 환자에게重大한 결과를 초래할 수 있다.
이 문제를複合하는 것은 “모델 드리프트”이다. 즉, AI 모델이 지시와 컨텍스트에서 벗어나면서 더 많은 데이터가 시스템에 입력됨에 따라 발생하는 현상이다. 환자 집단이 발전하고, 새로운 치료 프로토콜이 도입되고, 외부 요인이 운영에 영향을 미치면, AI 도구의 기본 가정은 변경될 수 있다. 지속적인 모니터링과 재조정이 없으면, 한때 신뢰할 수 있는 성능을 보였던 AI 시스템이 행동이나 추천을 변경하여 훈련에서 벗어날 수 있다.
모델 드리프트를 해결하기 위해, 병원은 AI 시스템을 정적 도구가 아니라, 동적이고 고위험 자산으로 취급해야 한다. 이는 지속적인 성능 모니터링을 구현하고, 허용 가능한 정확성의 임계값을 설정하며, 재학습과 검증을 위한 소유권을 정의하는 것을 의미한다. 데이터 거버넌스를 강화해야 하며, 데이터 품질, 상호 운용성, 편향 탐지를 위한 표준화된 관행을 구축해야 한다.
데이터 품질과 모델 드리프트에 따른 위험을 직면하지 않으면, 심지어 가장 좋은 AI 거버넌스 프레임워크도 부족할 것이다. 의료용 AI 시스템은 그들이 기반으로 하는 데이터만큼 좋은 시스템이기 때문에, 이러한 위험을 무시하면 언젠가 시스템적인 실패의 가능성이 생긴다.
운행하기 전에 올바르게 설정하십시오
AI는 효율성, 정확성, 환자 결과를 개선하여 의료 분야를 변革할 수 있는 잠재력을 가지고 있다. 그러나 그로 인해 발생하는 위험에 대한 명확한 소유권이 없으면, 그 잠재력은 빠르게 책임으로 변할 수 있다.
병원은 AI 거버넌스를 컴플라이언스 연습으로 취급할 수 없다. 그것은 핵심 운영 우선순위로 취급되어야 한다. 즉, 소유권을 정의하고, 감독을 구조화하고, 지속적으로 평가한다. 의료 분야에서何か가 잘못되면, 잘못된 사람을 찾는 것보다 그 결과가 훨씬 더 나쁠 수 있다.
