의료 인공지능은 책임성 문제를 가지고 있다

의료 분야에서 인공지능은 임상 의사 결정부터 인사 및 재무까지 모든 곳에 깊이 침투하고 있습니다. 그러나 많은 조직은 여전히 인공지능 도구가 해를 끼치지 않도록 하는 데 필요한 위험 관리 위임을缺하고 있습니다. 구조화된 감독의 부재는 인공지능 관련 결정이 명확한 책임성 없이 이루어지게 하여 조직을 윤리적 및 규제적 위반의 위험에 노출시킵니다.

誰도 인공지능이 취하는 결정과 행동에 책임을 지지 않는다면, 맹점은 급격히 확대될 것입니다. 인공지능 시스템이 감독 없이 고위험 결정을 내리는 결과는 수많고 멀리 퍼져 있으며, 특히 사람들의 목숨이 걸린 경우에 더욱 그렇습니다.

오늘날의 인공지능 거버넌스 격차는 이전의 전환점과 비슷합니다. 기술 곡선이 기업의 관리 능력보다 더 빠르게陡升한 경우입니다. 우리는 클라우드 컴퓨팅에서 이를 경험했습니다. 팀은 SaaS, IaaS 및 “그림자 IT”를 사용하여 더 빠르게 이동했지만, 데이터 분류, 身分 및 접근 관리, 벤더 감독, 로깅/모니터링 및 共同 책임 명확성과 같은 기본 사항에서 거버넌스는 뒤처졌습니다. 따라서 책임성이 IT, 보안, 조달 및 비즈니스 전체에 산재되었습니다. 우리는 또한 IT 및 모바일/BYOD의 급속한 소비자화에서 이를 보았습니다. 여기서 직원들은 조직이 암호화, 엔드포인트 제어, 앱 검증 및 전자 발견에 대한 성숙한 정책을 갖기 전에 새로운 장치와 앱을 규제 환경에 가져왔습니다. 각 경우에採用는 합리적이고 종종 가치 창조적이었습니다. 그러나 명확한 소유권, 표준화된 제어 및 수명 주기 감독의 부재는 예측 가능한 실패를 만들었습니다. 인공지능에 대한 교훈은 간단합니다. 거버넌스는 혁신에 대한 후속 조치로附加될 수 없습니다. 다른 중요한 인프라와 같이 의도적으로, 정의된 결정 권한, 지속적인 모니터링 및 강제 가능한 가드레일과 함께 구축되어야 합니다.

분산된 책임성 문제

인공지능의 빠른 배포는 거버넌스 및 책임성 표준의 개발을 앞섰습니다. 이는 단일 实体가 인공지능이 실패할 때 책임을 지지 않는 “분산된 책임성” 격차를 만듭니다.

의료 분야에서 책임성은 이미 만연한 문제입니다. 인공지능은 새로운 도전을 가져왔습니다. 인공지능 도구에는 인정받은 법적 身分이 없으므로 소송이나 보험을 청구할 수 없으며 피해자에게 법적 보상을 지불할 수 없습니다. 법적 절차에서 과실은 인간 行為者 또는 법인에 전가되어야 합니다. 도구에는 전가할 수 없습니다.

영국 의학 연구 저널 The Lancet의 연구자들은 최근 “기관의 책임 구조는 임상의로부터 기관이 설계하고 배포하는 [인공지능] 도구로 책임을 재분배해야 한다”고 주장했습니다. 책임성에 대한 이러한 질문은 장래에도 지속될 것입니다.

유럽 연합은 지역 규모에서 이러한 문제를 해결하려고 합니다. 이 블록은 두 개의 주요 입법 기관을 도입했습니다. 인공지능 사용을 위험도에 따라 규제하고 인간의 감독을 보존하는 것을 강조하는 인공지능 법과 인공지능으로 인한 피해에 대해 보상을 청구하기 쉽게 하는 새로운 규칙을 정하는 인공지능 책임 지침입니다.

그러나 규제만으로는 문제를 해결할 수 없습니다. 병원은 벤더, 임상의, 관리자 및 IT 팀의 복잡한 웹 내에서 운영되므로 인공지능 시스템이 유해하거나 편향된 출력을 생성할 때 책임이 스테이크홀더 사이에서 공유됩니다. 벤더는 부적절한 사용을 지적할 수 있으며, 임상의는 설계가 결함이 있다고 말할 수 있으며, 리더십은 규제적 모호성을 비난할 수 있습니다.

이 모든 것은 책임성이 분산되어 병원을 주요 법적 전투에 취약하게 만듭니다.

거버넌스 격차를 메우기 위한 실제 단계

좋은 소식은 규제가 완전하지 않더라도 의료 기관이 인공지능 거버넌스 격차를 능동적으로 메울 수 있다는 것입니다. 시작으로 리더는 세계 보건 기구의 보고서인 “인공지능의 윤리 및 거버넌스“를 참조할 수 있습니다. 이 보고서는 인공지능의 약속을 최대화하고 위험을 최소화하는 것을 목표로 합니다.

이 보고서에서 제시된 단계는 자율성을 보호하고, 인간의幸福과 공공 안전을 촉진하며, 투명성과 설명 가능성을 보장하며, 책임성과 책임을 촉진하는 것을 목표로 합니다. 거버넌스 격차를 해결하기 위해 후자의 두 가지 사항에 초점을 맞춥니다.

인공지능 거버넌스를 위한 통일된 접근 방식을 구현하여 이를 상위에서 지시합니다. 현재 많은 조직이 개별 부서에서 인공지능을 사용하도록 허용하여 리더가 조직이 이러한 도구를 어디에서 어떻게 사용하는지 설명할 수 없습니다. 가시성이 중요하므로 사용 중인 도구와 사용 목적을 정확히 알고 있어야 합니다.

인공지능 수명 주기 전반에 걸친 명확한 책임성 라인을 설정하는 것도同樣 중요합니다. 이는 도구의 구매, 검증, 배포, 모니터링 및 사고 대응을 책임지는 사람 또는 부서를 의미합니다. 병원은 벤더가 정의된 투명성 및 감사 가능성 표준을 충족하도록 요구해야 하며, 내부 팀이 인공지능 시스템의 능력과 한계를 이해하도록 교육해야 합니다.

마지막으로 거버넌스는 문서화되어서는 안 되며 작동해야 합니다. 정책을 워크플로에 통합하여 인공지능 위험 평가를 구매 프로세스에 통합하고 인공지능 성능에 대한 정기적인 감사를 수행하며 전방 직원이 문제를 신속하게 보고할 수 있는 메커니즘을 만듭니다.

실제로 거버넌스 격차를 메우는 것은 새로운 원칙을 도입하는 것보다 규율을 강화하는 것과 같습니다. 인공지능이 조직에 들어가는 방식을 표준화하고 모든 단계에서 소유권을 정의하며 성능을 지속적으로 검토합니다. 이러한 규율이 없으면 인공지능 도구는 안전을 유지하기 위한 구조를 앞서続적으로 유지할 것입니다.

숨겨진 위험: 데이터 품질

책임성 구조가 있는 경우에도 또 다른 위험은 종종 과소평가됩니다. 인공지능 시스템에 공급되는 데이터의 무결성과 이러한 시스템이 시간의 경과에 따라 어떻게 진화하는지입니다. 모든 인공지능 시스템은 훈련 데이터와 지속적으로 학습하는 데이터만큼 신뢰할 수 있습니다. 병원 데이터 환경은 종종 단편화되어 있고 일관성이 없으며 간극이 발생하기 쉽습니다.

전자 건강 기록, 영상 시스템 및 행정 플랫폼은 종종 시洛에서 운영되어 인공지능 출력에 직접적인 영향을 미치는 불일치를 만들 수 있습니다. 불완전하거나 편향된 데이터 세트로 훈련된 모델은 결함이 있는 추천을 할 수 있으며 이미 손상을 입힌 후에야 발견될 수 있습니다. 특히 임상 환경에서 작은 정확도 편차는 환자에게 상당한 결과를 초래할 수 있습니다.

이 문제를 복합하는 것은 “모델 드리프트“입니다. 즉, 인공지능 모델이 시스템에 더 많은 데이터가 입력됨에 따라 지침과 컨텍스트에서 벗어나는 경향이 있습니다. 환자 인구통계가 진화하고 새로운 치료 프로토콜이 도입되고 외부 요인이 운영에 영향을 미치면 인공지능 도구의 기준 가정은 변경될 수 있습니다. 지속적인 모니터링과 재조정을 하지 않으면 일찍이 신뢰할 수 있었던 인공지능 시스템이 자신의 훈련과 다르게 행동하거나 추천을 시작할 수 있습니다.

모델 드리프트를 해결하기 위해 병원은 인공지능 시스템을 정적 도구가 아닌 동적, 고위험 자산으로 취급해야 합니다. 이는 연속적인 성능 모니터링을 구현하고 허용 가능한 정확성 임계값을 설정하며 재훈련 및 검증을 위한 소유권을 정의하는 것을 의미합니다. 데이터 거버넌스를 강화하고 데이터 품질, 상호 운용성 및 편향 감지를 위한 표준화된 관행을 구축해야 합니다.

데이터 품질과 모델 드리프트에 연관된 위험을 해결하지 않으면 심지어 최고의 인공지능 거버넌스 프레임워크도 부족할 것입니다. 인공지능 시스템은 데이터에 의존하기 때문에 이러한 위험을 무시하면 언젠가 시스템적 실패의 가능성이 생길 것입니다.

실행하기 전에 올바르게 설정하십시오

인공지능은 효율성, 정확성 및 환자 결과를 개선함으로써 의료 분야를 변혁할 수 있는 잠재력을 가지고 있습니다. 그러나 인공지능이 표면화하는 위험에 대한 명확한 소유권이 없으면 이러한 잠재력은 빠르게 책임성으로 변할 수 있습니다.

병원은 인공지능 거버넌스를 준수 ejercicio로 취급할 수 없습니다. 그것은 핵심 운영 우선순위로 취급되어야 합니다. 즉, 소유권을 정의하고, 감독 구조를 설정하며, 지속적으로 평가합니다. 의료 분야에서何か가 잘못되면 잘못된 사람을 찾는 것보다 더 나쁜 결과가 발생할 수 있습니다.