병원이 인공지능을 채택하기 전에 이해하지 못한 것

병원은 인공지능을 단 하나의 의도적인 순간에 채택하지 않았다. 그것은 조각으로 들어왔다: 이미지 알고리즘, 문서 보조, 직원 예측, 환자 메시지 생성기, 거부 예측 모델, 스케줄링 도구. 각 제품은 다른 부서를 통해 들어왔고, 다른 필요를 충족시키고, 다른 예산에 대해 평가되었다.

그 분산된 경로로 인해 채택이 관리 가능하게 느껴졌다. 하지만 병원이 실제로 무엇을 취할지에 대한 것을 숨겼다.

인공지능 제품은 단순한 소프트웨어 응용 프로그램이 아니다. 그것은 판단에 영향을 미치고, 작업을 재배치하고, 책임을 변경하고, 데이터가 변경됨에 따라 학습하고, 결과를 재구성하기 어려운 출력을 생성할 수 있는 시스템이다. 병원은 종종 이해가 필요한 결과를 이해하기 전에 기능을 구입했다.

건강 관리 기관과密接하게 일하면서, 나는 인공지능 채택의 가장 어려운 부분이 모델 자체에서 시작하는 것이 아니라, 기술이 설계되지 않은 워크플로우에 들어가고, 사람들이 출력에 대한 신뢰, 권한, 책임을 어떻게 할지 결정해야 할 때 시작한다는 것을 보았다.

이것은 채택에 반대하는 논증이 아니다. 건강 관리에는 더 나은 도구가 필요하고, 인공지능은 이미 실제 가치를 창출하고 있다. 이것은 채택의 더 성숙한 정의를 위한 논증이다. 즉, 구입 후에 시작하는 것이 아니라, 그 후에 시작하는 것이다.

효율성이라고 표시된 문을 통해 인공지능이 들어왔다

병원에서 인공지능의 초기 사례는 실제였다. 행정 작업이 증가하고, 직원 압력이 강해지고, 의사가 임상 판단을 요구하지 않는 작업에 너무 많은 시간을 보냈다. 그需求은 더 커졌다. 2026년에, アメリカ 의사 협회는 의사 81%가 임상에서 인공지능을 사용한다고 보고했다. 이는 2023년의 두 배였다.

그것은 이해할 수 있다. 병원은 접근성을 개선하고, 소진을 줄이고, 비용을 관리하고, 정보를 더 빠르게 이동해야 한다. 메모를 작성하거나, 큐를 우선순위로 지정하거나, 지연을 예측하거나, 차트를 요약하는 도구는 좁은 운영 개선으로 보일 수 있다.

하지만 인공지능은 한번 워크플로우에 들어가면 좁은 범위에 머무르지 않는다. 문서 시스템은 기록에 무엇이 포함되는지 변경한다. 우선순위 모델은 어느 경우가 먼저 보이는지 변경한다. 예측 도구는 직원 배치 결정에 영향을 미친다. 환자 통신 보조는 임상 의도를 언어로 번역하는 방식을 변경한다. 원래 목적이 행정적인 경우에도, 운영 효과는 치료 제공에 도달할 수 있다.

따라서 병원은 효율성을 넘어서 새로운 형태의 영향력을 채택했다. 즉, 결정, 시퀀싱, 주의, 책임에 대한 새로운 형태의 영향력을 채택했다.

첫 번째 오해: 인공지능을 전통적인 소프트웨어로 취급하는 것

전통적인 소프트웨어는 일반적으로 정의된 기능을 신뢰성 있게 수행하는지 여부에 따라 판단된다. 인공지능은 더 넓은 질문 세트가 필요하다. 어떤 데이터가 모델을 형성했는가? 성능이 약해지는 곳은 어디인가? 출력이 어떻게 변경되는가? 모델이 업데이트되면 어떻게 되는가? 결과를 검토하는 사람은 누구인가? 몇 개월 후에 결정에 대한 도전이 있을 때 어떤 증거가 유지되는가?

이러한 질문은 공식적인 건강 기술 정책의 일부가 되고 있다. 국립 건강 정보 기술 협조기구의 HTI-1 규칙은 예측 알고리즘에 대한 투명성 요구 사항을 도입했다. 즉, 사용자가 공정성, 적절성, 유효성, 효과성, 안전성을 평가하는 데 도움이 되는 정보이다. 이러한 언어는 중요한 의미를 가진다. 왜냐하면 평가를 도구가 작동하는 데모 이상으로 이동시키기 때문이다.

병원은 도구가 여기, 이 인구, 이 워크플로우, 이러한 조건, 이러한 사람들에 의해 출력에 대한 책임을 지는지 여부에 따라 작동하는지 알아야 한다.

그것은 매우 다른 조달 질문이다. 그것은 기능 목록이나 벤더 프레젠테이션만으로 대답될 수 없다.

두 번째 오해: 인간 감시가 모든 것을 해결한다고 가정하는 것

“인간이 루프 안에 있다”는 건강 관리에서 안심할 수 있는 문구가 되었다. 즉, 사람이 제어하고, 기계를 수정할 수 있다. 하지만 실제로 인간 감시는 출력에 대한 질문을 할 수 있는 시간, 권한, 맥락, 이유가 있을 때만 의미가 있다.

의사가 수백 개의 인공지능 보조 추천을 받는 경우, 각 추천을 처음부터 검토하지 않는다. 높은 볼륨의 큐에서 일하는 직원은 기본값으로 제시되는 우선순위를 수락할 수 있다. 검토자는 기술적으로 모델을 무효화할 수 있는 권한을 가지고 있지만, 결과를 이해하기 위해 필요한 정보를 가지고 있지 않을 수 있다.

세계 보건 기구의 건강 인공지능에 대한 지침은 자율성, 책임, 투명성, 안전, 공정성을 중심으로 구현한다. 이러한 원칙은 단지 인간이 최종 버튼을 클릭한다고 만족되지 않는다.

인간 감시는 운영 기능으로 설계되어야 한다. 병원은 어떤 출력이 검토를 필요로 하는지, 검토자가 어떤 증거를 보는지, 언제 에스컬레이션이 필수인지, 어떻게 이의를 제기하는지, 출력을 검토하는 사람이 실제로 개입할 수 있는지 정의해야 한다.

방출 후에 따라잡는 지침을 작성하는 환자 메시지 보조를 고려하자. 의사는 승인을 위해 책임을 지지만, 실제적인 안전 장치는 워크플로우에 달려 있다. 초안이 기계적으로 생성되었다는 것이 명확하게 표시되어 있는지? 검토자가 임상적 근거 자료를 볼 수 있는지? 직원이 언어에서 경고를 생략하거나 확신을 과장하는지認識할 수 있는지? 메시지가 승인되고 나중에 혼란을 일으킨다면, 책임을 인간이 “보내기”를 클릭했다는 사실로 축소할 수 없다. 검토 과정의 설계가 검토자의 존재만큼 중요하다.

세 번째 오해: 검증이一度의 사건이라고 믿는 것

많은 조직이 인공지능을 구현하기 전에 검증하고, 시스템을 안정적인 것으로 취급한다. 이는 전통적인 구현 사고 방식이다: 테스트, 승인, 배포, 유지 보수.

인공지능의 성능은 주변 환경의 변화로 인해 변할 수 있다. 환자 인구는 변한다. 코딩 관행은 변한다. 임상 문서화는 변한다. 새로운 장비가 도입된다. 직원은 도구에 대한 행동을 적응한다. 벤더는 모델을 업데이트한다. 데이터 인터페이스는 조용히 깨진다. 출시 당시 적절하게 수행된 시스템은 명백한 오류 메시지를 생성하지 않고도 덜 신뢰할 수 있게 될 수 있다.

NIST 인공지능 위험 관리 프레임워크는 위험 관리를 지속적인 라이프사이클 활동으로 취급한다. 즉, 관리, 매핑, 측정, 관리를위한 위험을 중심으로 한다. 병원은 동일한 원칙을 운영적으로 적용해야 한다.

배포 후 모니터링은 가용성에만 국한되어서는 안 된다. 성능은 환자 그룹, 오버라이드 패턴, 비정상적인 출력 분포, 워크플로우 지연, 사용자 불만, 하위 수정, 그리고 직원이 의도하지 않은 방식으로 시스템을 사용하고 있는지의 징후를 포함해야 한다.

모델은 기술적으로 사용 가능하지만 동시에 운영적으로 안전하지 않을 수 있다.

네 번째 오해: 규제 승인을 기관 준비와 혼동하는 것

미국 식품의약국은 인공지능을 사용하는 의료 기기를 승인했다. 이것은 규제된 제품에 대한 중요한 보증 계층이다. 하지만 규제 승인과 병원 준비는 다른 질문에 대한 답이다.

규제 기관은 기기가 충분히 안전하고 효과적임을 결정할 수 있다. 하지만 병원은 자신의 데이터, 직원, 인프라, 훈련, 에스컬레이션 경로, 환자 인구가 책임 있는 사용을 지원하는지 여부를 결정해야 한다.

同じ 구별이 비기기 인공지능에도 적용된다. 보안 검토는 임상 적절성을 확립하지 않는다. 개인 정보 보호 검토는 워크플로우 안전을 확립하지 않는다. 법적 승인은 사용자 능력을 확립하지 않는다. 성공적인 파일럿은 기업 준비를 확립하지 않는다.

병원은 이러한 질문을 함께 가져오는 통일된 의사 결정 프로세스가 필요하다. 각 부서가 위험의 한 부분만 승인하는 것을 허용하는 대신.

병원이 인공지능을 채택할 때 실제로 무엇을 채택하는가

성숙한 조직은 인공지능 구현이 동시에 최소 다섯 가지를 도입한다는 것을 인식해야 한다:

• 판단 영향: 인공지능이 최종 결정하지 않 即使, 사람들의 주의, 우선순위, 信念을 형성한다.
• 데이터 의존성: 시스템은 주변 데이터의 강점, 격차, 편향, 불안정성을 물려받는다.
• 워크플로우 재설계: 작업이 사람, 시스템, 부서 사이에서 이동하며, 책임을 미묘하게 변경한다.
• 모니터링 의무: 성능은 배포 후에 관찰되어야 하며, 배포 전 증거에서 가정되어서는 안 된다.
• 신뢰 관계: 환자와 직원은 인공지능이 어디에 있고 어떤 역할을 하는지 이해해야 한다.

이 더 넓은 정의는 병원이 수십 개의 인공지능 도구를 배포하고 여전히 준비가 되지 않았다는 것을 설명한다. 조직은 능력을 획득했지만, 그것들을 포트폴리오로 관리하기 위한 연결 조직을 구축하지 않았다.

인공지능 재고에서 인공지능 책임까지

첫 번째 실용적인 단계는 또 다른 전략 문서가 아니다. 그것은 신뢰할 수 있는 재고이다.

일부 병원은 아직 인공지능이 이미 작동하고 있는 곳에 대한 완전한 견해가 없다. 왜냐하면 그것은 더 큰 플랫폼 내에 내장되어 있거나, 부서 구매를 통해 도입되었거나, 자동화, 지능, 예측, 최적화 또는 의사 결정 지원과 같은 더 부드러운 용어로 설명되기 때문이다.

재고는 각 시스템의 목적, 영향을 받는 결정, 사용 데이터, 영향을 받는 인구, 벤더 및 모델 버전, 인간 소유자, 검토 프로세스, 에스컬레이션 경로 및 승인에 사용된 증거를 기록해야 한다.

하지만 재고만으로는 治理가 아니다. 책임은 각 시스템에 명명된 실행 책임자와 운영 책임자가 있는 경우에 시작된다. 실행 책임자는 사용 사례가 여전히 적절한지에 대한 책임을 진다. 운영 책임자는 시스템이 일상적인 작업에서 어떻게 작동하는지 이해하고, 현실이 정책과 다를 때 식별할 수 있다.

새로운 표준: 확장하기 전에 이해하기

병원은 모든 인공지능 이니셔티브를 완벽한 확신을 얻을 때까지 중단할 필요는 없다. 완벽한 확신은 건강 관리나 기술에서 존재하지 않는다. 그들은熱情에 의한 확장을 증거에 의한 확장으로 대체해야 한다.

즉, 특정 문제에서 시작하여, 인공지능의 역할을 정의하고, 현지 환경에서 테스트하고, 한계를 문서화하고, 실제 결과를 측정하고, 조직이ประโยชน과 위험을 모두 설명할 수 있을 때만 확장한다.

가장 중요한 질문은 더 이상 “이 도구가 인공지능을 사용하는가?”가 아니다. 그 질문은 유용한 것이 너무 넓다. 더 좋은 질문은: 그것이 어떤 판단을 영향하는가? 그것이 잘못된 경우에 무엇이 발생하는가? 누가 그것을 중단할 수 있는가? 증거는 그것의 역할을 확장하는 것을 정당화하는가?

최근 세계 보건 기구의 건강 인공지능에 대한 정책 가이드는 건강에서 인공지능에 대한 이해를위한 유사한 경우를 제기한다. 즉, 안전, 편향, 治理, 규제, 신뢰를超えて 검토한다. 병원은 기술 팀에서 기대하는 것과同じ 수준의 문해력을 리더십 팀에서 기대해야 한다.

실제 기회는 기관 학습이다

인공지능으로 가장 많은 이익을 얻는 병원은 반드시 가장 많은 도구를 채택하는 것이 아니다. 그것은 모든 배포에서 가장 빠르게 학습하는 것이다.

그들은 구현을 기관 지식의 원천으로 취급할 것이다: 데이터 품질이 깨지는 곳, 워크플로우가 자동화에 저항하는 곳, 직원이 더 명확한 경계를 필요로 하는 곳, 환자가 더 큰 투명성을 필요로 하는 곳, 治理가 더 구체적으로 되어야 하는 곳.

이러한 학습은 혁신 사무소 내에 남아있을 수 없다. 그것은 임상 리더십, 운영, 컴플라이언스, 기술, 재무, 품질, 이사회에 도달해야 한다. 인공지능은 이제 너무 분산되어 있기 때문에, 전문가 그룹에 의해 治理될 수 없다. 또한 기술 주제만으로 이해될 수 없다.

병원은 인공지능을 완전히 이해하기 전에 채택했다. 그것은 급속한 기술 변화의 기간에 불가피하다. 더 중요한 질문은 그들이 격차가 보일 때 무엇을 하는가이다.

책임 있는 반응은 후퇴가 아니다. 인공지능이 실제로 작동하는 방식, 즉 결정, 워크플로우, 관계, 기관 내에서 이해할 수 있는 능력을 구축하는 것이다. 그러면 채택이 준비가 된다.