설명 가능한 AI는 신뢰성과 신뢰도를 어떻게 향상시킬까?

인공지능(AI)이 기업 전반에 걸쳐 민주화되고 있는 가운데, 사용자는 AI가 어떤 결론에 도달하거나 원하는 결과를 내놓기 위해 사용하는 과정과 메커니즘을 완전히 이해할 수 있어야 합니다. 인간으로서, 우리는 어떤 현象의 “왜”와 “어떻게”를 밝히는 데 깊은 관심을 가지고 있으며, 이는 우리의 기술 발전에 가속도를 붙여 왔습니다. AI의 경우, 이러한 이해는 “설명 가능성”으로 불립니다.

왜 설명 가능성이 필요한가?

대부분의 경우, 우리는 AI를 “블랙 박스”로 접근하여 입력과 출력만을 알고 있지만, 그 사이에서 사용되는 과정은 우리에게 숨겨져 있습니다. 이 문제를 더 복잡하게 만드는 것은, 대부분의 인기 있는 AI 형태를 구동하는 알고리즘, 즉 복잡한 深層 학습 기반 예측 시스템과 자연어 처리(NLP)가 심지어 가장熟練한 실무자에게도 매우 추상적이라는 사실입니다.

신뢰와 투명성: 사용자가 AI의 예측을 신뢰하려면, AI에는 어떤 수준의 설명 가능성이 내재되어 있어야 합니다. 예를 들어, 의사가 AI의 예측을 기반으로 치료를 권장해야 하는 경우, 그는/그녀는 예측에 대한 확신을 가지고 있어야 합니다. 은행은 대출을 거부하거나 승인하기 위한 결정에 대해 모든 이해관계자에게 정당성을 제공할 수 있어야 합니다. 채용을 위한 스크리닝과 채용에 사용되는 AI는 기본 메커니즘이 모든 지원자에게 공정하고 평등하다는 것을 입증해야 합니다.

AI를 더 인간적으로 만들고 채택을 증가시킵니다: McKinsey의 2020년 AI 상태 보고서에 따르면, 제조업체는 공장 노동자가 신뢰할 수 있는 판단을 내릴 수 있도록 매우 투명한 모델을 사용합니다. AI를 빠르게 채택하려면, 이해관계자의 동의를 얻는 것이 단순한 점 해결에서 기업 수준으로 확장하는 데 주요 장애물입니다. 이는 설명 가능성이 더 큰 청중에게 설명될 수 있다면 상당히 완화됩니다. 비즈니스 관점에서 설명 가능성은 전반적인 사용자 경험을 향상시키고 고객 만족도를 높입니다. IBM Institute for Business Value 설문조사에 따르면, 최고 경영진의 68%는 고객이 향후 3년 내에 AI에서 더 많은 설명 가능성을 요구할 것이라고 믿습니다.

편향을 발견하고 모델 성능을 개선합니다: 개발자는 모델의 성능을 어떻게 개선할 수 있는지, 어떻게 디버깅하고 세부적으로 조정할 수 있는지 알아야 합니다. 명확한 설명 가능성 프레임워크는 이러한 분석을 수행하는 데 가장 중요한 도구 중 하나입니다.

보다 날카롭고 완전한 통찰력을 얻습니다: AI가 내린 처방을 완전히 이해하기 위해서는 360도 전망이 필요합니다. 예를 들어, 투자 결정을 내리기 위해 AI를 사용하는 경우, 그 이유를 알고 다른 영역에서 이 지식을 전달하고 해당 결정을 내린 잠재적인 함정을 이해할 수 있어야 합니다. AI가 작동하는 방식을 잘 이해하면 의사 결정자가 새로운 사용 사례를 발견할 수 있습니다.

규정과 책임: GDPR와 같은 여러 규정은 설명의 권리를 요구하며, 자동화된 의사 결정 프로세스에서 발생하는 책임 문제를 해결합니다. 자율 주행 자동차와 같은 시스템에서何か가 잘못되어 생명과 재산의 손실이 발생하는 경우, 루트 원인을 파악하는 것이 블랙박스 시스템에서는 어려울 것입니다.

AI를 더 설명 가능하게 만드는 방법은 무엇인가?

설명 가능한 인공지능 시스템(XAI)은 모델 전체 또는 알고리즘의 도움으로 개별 예측의 근거를 설명하는 데 중점을 둔 다양한 기술을 사용하여 개발됩니다.

대부분의 설명 가능성 기술은 다음을 기반으로 합니다.

• 모델을 개별 구성 요소로 분리합니다.
• 모델 예측의 시각화(예: 모델이 특정 브랜드의 자동차로 분류할 경우, 해당 브랜드로 플래그를 설정한 부분을 강조합니다).
• 설명 마이닝(기계 학습 기술을 사용하여 인공 지능 알고리즘의 예측을 설명하는 관련 데이터를 찾습니다).

프록시 모델링과 같은 기술에서, 더 단순하고 이해할 수 있는 모델(예: 의사 결정 트리)이 더 복잡한 AI 모델을 근사적으로 나타내는 데 사용됩니다. 이러한 단순화된 설명은 모델에 대한 높은 수준의 아이디어를 제공하지만, 때때로บาง 세부 사항을 숨길 수 있습니다.

다른 접근 방식은 “설명 가능성에 의한 해석”입니다. 이 접근 방식은 인공 지능 네트워크의 설계와 교육에 제약을 두어 더 설명 가능한 더 작은 구성 요소로 네트워크를 구축하려고 시도합니다. 이는 설명 가능성과 정확성 수준 간에 트레이드오프를涉及하며, 데이터 과학자의 도구 상자에서 특정 접근 방식을 제한할 수 있습니다. 또한 컴퓨팅 자원 집중적인 작업이 될 수 있습니다.

AI 훈련과 테스트는 또한 로컬 인터프리터블 모델(LIME) 및 샤플리 애드디티브 설명(SHAP)와 같은 무차별 데이터 검증 기술을 사용할 수 있으며, 이러한 기술은 높은 정확성을 달성하기 위해 F-점수, 정밀도 및 기타 지표를 사용하여 맞춤형으로 설계되어야 합니다. 또한 모든 결과는 다양한 데이터를 사용하여 모니터링되고 검증되어야 합니다. 예를 들어, LIME를 사용하여 조직은 비투명한 알고리즘(예: 기계 학습)과 유사한 예측을 하는 임시 모델을 생성할 수 있습니다. 이러한 LIME 모델은 주어진 데이터 세트와 해당 출력에 따라 다양한 조합을 생성하여 단순하고 더 해석 가능한 모델을 생성하고 각 결정 및/또는 예측에 대한 전체 설명 목록을 생성하는 데 사용할 수 있습니다. 게임 이론, 특히 협력 게임 이론에 기반한 SHAP 프레임워크는 최적의 신용 할당과 원래 샤플리 값 및 그の子孫을 사용하는 로컬 설명을 결합합니다.

원칙적인 운영

그러나 더 전략적인 수준에서, AI 신뢰성 프레임워크는 적절한 결과를 보장하기 위해 배포의 시작과 시간의 경과에 따라 모델이 변경되는 상황에서 광범위한 원칙 집합을 포함해야 합니다. 이러한 프레임워크에는 최소한 다음이 포함되어야 합니다.

• 편향 감지 – 모든 데이터 세트는 편향과 차별적 속성을 제거하고 훈련 모델에 적용될 때 적절한 가중치와 재량을 부여해야 합니다.
• 인간의 참여 – 운영자는 알고리즘 출력을 언제든지 조사하고 해석할 수 있어야 하며, 특히 모델이 법 집행 및 시민의 자유 보존을 위해 사용되는 경우입니다.
• 정당성 – 모든 예측은 검토를 견딜 수 있어야 하며, 이는 결과를 생성하기 위해 사용된 과정과 기준을 외부 관찰자가 평가할 수 있도록 높은 수준의 투명성을 요구합니다.
• 재현성 – 신뢰할 수 있는 AI 모델은 예측에서 일관성을 보이고 새로운 데이터를遭遇할 때 높은 수준의 안정성을 보여야 합니다.

그러나 XAI는 수익성 개선을 위한 수단으로만 간주되어서는 안 되며, 기관이 社会 전체에 대한 창작물의 영향에 대한 책임을 지고 설명 및 정당성을 제공할 수 있도록 해야 합니다.