Explainable AI가 신뢰성과 신뢰성을 향상시키는 방법

인공 지능(AI)이 기업 전반에 걸쳐 민주화되면서 서서히 우리 존재의 구조에 포함되고 있습니다. 이 민주화의 중요한 측면은 최종 사용자가 AI가 결론에 도달하기 위해 사용하는 프로세스와 메커니즘 또는 원하는 결과를 제공하기 위해 작동하는 방식을 완전히 이해할 수 있어야 한다는 것입니다. 인간으로서 우리는 기술 발전을 가속화한 모든 현상의 "이유"와 "방법"을 밝혀내고자 하는 뿌리 깊은 필요성을 가지고 있습니다. AI의 맥락에서 이러한 이해를 "설명 가능성"이라고 합니다.

설명 가능성이 필요한 이유는 무엇입니까?

종종 우리는 AI를 "블랙 박스"로 접근합니다. 여기서는 입력과 출력만 인식할 수 있지만 어딘가에서 사용된 프로세스가 손실됩니다. 이 문제를 더욱 복잡하게 만드는 것은 복잡한 딥 러닝 기반 예측 시스템 및 자연어 처리(NLP)와 같이 가장 널리 사용되는 형태의 AI를 구동하는 알고리즘이 가장 숙련된 실무자에게도 매우 추상적이라는 사실입니다.

신뢰와 투명성: 사용자가 AI의 예측을 신뢰하려면 AI에 내재된 어느 정도의 설명 가능성이 있어야 합니다. 예를 들어 의사가 AI의 예측을 기반으로 치료를 추천해야 하는 경우 예측에 대한 확신이 있어야 합니다. 은행은 대출을 거부하거나 승인하는 결정을 전적으로 신뢰해야 하며 모든 이해 관계자에게 동일한 결정을 내릴 수 있어야 합니다. 선별 및 채용에 사용되는 AI는 기본 메커니즘이 모든 지원자 코호트에게 공정하고 공평하다는 것을 증명해야 합니다.

AI를 더 인간적으로 만들고 채택률을 높입니다. 맥킨지에서  2020년 보고서의 AI 현황 우리는 제조업체가 안전과 관련하여 AI가 내린 판단을 신뢰해야 하는 공장 근로자의 승인을 위해 매우 투명한 모델을 사용한다는 것을 알게 됩니다.. AI의 신속한 채택을 위해서는 이해관계자의 동의를 얻는 것이 단순한 포인트 솔루션에서 기업 수준으로 확장하고 투자를 최대한 활용하는 데 주요 장애물입니다. 공연이 더 많은 청중에게 설명 가능하다면 이것은 크게 완화됩니다. 비즈니스 관점에서 설명 가능성은 전반적인 사용자 경험을 향상시키고 고객 만족도를 높입니다. IBM 기업가치연구소의 조사 결과에 따르면 최고 경영진의 68%는 고객이 향후 XNUMX년 내에 AI에 대해 더 많은 설명 가능성을 요구할 것이라고 생각합니다.

편향을 발견하고 모델 성능을 개선합니다.  개발자는 모델의 성능을 개선할 수 있는 방법과 모델을 정확히 디버깅하고 미세 조정하는 방법을 알아야 합니다. 명확한 설명 가능성 프레임워크는 필요한 철저한 분석을 수행하기 위한 가장 중요한 도구 중 하나입니다.

더 날카롭고 포괄적인 통찰력 확보:  AI가 내린 모든 처방을 완전히 이해하려면 완전한 360도 뷰가 필요합니다. 예를 들어, AI가 투자 결정을 내리는 데 사용되는 경우, 이 학습을 다른 영역으로 이전하고 해당 결정을 내릴 때 발생할 수 있는 잠재적 위험을 이해하기 위해 그 배후의 근거도 알아야 합니다. AI 작동 방식에 대한 강력한 이해를 통해 의사 결정권자는 새로운 사용 사례를 발견할 수 있습니다.

규정 및 책임: GDPR과 같은 여러 규정은 자동화된 의사 결정 프로세스에서 발생하는 책임 문제를 해결하기 위해 설명에 대한 권리를 의무화하고 있습니다. 자율주행차와 같은 시스템에서 무언가 잘못되어 인명과 재산의 손실이 발생하면 근본 원인에 대한 적절한 지식이 필요하며 블랙박스 시스템에서는 이를 정확히 지적하기 어렵습니다.

AI는 어떻게 더 설명하기 쉬울 수 있습니까?

설명 가능한 인공 지능 시스템(XAI)은 모델 전체를 설명하거나 일부 알고리즘의 지원을 통해 개별 예측의 추론을 설명하는 데 중점을 둔 다양한 기술을 사용하여 개발됩니다.

주로 모든 설명 가능성 기술은 다음에 의존합니다.

• 모델을 개별 구성 요소로 분해)
• 모델 예측의 시각화(예: 모델이 자동차를 특정 브랜드로 분류하는 경우 해당 브랜드로 플래그를 지정하는 부분을 강조 표시함)
• 설명 마이닝(인공지능 알고리즘의 예측을 설명하는 관련 데이터를 찾기 위해 기계 학습 기술을 사용).

프록시 모델링이라는 기술 중 하나에서는 의사결정 트리와 같은 더 간단하고 이해하기 쉬운 모델을 사용하여 더 정교한 AI 모델을 대략적으로 표현합니다. 이러한 단순한 설명은 높은 수준에서 모델에 대한 공정한 아이디어를 제공하지만 때로는 특정 뉘앙스를 억제할 수 있습니다.

또 다른 접근 방식은 "설계에 의한 해석 가능성"이라고 합니다. 이 접근 방식은 더 작고 간단하게 설명할 수 있는 청크에서 전체 네트워크를 구축하려고 시도하는 새로운 방식으로 AI 네트워크의 설계 및 교육에 제약을 둡니다. 여기에는 정확도 수준과 설명 가능성 간의 절충이 포함되며 데이터 과학자 도구 키트의 특정 접근 방식이 제한됩니다. 또한 컴퓨팅 집약적일 수도 있습니다.

AI 교육 및 테스트는 로컬 해석 가능 모델(LIME) 및 Shapley Additive exPlanations(SHAP)와 같은 불가지론적 데이터 검증 기술을 사용할 수 있으며 F-점수, 정밀도 및 기타 메트릭을 사용하여 높은 정확도를 달성하도록 조정되어야 합니다. 물론 모든 결과는 다양한 데이터를 사용하여 모니터링하고 검증해야 합니다. 예를 들어 조직은 LIME을 사용하여 기계 학습과 같은 불투명한 알고리즘의 예측을 모방하는 임시 모델을 만들 수 있습니다. 그런 다음 이러한 LIME 모델은 주어진 데이터 세트 및 해당 출력을 기반으로 광범위한 순열을 생성할 수 있으며, 각 결정 및/또는 예측에 대한 전체 설명 목록과 함께 간단하고 더 해석 가능한 모델을 교육하는 데 사용할 수 있습니다. 게임 이론, 특히 협동 게임 이론에 기반을 둔 SHAP 프레임워크는 . 게임 이론과 그 자손의 원래 Shapley 값을 사용하여 최적의 크레딧 할당과 로컬 설명을 결합합니다.

원칙에 입각한 운영

그러나 보다 전략적인 수준에서 AI 안정성 프레임워크는 환경 변화에 따라 모델이 발전함에 따라 배포 초기와 시간이 지남에 따라 적절한 결과를 보장하기 위한 광범위한 원칙을 통합해야 합니다. 이러한 프레임워크에는 최소한 다음과 같은 것이 포함되어야 합니다.

• 바이어스 감지 – 모든 데이터 세트는 편견과 차별적 속성을 제거한 다음 교육 모델에 적용할 때 적절한 가중치와 재량권을 부여해야 합니다.
• 인간 참여 – 운영자는 항상 알고리즘 출력을 조사하고 해석할 수 있어야 하며, 특히 모델이 법 집행 및 시민의 자유 보호에 사용되는 경우에 그러합니다.
• 정당화 – 모든 예측은 정밀 조사를 견딜 수 있어야 하며, 외부 관찰자가 결과를 생성하는 데 사용되는 프로세스 및 기준을 측정할 수 있도록 하려면 본질적으로 높은 수준의 투명성이 필요합니다.
• 재현성 – 신뢰할 수 있는 AI 모델은 예측에서 일관성이 있어야 하며 새로운 데이터를 접할 때 높은 수준의 안정성을 보여야 합니다.

그러나 XAI는 단순히 수익성을 개선하는 수단으로만 볼 것이 아니라 기관이 사회 전체에 미치는 영향을 설명하고 정당화할 수 있도록 책임을 부여해야 합니다.