설명 가능한 AI란 무엇인가?

인공 지능(AI)이 더 복잡해지고 사회 전반에 걸쳐 널리 채택됨에 따라 가장 중요한 프로세스와 방법 중 하나는 설명 가능한 AI(이하 XAI)입니다.

설명 가능한 AI는 다음과 같이 정의할 수 있습니다:

• 기계 학습 알고리즘의 결과를 인간 사용자가 이해하고 신뢰할 수 있도록 도와주는 일련의 프로세스와 방법입니다.

예상할 수 있듯이, 이 설명 가능성은 AI 알고리즘이 많은 분야를 제어함에 따라 편향, 오류 알고리즘 및 기타 문제의 위험이 있기 때문에 매우 중요합니다. 설명 가능성을 통해 투명성을 달성함으로써 세계는真正로 AI의 힘을 활용할 수 있습니다.

설명 가능한 AI, 즉 이름에서 알 수 있듯이, AI 모델, 그 영향, 및 잠재적인 편향을 설명하는 데 도움이 됩니다. 또한 모델의 정확성, 공정성, 투명성, 및 AI 기반 의사 결정 프로세스의 결과를 특성화하는 데 역할을 합니다.

오늘날의 AI 주도 조직은 생산에서 AI 모델에 대한 신뢰와 확신을 구축하기 위해 설명 가능한 AI 프로세스를 항상 채택해야 합니다. 설명 가능한 AI는 또한 오늘날의 AI 환경에서 책임 있는 회사로 되는 데 핵심입니다.

오늘날의 AI 시스템은 매우 발전했기 때문에, 인간은 일반적으로 계산 프로세스를 수행하여 알고리즘이 결과에 도달하기 위해 어떻게 사용했는지 다시 추적합니다. 이 프로세스는 “블랙 박스”가 됩니다. 즉, 이해할 수 없습니다. 이러한 설명할 수 없는 모델이 직접 데이터에서 개발될 때, 누구도 그 안에서 무슨 일이 일어나는지 이해할 수 없습니다.

설명 가능한 AI를 통해 개발자는 시스템이 의도한 대로 작동하는지 확인할 수 있습니다. 또한 모델이 규제 표준을 충족하는지 확인하는 데 도움이 되며, 모델을 도전하거나 변경할 기회를 제공합니다.

Image: Dr. Matt Turek/DARPA

AI와 XAI의 차이

일련의 차이점이 “일반” AI와 설명 가능한 AI를 구분합니다. 그러나 가장 중요한 것은 XAI가 각 결정에 대한 추적 가능성과 설명 가능성을 보장하는 특정 기술과 방법을 구현한다는 것입니다. 반면, 일반 AI는 기계 학습 알고리즘을 사용하여 결과에 도달하지만, 알고리즘이 결과에 도달하기 위해 어떻게 사용했는지 완전히 이해할 수 없습니다. 일반 AI의 경우, 정확성을 확인하는 것이 매우 어렵기 때문에, 제어, 책임성, 및 감사가 손실됩니다.

설명 가능한 AI의 이점

설명 가능한 AI를 채택하려는 조직에는 다음과 같은 이점이 있습니다:

• 더 빠른 결과: 설명 가능한 AI를 통해 조직은 모델을 체계적으로 모니터링하고 관리하여 비즈니스 결과를 최적화할 수 있습니다. 모델의 성능을 지속적으로 평가하고 개선하며 모델 개발을 세부적으로 조정할 수 있습니다.
• 위험 완화: 설명 가능한 AI 프로세스를 채택함으로써, 조직은 AI 모델이 설명 가능하고 투명하다는 것을 보장할 수 있습니다. 규제, 준수, 위험 및 기타 요구 사항을 관리하며 수동 검사의 오버헤드를 최소화할 수 있습니다. 모든这一切은 또한 의도하지 않은 편향의 위험을 완화하는 데 도움이 됩니다.
• 신뢰 구축: 설명 가능한 AI는 생산에서 AI에 대한 신뢰를 구축하는 데 도움이 됩니다. AI 모델을迅速하게 생산에 투입할 수 있으며, 해석 가능성과 설명 가능성을 보장하며, 모델 평가 프로세스를 단순화하고 투명하게 만들 수 있습니다.

설명 가능한 AI 기술

모든 조직이 고려해야 할 XAI 기술이 있으며, 세 가지 주요 방법으로 구성됩니다: 예측 정확성, 추적 가능성, 및 결정 이해.

세 가지 방법 중 첫 번째는 예측 정확성으로, 일상적인 작업에서 AI를 성공적으로 사용하는 데 필수적입니다. 시뮬레이션을 수행하고 XAI 출력을 비교하여 예측 정확성을 결정할 수 있습니다. 이 중 하나의 인기 있는 기술은 Local Interpretable Model-Agnostic Explanations (LIME)입니다. 이는 기계 학습 알고리즘에 의해 분류器의 예측을 설명하는 기술입니다.

두 번째 방법은 추적 가능성으로, 결정이 어떻게 만들어질 수 있는지 제한하고 기계 학습 규칙 및 특징의 범위를 좁히는 것을 통해 달성됩니다. 가장 일반적인 추적 가능성 기술 중 하나는 DeepLIFT 또는 Deep Learning Important FeaTures입니다. DeepLIFT는 각 뉴런의 활성화를 참조 뉴런과 비교하며 각 활성화된 뉴런 사이의 추적 가능한 링크를 보여줍니다. 또한 그들 사이의 의존성을 보여줍니다.

세 번째이자 마지막 방법은 결정 이해로, 다른 두 가지 방법과 달리 인간 중심적입니다. 결정 이해는 AI와 함께 일하는 조직, 특히 팀을 교육하여 AI가 어떻게 결정하고 왜 그렇게 하는지 이해할 수 있도록 하는 것을 포함합니다. 이 방법은 시스템에 대한 신뢰를 구축하는 데 매우 중요합니다.

설명 가능한 AI 원칙

XAI와 그 원칙을 더 잘 이해하기 위해, 미국 상무부의 일부인 National Institute of Standards (NIST)는 설명 가능한 AI의 네 가지 원칙을 정의합니다:

1. AI 시스템은 각 출력에 대한 증거, 지원, 또는 이유를 제공해야 합니다.
2. AI 시스템은 사용자가 이해할 수 있는 설명을 제공해야 합니다.
3. 설명은 시스템이 출력에 도달하기 위해 사용한 프로세스를 정확하게 반영해야 합니다.
4. AI 시스템은 설계된 조건에서만 작동해야 하며, 결과에 대한 확신이 충분하지 않은 경우 출력을 제공하지 않아야 합니다.

이 원칙들은 다음과 같이 더 나눌 수 있습니다:

• 의미 있는: 의미 있는 원칙을 달성하기 위해, 사용자는 제공된 설명을 이해해야 합니다. 이는 AI 알고리즘이 다양한 유형의 사용자에 의해 사용되는 경우, 여러 가지 설명이 있을 수 있음을 의미합니다. 예를 들어, 자율 주행 자동차의 경우, 하나의 설명은 “AI가 도로上的 플라스틱 백을 바위로 분류하고, 따라서 그것을 피하기 위한 조치를 취했습니다”와 같은 것입니다. 이 예는 운전자에게는 작동할 수 있지만, 문제를 수정하려고 하는 AI 개발자에게는 유용하지 않을 수 있습니다. 그 경우, 개발자는 왜 분류 오류가 발생했는지 이해해야 합니다.
• 설명 정확성: 출력 정확성과 달리, 설명 정확성은 AI 알고리즘이 출력에 도달하기 위해 어떻게 사용했는지 정확하게 설명하는 것을 포함합니다. 예를 들어, 대출 승인 알고리즘이 소득에 근거하여 결정했다고 설명하지만, 실제로는 신청자의 거주지에 근거하여 결정했다면, 설명은 부정확합니다.
• 지식 한계: AI의 지식 한계는 두 가지 방법으로 달성될 수 있습니다. 즉, 입력이 시스템의 전문 지식 범위를 벗어나는 경우입니다. 예를 들어, 시스템이 새 종류를 분류하도록 설계되었지만, 사과 이미지를 받는 경우, 시스템은 입력이 새가 아니라는 것을 설명해야 합니다. 시스템이 흐린 이미지를 받는 경우, 시스템은 새를 식별할 수 없거나, 신뢰도가 매우 낮은 경우를 보고해야 합니다.

데이터의 역할

설명 가능한 AI의 가장 중요한 구성 요소 중 하나는 데이터입니다.

Google에 따르면, 데이터와 설명 가능한 AI에 대해 “AI 시스템은 기본 교육 데이터와 교육 프로세스, 및 결과 AI 모델에 의해 가장 잘 이해됩니다.” 이 이해는 교육된 AI 모델을 정확히 사용하여 교육한 데이터 세트에 매핑하는 능력과 데이터를 자세히 조사하는 능력에 달려 있습니다.

모델의 설명 가능성을 향상시키기 위해, 교육 데이터에 주의를 기울여야 합니다. 팀은 알고리즘을 교육하는 데 사용된 데이터의 출처를 결정해야 하며, 데이터를 얻는 데 대한 법적 및 윤리적인 문제를 고려해야 하며, 데이터에 잠재적인 편향이 있는지 확인해야 하며, 편향을 완화하기 위한 조치를 취해야 합니다.

XAI에서 데이터의 또 다른 중요한 측면은 시스템에 관련이 없는 데이터를 제외해야 한다는 것입니다. 이를 달성하기 위해, 관련이 없는 데이터는 교육 세트 또는 입력 데이터에 포함되어서는 안 됩니다.

Google은 해석 가능성과 책임성을 달성하기 위한 일련의 관행을 권장합니다:

• 해석 가능성을 달성하기 위한 옵션을 계획합니다
• 해석 가능성을 사용자 경험의 핵심 부분으로 간주합니다
• 모델을 해석 가능하도록 설계합니다
• 최종 목표와 최종 작업을 반영하는 지표를 선택합니다
• 교육된 모델을 이해합니다
• 모델 사용자에게 설명을 전달합니다
• AI 시스템이 의도한 대로 작동하는지 확인하기 위해大量의 테스트를 수행합니다

이러한 권장 관행을 따르면, 조직은 설명 가능한 AI를 달성할 수 있으며, 이는 오늘날의 AI 주도 조직에서 매우 중요합니다.