설명 가능한 인공지능이란 무엇인가?

인공지능(AI)이 더 복잡해지고 사회 전반에 걸쳐 더广泛하게采用됨에 따라, 가장 중요한 프로세스와 방법 중 하나는 설명 가능한 인공지능(XAI)입니다.

설명 가능한 인공지능은 다음과 같이 정의할 수 있습니다:

• 기계 학습 알고리즘의 결과를 인간 사용자가 이해하고 신뢰할 수 있도록 도와주는 프로세스와 방법의 집합입니다.

예상할 수 있듯이, 이 설명 가능성은 인공지능 알고리즘이 많은 분야를 제어하게 됨에 따라 매우 중요합니다. 이는 편향, 잘못된 알고리즘, 기타 문제의 위험을 동반합니다. 설명 가능성을 통해 투명성을 달성하면 세계는真正로 인공지능의 힘을 활용할 수 있습니다.

설명 가능한 인공지능, 즉 XAI는 인공지능 모델, 그 영향, 그리고 잠재적인 편향을 설명하는 데 도움이 됩니다. 또한 모델의 정확성, 공정성, 투명성, 그리고 인공지능 기반 의사 결정 프로세스의 결과를 특성화하는 데에도 역할을 합니다.

오늘날의 인공지능 기반 조직은 항상 설명 가능한 인공지능 프로세스를採用하여 생산 환경에서 인공지능 모델에 대한 신뢰와 확신을 구축해야 합니다. 설명 가능한 인공지능은 또한 오늘날의 인공지능 환경에서 책임 있는 회사로 되는 데 핵심입니다.

오늘날의 인공지능 시스템은 매우 발전했기 때문에, 인간은 일반적으로 계산 프로세스를 수행하여 알고리즘이 결과에 도달한 방법을 다시 추적합니다. 이 프로세스는 “블랙 박스”가 됩니다. 즉, 이해할 수 없습니다. 이러한 설명할 수 없는 모델은 직접 데이터에서 개발될 때, 누구도 그 안에서发生하는 일을 이해할 수 없습니다.

설명 가능한 인공지능을 통해 개발자는 시스템이 올바르게 작동하는지 확인할 수 있습니다. 또한 모델이 규제 표준을 충족하는지 확인하고, 모델을 도전하거나 변경할 기회를 제공합니다.

이미지: Dr. Matt Turek/DARPA

인공지능과 XAI의 차이점

인공지능과 설명 가능한 인공지능을 구분하는 몇 가지 주요 차이점이 있습니다. 그러나 가장 중요한 것은 XAI가 각 의사 결정 프로세스에서 추적 가능하고 설명 가능한 teknik과 방법을 구현한다는 것입니다. 반면, 일반적인 인공지능은 기계 학습 알고리즘을 사용하여 결과에 도달하지만, 결과에 도달한 방법을 완전히 이해할 수 없습니다. 일반적인 인공지능의 경우, 정확성을 확인하기가 매우 어렵습니다. 이는 제어, 책임성, 감사 가능성의 손실을 의미합니다.

설명 가능한 인공지능의 이점

설명 가능한 인공지능을採用하는 조직은 다음과 같은 여러 가지 이점을 얻을 수 있습니다:

• 더 빠른 결과: 설명 가능한 인공지능을 통해 조직은 모델을 체계적으로 모니터링하고 관리하여 비즈니스 결과를 최적화할 수 있습니다. 모델의 성능을 지속적으로 평가하고 개선하고, 모델 개발을 세부적으로 조정할 수 있습니다.
• 위험 완화: 설명 가능한 인공지능 프로세스를採用함으로써, 조직은 인공지능 모델이 설명 가능하고 투명하다는 것을 보장할 수 있습니다. 규제, 컴플라이언스, 위험, 기타 요구사항을 관리하면서 수동 검사의 오버헤드를 최소화할 수 있습니다. 이는 또한 의도하지 않은 편향의 위험을 완화하는 데 도움이 됩니다.
• 신뢰 구축: 설명 가능한 인공지능은 생산 환경에서 신뢰를 구축하는 데 도움이 됩니다. 인공지능 모델을 신속하게 생산 환경으로 가져갈 수 있으며, 해석 가능성과 설명 가능성을 보장할 수 있고, 모델 평가 프로세스를 단순화하고 투명하게 만들 수 있습니다.

설명 가능한 인공지능 기술

모든 조직이 고려해야 할 몇 가지 XAI 기술이 있습니다. 이 기술은 세 가지 주요 방법으로 구성됩니다: 예측 정확성, 추적 가능성, 그리고 의사 결정 이해.

세 가지 방법 중 첫 번째는 예측 정확성으로, 일상적인 작업에서 인공지능을 성공적으로 사용하는 데 필수적입니다. 시뮬레이션을 수행하고, XAI 출력을 훈련 데이터 세트의 결과와 비교하여 예측 정확성을 결정할 수 있습니다. 이 기술 중 하나는 로컬 인터프리터블 모델-에이그노스틱 설명(LIME)이라고 하는 기법으로, 기계 학습 알고리즘에 의해 분류기의 예측을 설명합니다.

두 번째 방법은 추적 가능성으로, 의사 결정을 제한하고, 기계 학습 규칙과 특징의 범위를 좁히는 것을 포함합니다. 가장 일반적인 추적 가능성 기술 중 하나는 DeepLIFT 또는 Deep Learning Important FeaTures입니다. DeepLIFT는 각 뉴런의 활성화와 참조 뉴런을 비교하면서 각 활성화된 뉴런 사이에 추적 가능한 링크를 보여줍니다. 또한 그들 사이의 종속성을 보여줍니다.

세 번째이자 마지막 방법은 의사 결정 이해로, 인간 중심적이며, 다른 두 가지 방법과는 다릅니다. 의사 결정 이해는 인공지능과 함께 작업하는 조직, 특히 팀을 교육하여 인공지능이 의사 결정을 내리는 방법과 이유를 이해할 수 있도록 하는 것을 포함합니다. 이 방법은 시스템에 대한 신뢰를 구축하는 데 매우 중요합니다.

설명 가능한 인공지능 원칙

XAI와 그 원칙을 더 잘 이해하기 위해, 미국 상무부의 일부인 국립 표준 기술 연구소(NIST)는 설명 가능한 인공지능의 네 가지 원칙을 정의합니다:

1. 인공지능 시스템은 각 출력에 대한 증거, 지원, 또는 이유를 제공해야 합니다.
2. 인공지능 시스템은 사용자가 이해할 수 있는 설명을 제공해야 합니다.
3. 설명은 시스템이 출력에 도달한 프로세스를 정확하게 반영해야 합니다.
4. 인공지능 시스템은 설계된 조건에서만 작동해야 하며, 결과에 대한 확신이 충분하지 않은 경우 출력을 제공하지 않아야 합니다.

이 원칙은 다음과 같이 더 세분화될 수 있습니다:

• 의미 있는: 의미 있는 원칙을 달성하기 위해, 사용자는 제공된 설명을 이해할 수 있어야 합니다. 이는 여러 유형의 사용자가 있는 경우 여러 가지 설명이 있을 수 있음을 의미합니다. 예를 들어, 자율 주행 자동차의 경우, 하나의 설명은 “인공지능이 도로上的 비닐봉지를 바위로 분류하여 그것을 피하기 위한 조치를 취했습니다”와 같은 식일 수 있습니다. 이것은 운전자에게는 효과적일 수 있지만, 문제를 수정하려고 하는 인공지능 개발자에게는 매우 유용하지 않을 수 있습니다. 개발자의 경우, 왜 분류 오류가 발생했는지 이해해야 합니다.
• 설명 정확성: 설명 정확성은 인공지능 알고리즘이 출력에 도달한 방법을 정확하게 설명하는 것을 포함합니다. 예를 들어, 대출 승인 알고리즘이 소득에 기반한 결정이라고 설명하지만, 실제로는 거주지에 기반한 경우, 설명은 부정확합니다.
• 지식 한계: 인공지능의 지식 한계는 두 가지 방법으로 도달할 수 있습니다. 하나는 시스템의 전문 지식 범위를 벗어나는 입력을 제공하는 것입니다. 예를 들어, 새 종류를 분류하도록 설계된 시스템에 사과 이미지를 제공하는 경우, 시스템은 입력이 새가 아니라는 것을 설명해야 합니다. 시스템에模糊한 이미지를 제공하는 경우, 시스템은 이미지에서 새를 식별할 수 없거나, 신뢰도가 매우 낮다는 것을 보고해야 합니다.

데이터의 역할

설명 가능한 인공지능의 가장 중요한 구성 요소 중 하나는 데이터입니다.

구글에 따르면, 데이터와 설명 가능한 인공지능에 대해 “인공지능 시스템은 기본적으로 훈련 데이터와 훈련 프로세스, 그리고 결과 인공지능 모델로 이해됩니다.” 이 이해는 훈련된 인공지능 모델을 정확히 사용된 데이터 세트에 매핑하는 능력과 데이터를 자세히 조사하는 능력에 달려 있습니다.

모델의 설명 가능성을 향상시키기 위해, 훈련 데이터에 주의를 기울여야 합니다. 팀은 알고리즘을 훈련하는 데 사용된 데이터의 출처, 데이터 획득의 합법성과 윤리성, 데이터에 대한 잠재적인 편향, 그리고 이러한 편향을 완화하기 위한 조치를 결정해야 합니다.

데이터와 XAI의 또 다른 중요한 측면은 시스템에 관련되지 않은 데이터를 제외하는 것입니다. 이를 달성하기 위해, 관련되지 않은 데이터는 훈련 세트나 입력 데이터에 포함되어서는 안 됩니다.

구글은 해석 가능성과 책임성을 달성하기 위한 일련의 관행을 권장합니다:

• 해석 가능성에 대한 옵션을 계획하세요.
• 해석 가능성을 사용자 경험의 핵심 부분으로 다루세요.
• 모델을 해석 가능하도록 설계하세요.
• 최종 목표와 최종 작업을 반영하는 지표를 선택하세요.
• 훈련된 모델을 이해하세요.
• 모델 사용자에게 설명을 제공하세요.
• 인공지능 시스템이 의도한 대로 작동하는지 확인하기 위해 많은 테스트를 수행하세요.

이 권장된 관행을 따르면, 조직은 설명 가능한 인공지능을 달성할 수 있으며, 이는 오늘날의 인공지능 기반 조직에서 핵심입니다.