AI 101
설명 가능한 AI란 무엇입니까?
인공 지능(AI)이 점점 더 복잡해지고 사회 전반에 널리 채택됨에 따라 가장 중요한 프로세스 및 방법 세트 중 하나는 XAI라고도 하는 설명 가능(AI)입니다.
설명 가능한 AI는 다음과 같이 정의할 수 있습니다.
- 인간 사용자가 기계 학습 알고리즘의 결과를 이해하고 신뢰하는 데 도움이 되는 일련의 프로세스 및 방법입니다.
짐작할 수 있듯이, AI 알고리즘이 편견, 잘못된 알고리즘 및 기타 문제의 위험과 함께 많은 부문을 제어하기 때문에 이러한 설명 가능성은 매우 중요합니다. 설명 가능성으로 투명성을 달성함으로써 세상은 진정으로 AI의 힘을 활용할 수 있습니다.
설명 가능한 AI는 이름에서 알 수 있듯이 AI 모델, 그 영향 및 잠재적 편향을 설명하는 데 도움이 됩니다. 또한 AI 기반 의사 결정 프로세스에서 모델 정확성, 공정성, 투명성 및 결과를 특성화하는 역할을 합니다.
오늘날의 AI 기반 조직은 항상 설명 가능한 AI 프로세스를 채택하여 프로덕션에서 AI 모델에 대한 신뢰와 신뢰를 구축해야 합니다. Explainable AI는 또한 오늘날의 AI 환경에서 책임 있는 회사가 되기 위한 핵심입니다.
오늘날의 AI 시스템은 매우 발전했기 때문에 인간은 일반적으로 알고리즘이 결과에 도달한 방법을 추적하기 위해 계산 프로세스를 수행합니다. 이 과정은 이해할 수 없는 '블랙박스'가 된다. 이러한 설명할 수 없는 모델이 데이터에서 직접 개발되면 아무도 내부에서 무슨 일이 일어나고 있는지 이해할 수 없습니다.
설명 가능한 AI를 통해 AI 시스템이 작동하는 방식을 이해함으로써 개발자는 시스템이 제대로 작동하는지 확인할 수 있습니다. 또한 모델이 규제 표준을 충족하는지 확인하는 데 도움이 될 수 있으며 모델이 이의를 제기하거나 변경할 수 있는 기회를 제공합니다.
이미지: Matt Turek 박사/DARPA
AI와 XAI의 차이점
몇 가지 주요 차이점은 설명 가능한 AI에서 "일반" AI를 분리하는 데 도움이 되지만 가장 중요한 것은 XAI가 ML 프로세스의 각 결정을 추적하고 설명할 수 있도록 하는 특정 기술과 방법을 구현한다는 것입니다. 이에 비해 일반 AI는 일반적으로 ML 알고리즘을 사용하여 결과에 도달하지만 알고리즘이 어떻게 결과에 도달했는지 완전히 이해하는 것은 불가능합니다. 일반 AI의 경우 정확성을 확인하기가 극히 어려워 통제력, 책임성, 감사성을 상실하게 됩니다.
설명 가능한 AI의 이점
설명 가능한 AI를 채택하려는 모든 조직에는 다음과 같은 많은 이점이 있습니다.
- 더 빠른 결과: Explainable AI를 통해 조직은 모델을 체계적으로 모니터링하고 관리하여 비즈니스 결과를 최적화할 수 있습니다. 모델 성능을 지속적으로 평가 및 개선하고 모델 개발을 미세 조정할 수 있습니다.
- 위험 완화: 설명 가능한 AI 프로세스를 채택하면 AI 모델이 설명 가능하고 투명해집니다. 수동 검사의 오버헤드를 최소화하면서 규제, 규정 준수, 위험 및 기타 요구 사항을 관리할 수 있습니다. 이 모든 것은 또한 의도하지 않은 편견의 위험을 완화하는 데 도움이 됩니다.
- 신뢰를 쌓다: Explainable AI는 프로덕션 AI에 대한 신뢰를 구축하는 데 도움이 됩니다. AI 모델을 신속하게 생산할 수 있고, 해석 가능성과 설명 가능성을 보장할 수 있으며, 모델 평가 프로세스를 단순화하고 보다 투명하게 만들 수 있습니다.
설명 가능한 AI 기술
모든 조직에서 고려해야 할 몇 가지 XAI 기술이 있으며 세 가지 주요 방법으로 구성됩니다. 예측 정확도, 추적 성및 결정 이해.
세 가지 방법 중 첫 번째, 예측 정확도, 일상적인 작업에서 AI를 성공적으로 사용하는 데 필수적입니다. 시뮬레이션을 수행할 수 있으며 XAI 출력을 훈련 데이터 세트의 결과와 비교할 수 있어 예측 정확도를 결정하는 데 도움이 됩니다. 이를 달성하기 위해 가장 널리 사용되는 기술 중 하나는 기계 학습 알고리즘으로 분류기의 예측을 설명하는 기술인 LIME(Local Interpretable Model-Agnostic Explanations)입니다.
두 번째 방법은 추적 성, 결정을 내릴 수 있는 방법을 제한하고 기계 학습 규칙 및 기능에 대한 더 좁은 범위를 설정함으로써 달성됩니다. 가장 일반적인 추적 가능성 기술 중 하나는 DeepLIFT(Deep Learning Important Feature)입니다. DeepLIFT는 각 활성화된 뉴런 사이의 추적 가능한 링크를 보여주면서 각 뉴런의 활성화를 참조 뉴런과 비교합니다. 또한 그들 사이의 종속성을 보여줍니다.
세 번째이자 마지막 방법은 결정 이해, 다른 두 가지 방법과 달리 인간 중심적입니다. 의사 결정 이해에는 AI가 의사 결정을 내리는 방법과 이유를 이해할 수 있도록 조직, 특히 AI와 함께 작업하는 팀을 교육하는 것이 포함됩니다. 이 방법은 시스템에서 신뢰를 구축하는 데 중요합니다.
설명 가능한 AI 원칙
XAI와 그 원칙에 대한 더 나은 이해를 제공하기 위해 미국 상무부 산하의 NIST(National Institute of Standards)는 설명 가능한 AI의 네 가지 원칙에 대한 정의를 제공합니다.
- AI 시스템은 각 출력에 대한 증거, 지원 또는 추론을 제공해야 합니다.
- AI 시스템은 사용자가 이해할 수 있는 설명을 제공해야 합니다.
- 설명은 출력에 도달하기 위해 시스템에서 사용하는 프로세스를 정확하게 반영해야 합니다.
- AI 시스템은 설계된 조건에서만 작동해야 하며 결과에 대한 확신이 부족할 때 출력을 제공해서는 안 됩니다.
이러한 원칙은 다음과 같이 더 자세히 구성할 수 있습니다.
- 의미있는 : 의미의 원칙을 달성하기 위해 사용자는 제공된 설명을 이해해야 합니다. 이것은 또한 다른 유형의 사용자가 사용하는 AI 알고리즘의 경우 여러 가지 설명이 있을 수 있음을 의미할 수 있습니다. 예를 들어 자율주행차의 경우 "AI가 도로에 있는 비닐봉지를 돌로 분류해 부딪히지 않도록 조치를 취했다"는 설명이 될 수 있다. 이 예제는 드라이버에 대해 작동하지만 문제를 수정하려는 AI 개발자에게는 그다지 유용하지 않습니다. 이 경우 개발자는 잘못 분류된 이유를 이해해야 합니다.
- 설명 정확도: 출력 정확도와 달리 설명 정확도에는 출력에 도달한 방법을 정확하게 설명하는 AI 알고리즘이 포함됩니다. 예를 들어 대출 승인 알고리즘이 실제로는 신청자의 거주지를 기반으로 했을 때 신청 소득을 기반으로 한 결정을 설명한다면 설명이 정확하지 않을 것입니다.
- 지식 한계: AI의 지식 한계는 두 가지 방법으로 도달할 수 있으며 시스템의 전문 지식 외부에 있는 입력을 포함합니다. 예를 들어, 조류 종을 분류하는 시스템을 구축하고 사과 그림을 제공하면 입력이 새가 아니라고 설명할 수 있어야 합니다. 시스템에 흐릿한 사진이 제공되면 이미지에서 새를 식별할 수 없거나 식별의 신뢰도가 매우 낮다고 보고할 수 있어야 합니다.
Explainable AI에서 데이터의 역할
설명 가능한 AI의 가장 중요한 구성 요소 중 하나는 데이터입니다.
에 따르면 구글, 데이터 및 설명 가능한 AI와 관련하여 "AI 시스템은 기본 교육 데이터 및 교육 프로세스와 결과 AI 모델에서 가장 잘 이해됩니다." 이러한 이해는 훈련된 AI 모델을 훈련에 사용된 정확한 데이터 세트에 매핑하는 능력과 데이터를 면밀히 검사하는 능력에 달려 있습니다.
모델의 설명 가능성을 높이려면 교육 데이터에 주의를 기울이는 것이 중요합니다. 팀은 알고리즘을 교육하는 데 사용되는 데이터의 출처, 데이터 획득을 둘러싼 합법성 및 윤리, 데이터의 잠재적 편향 및 편향을 완화하기 위해 수행할 수 있는 작업을 결정해야 합니다.
데이터와 XAI의 또 다른 중요한 측면은 시스템과 관련 없는 데이터는 제외되어야 한다는 것입니다. 이를 위해서는 훈련 세트나 입력 데이터에 관련 없는 데이터가 포함되지 않아야 합니다.
Google은 해석 가능성과 책임성을 달성하기 위해 일련의 관행을 권장합니다.
- 해석 가능성을 추구하기 위한 옵션 계획
- 해석 가능성을 사용자 경험의 핵심 부분으로 취급
- 해석 가능한 모델 설계
- 최종 목표 및 최종 작업을 반영하는 측정항목 선택
- 학습된 모델 이해
- 모델 사용자에게 설명 전달
- AI 시스템이 의도한 대로 작동하는지 확인하기 위해 많은 테스트를 수행합니다.
이러한 권장 사례를 따르면 조직은 오늘날 환경에서 모든 AI 기반 조직의 핵심인 설명 가능한 AI를 달성할 수 있습니다.
