사상 리더

AI가 운영에 들어갈 때 설명 가능성이 불가결해진다

VimalRaj Sampathkumar
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트설명 가능한 AI는 고위험 운영에서 자동화된 결정을 검토할 수 있게 함으로써 신뢰를 구축합니다.
더 보기
  • 설명 가능한 AI는 고위험 운영에서 자동화된 결정을 검토할 수 있게 함으로써 신뢰를 구축합니다.
  • 투명한 AI 시스템은 책임성을 창출하고 추적 가능한 추론을 통해 사고 해결을 더 빠르게 가능하게 합니다.
  • 운영적 AI 도입은 자동화의 복잡성에 대한 이해가 그 속도를 따라갈 때에만 확장될 수 있습니다.

기업의 AI 도입은 더 실용적인 단계에 들어섰다. 기술 리더들에게 도전은 더 이상 조직이 AI의 잠재력을 이해하도록 설득하는 것이 아니다. 그것은 운영 결정에 영향을 미치는 시스템이 이해되고, 관리되고, 방어될 수 있는지 확인하는 것이다.

AI는 사람들이 그것을 신뢰할 의향이 있을 때 기업에서 자신의 위치를 확보한다. 그 신뢰는 성능 통계만으로는 구축되지 않는다. 그것은 자동화가 일상적인 워크플로우의 일부가 된 후에도 팀이 통제권을 유지한다고 느끼는지 여부에 달려 있다.

많은 조직에서 제어의 감은 여전히 불확실하다.

불투명성이 도입을 늦추는 이유

AI는 현재 IT 운영에 걸쳐서 서비스 요청 라우팅, 인시던트 상관 관계, 용량 계획 등에 통합되었다. 이러한 환경에서는 결정이 상호 연결되어 있고 실수가 빠르게 확대된다. AI 출력이 맥락 없이 나타나면 팀은 종종 주저한다. 자동화는 기술적으로 배포될 수 있지만 그 추천은 두 번 확인되거나 지연되거나 조용히 무시된다.

이 행동은 종종 변화에 대한 저항으로 오해된다. 실제로 이는 높은 위험의 운영 환경에서 전문적인 책임을 반영한다. 공개된 AI 실패 사례는 이러한 주의를 강화했다. 자동화된 시스템이 자신감을 갖고 출력을 생성하지만 잘못된 것으로 판명될 때, 피해는 야심만으로 발생하는 경우가 드물다. 그것은 불투명성에서 비롯된다. 아무도 어떻게 결론에 도달했는지 설명할 수 없다면, 신뢰는 손상된다. 시스템이 대체로 정확하더라도.

IT 팀 내에서 이것은 미묘하게 나타난다. 자동화는 실행 모드가 아닌 자문 모드로 작동한다. 엔지니어들은 결과에 대해 책임을 지지만 검사할 수 없는추론을 신뢰하도록 기대된다. 시간이 지남에 따라 이 불균형은 마찰을 생성한다. AI는 존재하지만 그 가치는 제한된다.

투명한 AI 프로세스

더 큰 투명성과 설명 가능성은 자동화된 결정에 대한 책임을 회복함으로써 이 문제를 해결할 수 있다. 설명 가능한 AI는 모든 내부 계산을 노출하는 것을 의미하지 않는다. 그것은 인간 운영자에게 관련 있는 통찰력을 제공하는 것을 의미한다. 즉, 어떤 데이터가 결정에 영향을 미쳤는지, 어떤 조건이 가장 중요했는지, 그리고 신뢰 수준이 어떻게 평가되었는지. 이러한 맥락은 팀이 출력이 운영 현실과 일치하는지 판단할 수 있도록 한다.

또한 white-box AI라고 알려진 설명 가능한 AI는 AI 결정이 어떻게 만들어졌는지 설명하는 해석 계층을 생성한다. 즉, 프로세스와 논리가 숨겨지지 않는다. 이것은 AI 시스템이 더 책임 있는 프레임워크의 일부가 될 수 있다는 것을 의미한다. 또한 사용자가 각 시스템이 어떻게 작동하는지 이해할 수 있다. 또한 AI 모델의 취약점을 식별하고 편향에 대하여 방어할 수 있다.

중요한 것은 설명 가능성은 무엇이 잘못되었을 때 팀이추론 경로를 추적하고 약한 신호를 식별하며 프로세스를 개선할 수 있다는 것이다. 그 가시성이 없으면 오류는 반복되거나 자동화를 비활성화함으로써 완전히 피할 수 있다.

설명 가능성의 실제

인시던트 관리를 고려해 보라. AI는 종종 경고를 함께 그룹화하고 가능한 원인을 제안한다. 대규모 기업 환경에서 주요 인시던트 동안 하나의 잘못 분류된 의존성이 해결을 몇 시간 동안 지연시킬 수 있다. 여러 팀이 병렬적으로 조사하면서 고객 대상 서비스가 저하된 상태로 유지된다. 이러한 제안이 관련 시스템, 의존성 액세스, 과거 인시던트 참조 등에 대한 명확한 설명과 함께 제공되면 엔지니어는 추천을 신속하게 판단할 수 있다. 그것이 잘못된 것으로 판명되면 그 통찰력을 사용하여 모델과 프로세스를 모두 개선할 수 있다.

그 투명성이 없으면 팀은 AI가 아무리 발전했더라도 수동 진단으로 되돌아간다.

이 피드백 루프는 지속적인 도입의 핵심이다. 설명 가능한 시스템은 사용하는 사람들과 함께 진화한다. 블랙박스 시스템은 대조적으로 신뢰도가 떨어지면 정체되거나 무시된다.

책임과 소유권

설명 가능성은 또한 책임이 어떻게 분배되는지 변경한다. 운영 환경에서 책임은 자동화된 결정으로 인해 사라지지 않는다. 누군가는 여전히 결과를 책임져야 한다. AI가 자신을 설명할 수 있을 때 책임은 더 분명하고 관리하기 쉬워진다. 결정은 방어적인 우회책에 의존하지 않고도 검토되고, 정당화되고, 개선될 수 있다.

또한 거버넌스상의 이점도 있지만, 이것이 내부의 주된 동기가 되는 경우는 드물다. 기존의 데이터 보호 및 책임 프레임워크는 이미 조직이 특정 상황에서 자동화된 결정에 대한 설명을 요구한다. AI 관련 규제가 계속 발전함에 따라 투명성이 없는 시스템은 조직에 불필요한 위험을 노출시킬 수 있다.

그러나 설명 가능성의 더 큰 가치는 준수보다는 회복력에 있다. 시스템을 이해하는 팀은 더 빠르게 회복한다. 인시던트를 더 효율적으로 해결하고 자동화를 신뢰해야 하는지 여부를 논의하는 데 더 적은 시간을 보낸다.

운영 우수성을 위한 AI 설계

엔지니어는 가정에 의문을 제기하고, 의존성을 조사하고, 결과를 테스트하도록 훈련된다. 자동화가 이러한 본능을 우회하는 대신 지원하는 경우, 도입은 협력적이고 프로세스의 일부가 된다. 강제 구조가 아니다.

이러한 방식으로 시스템을 구축하는 데에는 비용이 든다. 설명 가능한 AI는 규율 있는 데이터 관행, 신중한 설계 선택, 그리고 출력을 책임 있게 해석할 수 있는숙련된 직원이 필요하다. 오직 속도나 새로움에만 최적화된 불투명한 모델만큼 빠르게 확장되지 못할 수도 있다. 그러나 투자에 대한 수익은 안정성이다.

설명 가능성을 우선하는 조직은 더 적은 중단된 이니셔티브와 더 적은 그림자 의사결정을 보인다. 자동화는 운영의 신뢰할 수 있는 계층이 된다.고립되어 진행되는 병렬 실험은 아니다. 가치에 대한 시간은 시스템이 더 빠르기 때문이 아니라 팀이 그것을 완전히 사용하기 때문이다.

책임 있게 확장

AI가 기업 인프라의 영구적인 구성 요소가 된다면, 성공은 야심보다는 신뢰성에 더 큰 비중을 두어 정의될 것이다. 결정을 설명할 수 있는 시스템은 더 쉽게 신뢰할 수 있다. 더 쉽게 개선할 수 있다. 결과가 도전될 때 더 쉽게 지지할 수 있다.

운영 환경에서 지능은 자동화와 함께 이해가 유지될 때만 확장된다.

ManageEngine의 영국·아일랜드 기술 총괄 비말라지 삼파트쿠마르는 기술 영업, 고객 계정 관리, 고객 성공 분야에서 13년의 경험을 갖춘 프리세일즈 및 전략 고객 담당 매니저입니다. 전 세계에서 ITSM, ITOM, SIEM, 엔드포인트 관리, CRM, ATS, HCM/HRIS 애플리케이션의 컨설팅과 구축을 수행해 온 깊이 있는 기술 전문성을 갖추고 있습니다. 고객 중심 솔루션을 꾸준히 제공하고 제품의 가치를 입증하며 충성도 높은 장기 고객 관계의 기반을 구축함으로써 매출과 시장 점유율을 높이는 데 강점을 지니고 있습니다. 여가 시간에는 크리켓, 독서, 여행을 즐깁니다.