AI 신뢰도에 대한 우선순위

인공지능(AI)과 기계 학습(ML) 애플리케이션에 대한 사회의 의존도가 계속 증가하고 있으며, 정보가 소비되는 방식을 재정의하고 있습니다. AI를 사용한 채팅봇에서부터 대규모 언어 모델(LLM)에서 생성된 정보 요약까지, 사회는 이전에 없던 수준의 정보와 통찰력을 얻을 수 있습니다. 그러나 기술 회사들이 자신의 가치 사슬에 걸쳐 AI를 구현하는 경쟁이 치열해짐에 따라, 한 가지 중요한 질문이 떠오릅니다. 우리는 정말로 불확실성 정량화 없이 AI 솔루션의 출력을 신뢰할 수 있을까요?

불확실성 정량화 없이 AI 출력을 정말로 신뢰할 수 있을까요

특정 입력에 대해 모델은 다른 출력을 생성할 수 있습니다. 이는 불충분한 훈련 데이터, 훈련 데이터의 변동, 또는 다른 원인으로 인해 발생할 수 있습니다. 모델을 배포할 때 조직은 불확실성 정량화를 사용하여 최종 사용자에게 AI/ML 모델의 출력에 대한 신뢰도를 더 명확하게 제공할 수 있습니다. 불확실성 정량화는 다른 출력이 무엇일 수 있는지 추정하는 과정입니다.

내일의 최고 기온을 예측하는 모델을 상상해 보세요. 모델은 21ºC라는 출력을 생성할 수 있지만, 불확실성 정량화를 적용하면 모델이 12 ºC, 15 ºC, 또는 16 ºC라는 출력을 생성할 수도 있음을 나타낼 수 있습니다. 이러한 정보를 알고 나면, 단순히 20 ºC라는 예측에 대한 신뢰도를 어떻게 평가해야 할까요? 불확실성 정량화는 신뢰를 높이거나 주의를 요할 수 있지만, 많은 조직은 불확실성 정량화를 구현하는 추가 작업과 컴퓨팅 자원 및 추론 속도에 대한 요구로 인해 이를 생략하기로 결정합니다.

인간-인-루프 시스템, 즉 의료 진단 및 예후 시스템은 의사 결정 과정에 인간을 포함합니다. 의료 전문가가 무조건적으로 의료 AI/ML 솔루션의 데이터를 신뢰하면, 환자를 잘못 진단하여 건강 결과가 나빠질 수 있습니다. 불확실성 정량화를 통해 의료 전문가가 AI 출력에 대한 신뢰도를 колич적으로 평가할 수 있습니다. 마찬가지로, 자율 주행 자동차와 같은 완전 자동화된 시스템에서 모델이 장애물의 거리를 추정하는 출력은 불확실성 정량화가 없는 경우 충돌로 이어질 수 있습니다.

AI/ML 모델에 대한 신뢰도 구축을 위한 몬테카를로 방법의 도전

몬테카를로 방법은 불확실성 정량화를 수행하는 강력한 방법입니다. 이는 알고리즘을 반복적으로 실행하여 조금씩 다른 입력을 사용하고, 추가 반복이 출력에 거의 정보를 제공하지 않을 때까지 반복합니다. 이 과정은 수렴 상태에 도달할 때까지 반복됩니다. 몬테카를로 방법의 한 가지 단점은 일반적으로 느리고 컴퓨팅 자원을 많이 소모하며, 수렴된 출력을 얻기 위해 많은 반복이 필요하다는 것입니다. 몬테카를로 방법은 난수 생성기를 사용하여 난수를 생성하기 때문에, 동일한 매개변수로 여러 번 반복해도 결과가 달라질 수 있습니다.

AI/ML 모델의 신뢰성 향상을 위한 전진 방향

전통적인 서버와 AI 전용 가속기와는 달리, 새로운 계열의 컴퓨팅 플랫폼이 개발되어 경험적 확률 분포를 직접 처리할 수 있습니다. 조직은 이러한 플랫폼에서 AI 모델을 배포하여 불확실성 정량화를 자동화하고, 몬테카를로 방법을 사용하는 다른 컴퓨팅 작업의 속도를 높일 수 있습니다. 특히, 금융 분야의 VaR 계산과 같은 시나리오에서, 이러한 플랫폼을 사용하면 실제 시장 데이터에서 직접 구축된 경험적 분포를 사용하여 더 정확한 분석과 빠른 결과를 얻을 수 있습니다.

최근의 컴퓨팅 기술 발전은 불확실성 정량화를 구현하는 장벽을 크게 낮추었습니다. 내 동료들과 내가 최근에 발표한 연구 논문은, NeurIPS 2024의 새로운 컴퓨팅 패러다임 워크샵에서 발표되었으며, 우리가 개발한 차세대 컴퓨팅 플랫폼이 전통적인 몬테카를로 기반 분석보다 100배 이상 빠르게 불확실성 정량화 분석을 수행할 수 있음을 보여주었습니다. 이러한 발전은 AI 솔루션을 배포하는 조직이 불확실성 정량화를 쉽게 구현하고, 낮은 오버헤드로 실행할 수 있도록 합니다.

AI/ML 신뢰성의 미래는 차세대 컴퓨팅에 달려 있다

조직이 사회에 더 많은 AI 솔루션을 통합함에 따라, AI/ML의 신뢰성은 최우선 과제가 됩니다. 기업은 더 이상 AI 모델 배포에서 소비자가 특정 AI 모델 출력에 대한 신뢰도를 평가할 수 있는 기능을 구현하지 않을 수 없습니다. 설명 가능성과 불확실성 정량화를 요구하는 nhu cầu는 명확합니다. 약 3명 중 2명의 사람이 적절한 보증 메커니즘이 구현된 경우 AI 시스템을 더 신뢰할 것이라고 응답했습니다.

새로운 컴퓨팅 기술은 불확실성 정량화를 구현하고 배포하기가 점점 더 쉬워지고 있습니다. 산업과 규제 기관이 사회에서 AI를 배포하는 것과 관련된 다른 도전을 해결하는 동안, 불확실성 정량화를 AI 배포의 표준으로 만듦으로써 인간이 요구하는 신뢰를 구축할 수 있는 기회가 있습니다.