인과적 AI는 어떻게 모델을 구축하여 추론할 수 있는가

수십 년 동안 인공 지능은 데이터에서 패턴을 찾는 데 뛰어난 성과를 보였다. 기계 학습 모델은 고객 행동을 예측하거나 의료 위험을 식별하는 데 높은 정확도를 보인다. 그러나 이러한 시스템은 종종 이벤트가 발생하는 이유를 설명하지 못한다.它们은 상관관계에 의존하며, 이는 真實な 원인과 우연한 일치점을 구별하지 못한다. 이 제한은 AI를 반응형으로 유지하며, 조건이 변경되거나 개입에 대해 추론할 수 없게 만든다. 인과적 AI는 이 격차를 해결한다. 기계가 원인과 결과를 이해할 수 있도록 해주며, 이는 기계가 진정한 추론 능력을 갖추기 위해 필수적이다. 이 능력은 시스템이 “what-if” 시나리오를 시뮬레이션하고, 대안적 사실을 평가하며, 설명 가능한 결정할 수 있게 해준다. 조직이 더 신뢰할 수 있는 AI를 요구함에 따라, 인과적 방법은 산업 전반에 걸쳐 확산되고 있다.

상관관계의 함정

전통적인 기계 학습은 데이터에서 통계적 연결을 찾는 방식으로 작동한다. 특정 약을 복용하는 환자가 더 빠르게 회복한다면, 알고리즘은 이 연관성을 학습한다. 이 접근 방식은 이미지 인식, 언어 번역, 추천 시스템 등에서 놀라운 발전을 이루어냈지만, 치명적인 결함이 있다. 즉, 원인과 우연한 일치점을 구별하지 못한다. 이 능력의 부재는 실제 작동 메커니즘에 대한 치명적인 맹점을 생성한다. 예를 들어, 특정 알고리즘은 healthcare spending이 의료 필요를 예측한다는 것을 학습했지만, 2억 명의 미국인의 데이터를 분석한 결과, 이 상관관계는 시스템적 편향을 무시했다는 것이 밝혀졌다. 흑인 미국인의 경우, 유사한 질병을 가진 백인 미국인보다 healthcare spending이 낮기 때문에, 알고리즘은 흑인 환자의 치료 필요를 과소평가했다. 이러한 실패는 다른 분야에서도 발생한다. 형사 司法 분야에서는 COMPAS 알고리즘이 인종과 재범 위험을 상관관계시켜 편향된 판결을 내린다. 농업 분야에서는 AI가 토양 수분과 더운 날씨를 상관관계시켜 비를 추천하지 않아도 된다고 제안할 수 있지만, 이는 재난적인 제안일 수 있다. 의료 분야에서는 AI 시스템이 천식이 있는 환자가 폐렴을 가지고 있는 경우 더 빠르게 회복한다는 패턴을 학습할 수 있지만, 이는 천식이 회복에 도움이 된다는 것을 의미하지 않으며, 이러한 환자는 고위험군으로 간주되어 더 집중적인 치료를 받기 때문이다.

펄의 인과적 계층

인과적 추론의 투링 상 수상자 Judea Pearl은 인과적 AI를 그의 인과적 계층을 통해 설명했다. 이 계층은 세 가지不同的 추론 수준을 설명한다. 첫 번째 단계는 연관성이다. 이는 전통적인 AI가 데이터에서 패턴이나 연관성을 관찰하는 곳이다. 이는 “어떤 증상이 질병과 관련이 있는가?”와 같은 질문에 답한다. 두 번째 단계는 개입이다. 이는 “나는 X를 하면 어떻게 될까?”와 같은 질문을 한다. 이는 변수를 능동적으로 변경했을 때 다른 변수에 미치는 영향을 이해하는 것을 필요로 한다. 이는 이메일을 받은 고객이 더 많은 구매를 하는 것을 관찰하는 것과 이메일이 구매를 유발하는지 여부를 아는 것의 차이이다. 가장 높은 단계는 대안적 사실 추론이다. 이는 “나는 다른 것을 했으면 어떻게 되었을까?”와 같은 질문을 한다. 이는 대안적 시나리오를 상상하고, 책임과 학습에 필수적인 것으로서, 다른 치료법을 사용했으면 환자가 살아남았을지를 결정하는 데 필요하다. 인과적 AI는 세 가지 단계 모두에서 작동한다. 이는 데이터에서 패턴을 나타내는 것이 아니라, 데이터를 생성하는 기본적인 인과적 메커니즘을 나타내는 모델을 구축한다.

인과적 AI는 어떻게 모델을 구축하여 추론할 수 있는가

인과적 AI의 실제 구현에는 세 가지 주요 구성 요소가 있다.

구조적 인과적 모델: 이러한 모델은 데이터를 생성하는 인과적 메커니즘을 설명하는 방정식을 사용한다. 이는 AI가 표면적인 패턴을 학습하는 대신, 데이터 생성 프로세스를 모델링할 수 있게 해준다.

방향성 비순환 그래프: 이러한 시각적 표현은 노드와 화살표를 사용하여 인과적 가정을 명시적으로 정의한다. 이는 전문가가 혼동 변수를 식별하고 모델의 논리를 검증하는 데 도움이 된다.

“Do”-계산: 이는 Pear에 의해 개발된 수학적 연산자로, 관찰 P (Y|X)와 개입 P (Y| do(X))를正式하게 구별한다. 이는 데이터를 사용하여 “what-if” 질문에 답하는 데 필요한 기계를 제공한다.

이 프레임워크는 AI 시스템이 개입이 발생하기 전에 시뮬레이션하고 가상 시나리오에 대해 추론할 수 있게 해준다. 이는 AI를 세계를 관찰하는 도구에서 우리가 세계를 이해하는 데 도움을 주는 도구로 재정의한다.

도구는 성숙하고 있다

접근성이 높은 소프트웨어 도구의 개발도 인과적 AI의 가속에 중요한 역할을 하고 있다. 마이크로소프트의 DoWhy 프레임워크는 인과적 관계를 모델링하고, 인과적 효과를 식별하고, 효과를 추정하고, 가정을 거부하여 견고성을 테스트하는 도구를 포함하는 4단계 워크플로우를 구현하는 오픈 소스 파이썬 라이브러리이다. 이는 인과적 가정을 정의하는 데 도움이 되며, 인과적 그래프를 사용하여 가정을 검증하는 데 도움이 된다.

인과적 AI의 성숙은 시장 성장에서 관찰할 수 있다. 분석가들은 예측에 따르면, 글로벌 인과적 AI 시장은 2025년에 약 6,300만 달러에서 2035년에 16억 달러 이상으로 성장할 것으로 예상되며, 연간 성장률은 38% 이상이다. 이는 원인과 결과를 이해하는 것이 경쟁 우위를 제공한다는 인식에 의해 추동된다. 설명 가능한 AI(XAI)에 대한 수요도 주요 동인이다. EU의 AI법과 같은 규정은 결정에 대한 투명한 설명을 요구한다. 인과적 모델은 인과적 경로를 통해 결정이 이루어졌는지 여부를 설명함으로써 자연스럽게 이러한 설명을 제공한다.

중요한 이점: 견고성과 신뢰

인과적 AI의 주요 이점은 변경된 조건에 대한 견고성이다. 전통적인 모델은 환경이 변경되면 종종 치명적으로 실패한다. 이는 학습한 상관관계가 깨지기 때문이다. 작물 수확에 대한 상관관계 모델은 토양 수분이 높은 수확과 상관관계가 있음을 학습할 수 있다. 그러나 이 상관관계가 훈련 데이터의 관개 관행에 의해 혼동되었다면, 모델은 새로운 지역에 배치되면 실패할 것이다.

인과적 모델은 다르다. 기본 메커니즘을 학습함으로써, 환경이 변경되더라도 지속되는 안정적인 관계를 식별한다. 이는 수분이 중요한 이유를 이해한다. 이는 단순히 수분과 수확이 상관관계가 있음을 의미하지 않는다. 연구에 따르면, 분포가 변경된 데이터셋에서, 인과적 모델은 성능을 유지하는 반면, 전통적인 모델은 20% 이상의 정확도 하락을 경험할 수 있다.

또한, 인과적 AI는 블랙박스 문제를 해결한다. 불투명한 신경망과 달리, 인과적 그래프와 경로는 명확한 설명을 제공한다. 이는 “X를 변경하면 Y가 변경된다”와 같은 설명이다. 이는 높은 위험 분야에서 AI를 배치하는 데 필수적인 것으로서, 이는 현재 EU의 AI법과 같은 규정에 의해 규정되어 있다. 인과적 AI는 또한 우연한 상관관계와 차별적 원인을 분리함으로써 편향을 완화하는 데 도움이 된다.

산업 전반에 걸친 실제 영향

인과적 추론으로의 전환은 이미 산업 전반에 걸쳐 가치를 제공하고 있다. 의료 분야에서는 Kaiser Permanente가 환자 재입원의 근본 원인을 식별하기 위해 인과적 AI를 사용한다. 이는 개인화된 처방 알림과 같은 타겟팅된 개입을 가능하게 하여 순응도를 크게 개선했다. 제약 분야에서는 회사들이 실제로 질병 진행을 유발하는 분자 표적을 식별하기 위해 인과적 AI를 사용한다. 이는 임상 시험 전에 개입을 시뮬레이션함으로써 약물 발견을 가속화한다. 제조 분야에서는 인과적 모델이 생산 라인에서 근본 원인 분석을 수행한다. 품질이 떨어지면, 시스템은 기계 설정, 재료 결함 또는 업스트림 프로세스에 문제가 있는지 여부를 추적한다. 이는 엔지니어에게 조치할 수 있는 통찰력을 제공한다. 금융 분야에서는 은행이 신용 불량의 실제 원인을 이해하기 위해 인과적 추론을 사용한다. 이는 금융곤란의 근본 원인을 해결하는 조치 설계를 가능하게 한다.
자율 주행 자동차는 인과적 AI의 가장 어려운 응용 분야 중 하나이다. 상관관계 기반 시스템은 보행자를 인식할 수 있지만, 인과적 모델은 왜 보행자가 길을 건너거나 공을 따라 달리거나 장애물을 피하는지 이해할 수 있다. 이는 동적 환경에서 안전한 탐색에 필수적인 의도와 인과성을 이해하는 것이다.

결론

상관관계에 의존하는 AI의 시대는 끝나고 있다. 인과적 AI는 모델을 구축하여 왜 일이 발생하는지 이해할 수 있게 해준다. 이는 신뢰할 수 있는 “what-if” 분석, 변경된 조건에 대한 회복력, 그리고 현대 비즈니스와 규제에서 요구되는 설명 가능성을 제공하는 추론 능력이 필요하다.