기업 AI가 배포 후에 깨지는 이유 – 그리고 무엇을 해야 하는가

경고: 문제는 모델이 아니다

2023년, 뉴욕시에서는 기업들이 복잡한 규정을 쉽게 이해할 수 있도록 MyCity 채팅봇을 출시했다. 아이디어는 간단했다: 법적 정보에 쉽게 접근할 수 있도록 하기 위함이었다.

실제로는 시스템이 정확하지도 않고 법적으로도 잘못된 답변을 생성했다. 팁 규칙, 주택 차별, 지불 법규 등에서 나타났다.

후에 실시된 감사에서 사용자 피드백의 71.4%가 부정적이라는 결과가 나왔다. 기본적인 문제를 해결하는 대신에, 시스템은 경고문을 추가했다. 채팅봇은 2년 이상 “베타” 버전으로 남아 있었고, 결국 종료되었다.

실패의 원인은 기술적인 문제가 아니었다. 시스템은 생산에서 깨졌는데, 그 이유는 정확성을 보장할 수 있는 메커니즘이 없었기 때문이다. 또한 책임이 명확하지도 않았고, 문제가 발생했을 때 개입할 방법이 없었다.

이것이 현재 기업 AI의 패턴이다: 기술은 작동하지만, 조직은 시스템을 신뢰성 있게 운영할 수 있는 구조가 되어 있지 않다.

파일럿에서 생산까지: 모든 것이 깨지는 곳

파일럿을 구축하는 것은 khá 간단하다 – 사용 사례를 선택하고, 모델을 선택하고, 데이터를 준비하고, 후원자를 찾는다. 하지만 시스템을 생산에서 실행하는 것은 완전히 다른 리그이다.

간격은 2012년 펠릭스 바움가르트너가跳んだ 것과 같은 차이이다. 기본 물리학은 같지만, 조건은 완전히 다르며, 실패의 결과도 매우 다르다.

생산에서, AI는 실제 의사 결정 흐름에 참여하고, 고객과 상호 작용하며, 법적 및 운영상의 결과를 생성한다. 그것이 जह에서 간격이 나타나는 곳이다 – 모델이 아니라, 그것이 어떻게 관리되는지에 있다.

유럽은 다른 지역보다 먼저 이를 노출한다. EU AI 법, GDPR, NIS2와 같은 규정들은 AI의 채택을 늦추지 않는다. 하지만 조직이 실제 제약조건下에서 AI 시스템을 운영할 수 있는지 여부를 노출한다.

2025년, 55%의 대규모 EU 기업이 이미 AI를 사용하고 있었다. 채택은 이미 대규모로 진행되고 있다. 하지만 문제는 배포 후에 발생한다.

그 때, 기본적인 운영 질문들이浮上한다. 하지만 souvent,誰도 그 질문에 대답할 수 없다: AI 출력과 자율적인 결정에 책임이 있는 사람은 누구인가? 시스템이 예상치 못한 방식으로 작동할 때 어떻게 되는가? 그리고誰가 그것을 미디어에 노출되기 전에 잡을 수 있는가?

책임은 기술이 아니라 회사에 있다. 에어 캐나다의 채팅봇이 고객에게 잘못된 정보를 제공했다. 고객은 그것을 믿었고, 후에 환불을 거부당했다. 재판소는 항공사가 책임이 있다고 판결했다 – 채팅봇은 별개의实体가 아니었다.

같은 문제지만 다른 각도에서 본 것: 맥도날드의 McHire 시스템이 거의 64,000명의 지원자들의 민감한 데이터를 노출했다. 그 이유는 복잡한 공격이 아니었다 – 관리자 로그인이 “admin”과 “123456”을 사용했다. 시스템은 先進的이었다. 하지만 실패는 기본적인 것이었다.

시스템에 거버넌스를 부착하는 것은 이미 늦었다. 시스템을 배포하는 것은 기술적인 결정이다. 하지만 그것을 신뢰성 있게 운영하는 것은 조직적인 결정이다. 그리고 그것이 대부분의 회사들이低估하는 부분이다.

누가 실제로 AI 위험을 소유하는가? 아무도 없다.

이것이 핵심 문제이며, 또한 가장少하게 논의되는 문제이다. IT는 인프라를 관리한다. 법률은 규정을 다룬다. 비즈니스 팀은 사용 사례를 推進한다. 하지만誰도 AI 위험을 종단적으로 소유하지 않는다.

그것이 두 가지 즉각적인 문제를 생성한다. “가” 결정은 느려진다 – 누구도 책임을 지고 싶어하지 않기 때문이다. 그리고 “중지” 결정도 느려진다 – 누구도 그것을 어떻게 할 수 있는지 모르는 때문이다.

데이터는 그것을 반영한다. 10% 미만의 AI 사용 사례가 파일럿에서 생산까지 도달한다. 그리고 대부분의 조직은 측정 가능한 비즈니스 영향을 생성하는 것을 어려워한다.同時에, 많은 곳에서 이미 AI를 배포하고 있지만, 거버넌스 성숙도 조사에 따르면, 7%만이 잘 구조화되고 일관되게 적용된 거버넌스를 가지고 있었다.

왜 이것이 이렇게 일관되게 발생하는가? 대부분의 프레임워크와 기업 정책이 무엇이 발생해야 하는지 정의하지만,誰가 책임을 지는지 정의하지 않기 때문이다. 시스템이 밤 12시에 잘못된 출력을 생성하기 시작했을 때, 질문은 이론적인 것이 아니다.誰가 행동할 것인가? 그리고誰가 결정할 권한을 가지고 있는가?

それは규모가 커질수록 더悪化한다. 하나의 시스템은 비공식적으로 관리할 수 있다. 하지만 30개의 시스템이 있을 때, 책임은 팀에 걸쳐 분산되고,誰도 전체 그림을 가지고 있지 않다.

코먼웰스 뱅크 오브 오스트레일리아는 명확한 예이다. 뱅크는 45명의 고객 서비스 직원을 AI 보이스 봇으로 대체했다. 하지만 고객의 문의가 증가했고, 관리자가 이를 처리해야 했다. 그리고 뱅크는 45명의 직원을 다시 고용해야 했다. 그리고誰도 자동화가 작업량을 줄였다는 것을 증명할 수 없었다.

誰도 가정을 검증하지 않았다. 그리고誰도 결과를 소유하지 않았다. 그것이 책임 공백이 실제로 어떻게 보이는지이다.

규칙이 충분하지 않다. 메커니즘이 필요하다

대부분의 조직은 정책이 없다기보다는, 작동하는 시스템이 없다.

정책은 무엇이 발생해야 하는지 정의한다. 하지만 메커니즘은 실제로 무엇이 발생하는지 결정한다 – 모델이 잘못된 출력을 생성했을 때, 벤더가 백그라운드에서 무엇인가를 변경했을 때, 또는 시스템이 예상치 못한 방식으로 작동할 때.

그 차이는 생산에서 나타난다 – 실제 조건에서 결정이 내려야 할 때.

이러한 실패는 일관된 역학을 따른다. 각 경우에, 동일한 운영 격차가 나타난다 – 다만 다른 형태로.

소유권이 먼저다

모든 배포된 AI 시스템에는 명확한 책임이 있는 소유자가 필요하다 – 한 사람, 팀이나 부서가 아니다. 승인, 일시 중지, 종료할 권한을 가진 사람이다.

그것이 없으면, 빠른 배포나 안전한 개입이 불가능하다. 코먼웰스 뱅크의 예에서 보듯이, 명확한 소유권이 없으면 운영 실패로 직접 이어진다.

데이터와 법적 명확성이 souvent 결여된다

많은 시스템이 문서화된 데이터 흐름, 검증된 법적 근거, 또는 생산에서 시스템이 적용되는 의무에 대한 명확성이 없이 실행된다.

이탈리아 규제기관의 DeepSeek에 대한 조치는 이것을 명확히 보여준다. 문제는 모델의 품질이 아니었다 – 개인 데이터가 어떻게 처리되는지 설명할 수 없다는 것이었다. 결과는 유럽 사용자에게突然의 서비스 중단이었다.

테스트는 souvent 실제 사용을 반영하지 않는다

시스템은 잘 작동하는 시나리오에서 평가되지만, 실패가 가장 중요한 경우에는 평가되지 않는다.

MyCity 채팅봇은 명확한 예이다. 기본적인 엣지 케이스 – 노동법, 주택 차별, 지불 규칙 등 – 는 배포 전에 捕获되지 않았다. 실제 사용자에게 노출되자마자, 그 실패는 공개되었다.

테스트는 성능에 대한 것이 아니다 – 시스템이 실패할 때 사용자, 규제기관, 또는 언론인이 발견하기 전에 그것을 식별하는 것이다.

개입은 불명확하거나 너무 느리다

문제가 발생했을 때, 명확한 트리거 또는 시스템을 일시 중지 또는 종료할 권한이 없다.

Zillow Offers는 이것을 대규모로 보여준다. 시스템은 알고리즘을 사용하여 주택을 구매하고 판매했다. 2021년 시장의 냉각으로 인해 시스템은 계속해서 높은 가격으로 주택을 구매했다. 문제를 감지할 수 있는 메커니즘이 없었고, 시스템을 중지할 결정 지점이 없었다. 결과는 8.8억 달러 이상의 손실과整个 부서의 폐쇄였다.

모니터링은 소유권이 아니다

모니터링은 종종 대시보드로 축소된다. 하지만 그것이 실패를 방지하는 것이 아니다.

정의된 책임이 중요하다:誰가 신호를 추적하는가? 무엇이 에스컬레이션을 트리거하는가? 그리고誰가 행동해야 하는가?

Deloitte Australia의 경우는 무엇이 발생하는지 보여준다. 정부 보고서에는 잘못된 인용과 법적 참조가 포함되어 있었다.誰도 출력을 검증할 책임이 없었다. 결과는 부분 환불과 평판 손상이었다.

에이전틱 AI: 무엇이 오는지 더욱 어려워질 것

제너레이티브 AI는 출력을 생성한다. 에이전틱 AI는 행동한다. 그것은 위험을 완전히 변경한다.

한 개의 응답을 평가하는 것이 아니라, 하나의 명령이 시스템 전체에 걸쳐서 결정의 연쇄를 트리거할 수 있다 – API 호출, 데이터 액세스, 트랜잭션, 업데이트 – souvent, 각 단계에서 인간의 개입 없이.

문제가 발생했을 때, 문제는 정확성이 아니다. 추적 가능성이다. 어느 단계가 문제를 일으켰는가? 어떤 데이터가 사용되었는가?誰가 행동을 승인했는가? 많은 경우에, 그 질문들은事後에 대답하기 어렵다.

이미 早期 신호가 그 방향으로 işaret하고 있다. Gartner는 2027년까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것이라고 예측한다 – 모델의 제한으로 인해 아니다. 조직이 비용, 위험, 결과를 통제하는 것을 어려워하기 때문이다. 그것이 이미 배포된 제너레이티브 AI와 같은 패턴이다. 단지 더 높은 став각으로.

규제기관은 이미 단순한 원칙으로 대응하고 있다: 자동화는 책임을 제거하지 않는다. 조직에게는 명확한 의미가 있다: 오늘날 소유권과 통제가 불명확하다면, 에이전틱 시스템으로의 확장을 해결하지 못할 것이다. 그것을 증폭시킬 것이다.

운영하거나 잃어라

AI는 더 이상 제약이 아니다. 모델은 널리 उपलब하고, 능력있으며, 점점 더 공산품화되고 있다. 실제 차별점은 조직이 AI를 구축할 수 있는지 여부가 아니다 – 그것을 신뢰성 있게 운영할 수 있는지 여부이다.

그것이 대부분의 실패가 발생하는 곳이다 – 시스템을 구축하는 것이 아니라, 시스템을 운영하는 곳이다. 성공하는 조직은 가장 先進的な 모델을 가진 것이 아니다. 가장 명확한 운영 구조를 가진 것이다.

그것을 직접 테스트할 수 있다. 가장 중요한 AI 시스템을 선택하고, 세 가지 질문에 대답해 보라:

• 誰가 그것을 종료할 수 있는가?
• 그것이 실패할 때 어떻게 알 수 있는가?
• 그것이 실패했을 때 어떻게 되는가?

그 Antworten이 불명확하다면, 시스템은 생산에 준비가 되지 않았다.

모델은 준비가 될 수 있다. 하지만 조직은 아니다.