나는 생계를 위해 AI 시스템을 구축합니다. 대부분의 사람들이 잘못 이해하는 것

나는 기업의 연락처 센터를 위한 AI 시스템을 구축합니다.

데모, 벤치마크, 연구 프로젝트가 아닙니다. 고객과 상호작용하고, 정책을 탐색하고, 분리된 기업 플랫폼에서 정보를 검색하고, 메시지 데이터, 상반된 기록, 백그라운드 노이즈, 예측할 수 없는 인간 행동으로 특징지어진 환경에서 작동하는 생산 시스템입니다.

그 경험은 AI 산업에서 가장 큰 불일치 중 하나를 볼 수 있는 전방석을 제공했습니다. AI에 대한 공공 대화는 종종 기술이 언젠가 무엇이 될 수 있는 것에 의해 지배되는 반면, 조직은 오늘날 그것을 성공적으로 배포하는 방법을 알아내고 있습니다. 그것들은 매우 다른 대화입니다.

나는 시간을 보내는 질문은 인공 일반 지능이나 기계가 결국 인간을 대체할 것인지에 대한 것이 아닙니다. 그것들은 훨씬 더 실용적입니다. 시스템이 일관되게 고객 요청을 해석할 수 있습니까? 여러 기업 플랫폼에서 정확한 정보를 검색할 수 있습니까? 데이터가 불완전할 때 회복할 수 있습니까? 확신이 낮을 때 적절하게 에스컬레이션할 수 있습니까? 팀이 그것을 신뢰할 수 있을 만큼 배포할 수 있습니까?

그 질문들은 헤드라인보다 덜 흥미롭지만, 그것들은 기업 AI가 성공하는지 여부를 결정하는 것입니다. 시간이 지남에 따라, 나는 대부분의 조직이 모델 자체의 중요성을 과대평가하고 실제 비즈니스 내에서 유용한 모델을 만드는 데 필요한 모든 것을 과소평가한다고 믿게 되었습니다.

데모는 배포가 아님

기업과密接하게 일하는 사람은 모두가 이해하는 바와 같이 제어된 데모와 생산 배포 사이의 간격을 알고 있습니다.

우리는 끊임없이 이러한 예를 접합니다. 우리는 작업하고 있는 한 AI 시스템은 약 절반의 시간 동안 16자리 주문 번호를 단어로 변환하여 올바르게 해석하는 데 어려움을 겪습니다. 이러한 종류의 실패는 이제 유명한 “딸기에는 몇 개의 R이 있나요?” 문제와 유사합니다. 여기서 고급 언어 모델은 인간에게는 사소한 것으로 보이는 작업을 어려워했습니다. 동일한 모델은 MCAT와 같은 시험에서 예외적으로 잘할 수 있습니다. 그 대조는 중요한 것을 보여줍니다. 벤치마크 성능과 운영 안정성은 같은 것이 아닙니다.

한 번 AI가 생산에 들어가면, 그것은 주변 환경의 모든 복잡성을 물려받습니다. 기업 시스템에는 불완전한 기록, 상반된 정보, 구식 프로세스, 분리된 애플리케이션 및 수십 년 동안 축적된 에지 케이스가 포함되어 있습니다. 고객은 모호한 질문을 합니다. 정책이 변경됩니다. 데이터 품질은 다릅니다. 인간의 행동은 여전히 놀랍도록 예측할 수 없습니다.

그런 현실은 벤치마크 점수보다 훨씬 더 많은 결과를 결정합니다. 왜냐하면 AI는 벤치마크에서 작동하지 않으며, 비즈니스 프로세스, 시스템 및 워크플로우 내에서 작동하며, 모델이独自로 해결할 수 없는 복잡성을 도입하기 때문입니다.

기업 AI에는 운영 레이어가 있음

사람들을 놀라게 하는 한 가지 교훈은 모델 성능이 제한 요소로 작용하는 시간이 얼마나 빠른지입니다. 시스템이 생산에 도달하면 운영적인 도전이 모델 자체보다 더 중요해질 수 있습니다. 성공적인 AI 이니셔티브는 프로세스 설계, 조직적 조정, 데이터 품질, 시스템 통합, 관찰 가능성, 에스컬레이션 경로, 거버넌스 및 신뢰에 달려 있습니다.

팀은 실패를 처리하기 위한 명확한 절차가 필요합니다. 그들은 시스템이 어떻게 결정하는지에 대한 가시성을 필요로 합니다. 그들은 문제가 고객에게 영향을 미치기 전에 식별되고 해결될 수 있다는 확신이 필요합니다. 조직은 종종 AI 시스템을 둘러싼 작업이 시스템 자체만큼 많은 주의를 필요로 한다는 것을 발견합니다.

그 운영 레이어는 많은 배포에서 궁극적으로 성공하거나 어려움을 겪는 곳입니다.

고객 서비스는 여전히 가장 어려운 문제 중 하나입니다

고객 경험은 이러한 복잡성의 가장 명확한 예 중 하나입니다.

단순한 상호작용은 AI 시스템으로 관리하기가 점점 더 쉬워졌습니다. 계좌 잔액 확인. 비밀번호 재설정. 비행 상태 확인. 이러한 작업은高度구조化된 작업이며 예측 가능한 결과가 있습니다.

실제 고객 대화는 거의 그 정도로 간단하게 유지되지 않습니다.

로열티 포인트, 파트너 캐리어, 환불 분쟁, 정책 예외, 이전 상호작용과 관련된 항공사 문제를 해결하려고 하는 고객은 매우 다른 도전을 제시합니다. 컨텍스트는 단편화되어 있습니다. 목표는 불분명할 수 있습니다. 정책은 상반될 수 있습니다. 감정은 종종 대화에 들어옵니다.

이러한 상호작용은 여전히 고객 서비스 작업의 상당한 부분을 대표하며, 시스템, 프로세스 및 비즈니스 규칙을 넘나드는 방식으로推論을 요구합니다. 이러한 것은 AI에게 여전히 어려운 것입니다. 진행은 놀랍습니다. 복잡성은 여전히 실제입니다.

기업 데이터는终于 사용할 수 있게 되었습니다

의미 있는 변화를 보는 한 분야는 기업 데이터입니다.

대부분의 조직은 수십 또는 수백 개의 분리된 시스템에 걸쳐 정보를 축적해 왔습니다. 가치 있는 지식이 존재하지만, 그것을 찾고 효과적으로 사용하는 것은 종종 어려웠습니다. AI는 그 정보를 더 접근하기 쉽게 만들고 있습니다.

조직은 시스템을 넘나드는 데이터를 종합하고, 관련 컨텍스트를 더 효율적으로 표면화하고, 이전에 여러 애플리케이션 및 저장소에 걸쳐 분산된 정보를 탐색하는 데 도움을 주는 직원을 지원하기 시작했습니다. 기업 지식을 작동시키는 이러한 능력은 많은 헤드라인을 장식하는 AI 데모보다 더 변혁적일 수 있습니다.

다음 도전: AI가 AI와 협력

다음 혁신의 물결은 아마도 여러 AI 시스템이 함께 작동하는 것을 포함할 것입니다.

조직은 이미 정보를 공유하고, 작업을 조정하고, 더 큰 비즈니스 프로세스에 기여하는 워크플로우를 실험하고 있습니다. 이것은 책임, 신뢰, 에스컬레이션, 커뮤니케이션 및 거버넌스에 대한 새로운 도전을 제기합니다.

인간은 수세기에 걸쳐 암시적인 협력 기술을 개발해 왔습니다. 우리는 도움을 요청하는 방법, 불확실성을 전달하는 방법, 위험을 에스컬레이션하는 방법, 실수를 복구하는 방법을 알고 있습니다. 이러한 행동을 AI 시스템에 구축하는 것은 훨씬 더 새로운 학문입니다.

기업 AI의 다음 장은 시스템이 조직의 목표와 일치하면서 서로 효과적으로 작동하는 방법을 가르치는 것에 관한 것입니다.

기업 AI가 실제로 필요한 것

AI 시스템을 구축하고 배포한 후, 나는 조직이 모델 지능을 평가하는 데 너무 많은 시간을 보낸다고 확신합니다. 그것을 둘러싼 환경을 준비하는 데는 충분한 시간을 보지 못합니다.

이 모델이 보여주는 지능은 놀랍습니다. 매년 모델은 더 능숙해지고, 더 유용해지고, 더 정교해집니다. 그러나 성공적인 배포는 여전히 기본에 달려 있습니다. 신뢰할 수 있는 데이터, 잘 설계된 프로세스, 사려 깊은 거버넌스, 명확한 책임, 새로운 기술을 기존 운영에 통합하는 방법을 아는 사람들.

AI에서 가장 큰 가치를 보는 조직은 그 기본을 주의깊게 살피고 있습니다. 지능만으로는 변화를 만들지 못합니다.

변화는 기술, 데이터, 프로세스, 사람들이 함께 더好的 결과를 생산할 때 발생합니다.