결정이 더 중요할수록 AI는 단독으로 작동해서는 안 된다

AI 에이전트는 분명히 문제를 가지고 있는데, 이는 그들의 장점에 대한 피치로 위장되어 있다. 에이전트는 자신감 있게 말하고 우아하게 글을 쓰며, 인간보다 빠르게 정보를 처리한다. 이는 AI가 자율적으로 작동할 준비가 되었다는 인상을 줄 수 있다. 그러나 실제로는 결정이 실제 돈, 고객의 기대, 신뢰와 관련이 있는 경우, AI는 자율 시스템이되어서는 안 된다. 왜냐하면 그것은 여전히 성인 감독이 필요하기 때문이다.

이 교훈은 이론에서 유래된 것이 아니라, 실제 테스트를 통해 얻어졌다.豪華한 라이프스타일 서비스의 AI가 실제 고객과 상호 작용할 수 있을 때, 그 사실을 알게 되었다.

유해할 수 있는 잘의된 조언

AI 파워드 라이프스타일 관리 앱의 초기 테스트에서, 시스템은 처음에는 인상적인 것으로 보였다. 그것은 레스토랑의 단축 목록을 컴파일할 수 있었고, 엔터테인먼트 옵션을 제안할 수 있었고, 지역 활동을 위한 일정을 작성할 수 있었고, 모든 것을 명확한 고품질 추천으로 결합할 수 있었다. 그러나 약 15%의 경우, 그것은 단순히 세부 사항을 만들어 냈고, 그것은 믿을 수 있을 만큼 설득력 있었다.

이 문제를 무시할 수 없게 만든 예가 하나 있다: AI는 8개월 전에 폐쇄된 두바이의 레스토랑을 추천했다. 그것에 대해 질문했을 때, 그것은 주저하지도 않고 실수를 인정하지도 않았다. 에이전트는 그것을 두 배로 만들었다. 그것은 리뷰를 조작하고 그것을 인용했다.

또 다른 경우, 에이전트는 이름이 약간 비슷한 스트리트 사이드 스낵 바를 미쉐린 스타 레스토랑으로 착각했다. 인간이 주문서를 검토하지 않았다면, 컨시어지 서비스의 고객은 계획과는 전혀 다른 저녁을 얻을 수 있었다.

그런 다음 패들 게임 사건이 있었다. 고객은 패들 코트가 있는 스포츠 클럽에 대해 물었다. AI는 패들 코트가 없는 곳으로 고객을 направ일 거의 했다. 왜냐하면 소스 데이터에서 패들 코트가 건설될 것이라고 말하는 뉴스 기사를 발견했기 때문이다. 그리고 그것은 “계획”을 “이미 존재한다”로 변환했다. 이것이 서비스 부문에서 모델이 위험한 실험이 되는 이유이다: AI가 완전하고 정확한 데이터를 가지고 있지 않더라도,それは 멈추지 않는다. 그것은 즉흥적으로 행동한다.

비즈니스 위협으로서의 AI 환각

이 문제는 관광 산업에만 국한된 것이 아니다. 그것은 AI 자체의 구현에 있다.

명확하게 정의된 매개변수 내에서, AI 작동한다. 구조화된 데이터, 최신 API를 제공할 수 있다. 그리고 그것은 너보다 훨씬 더 나은 성능을 낼 수 있다. 그것은 17개의 매개변수에 따라 사례를 분류할 수 있고, 즉시 규칙을 스캔하고, 몇 초 안에 사용 가능한 초안을 생성할 수 있다. 그러나 실제 세계는 구조화된 데이터베이스와는远く離れている。현실은 에지 케이스, 구식 정보, 모호한 선호도, 모호한 단어, 운영 격차로 가득 차 있다.

이것이 바로 환각이 비즈니스 위험을 초래하기 시작하는 곳이다. 연구 는 환각이 즉시 신뢰를 파괴할 수 있다고 반복적으로 경고했다. 특히 고객이 의사 결정 시기에 정교하지만 부정확한 정보를 받을 때, 더욱 그렇다. 사람들은 이미 광범위하게 AI 플래너를 사용하고 있지만, 여전히 신뢰가 부족하다.

AI의 궁극적인 스트레스 테스트로서의 HNWI

이제 ставки를 높여보자.

AI는 쉽게 표준 작업을 처리할 수 있다. 런던에서 두바이로의 여행 예약과 같은 작업은 비즈니스 클래스, 4성급 호텔 3박이다. 실제 스트레스 테스트는 HNWI의 브리핑이다: 그것은 우리의 기념일이다. 그녀는 아말피에 있는 파란 문이 있는 레스토랑을 언급했다. 그녀는 피오니를 좋아하지만 장미를 싫어하고, 프랑스어를 구사하는 운전사가 있는 것이 더 편안할 것이다.

这样的 요청은 우아하게 들리지만, 운영적인 관점에서 보면 지뢰밭이다. AI 에이전트는แน่น히 옵션을 제안할 것이다. 그러나 그것은 또한 40%의 잘못된 정보를 완전한 자신감으로 제공할 수도 있다.

고-net-worth 개인 고객은 표준화되지 않은 요청을하고, 그들의 기대는 감정적이고 맥락 의존적이며 매우 구체적이다. 이러한 요청은 자동으로 검증하기 어렵다.

또한, HNWI 고객을 효과적으로 서비스하지 못하는 것은 단순한 환불로 끝나지 않는다. 그것은 회사의 평판을 손상시킬 것이다. 추천과 신뢰는 이 부문에서 매우 중요하기 때문이다.

실제 직원들은 이러한 환각을 매일 대처한다. 그들은 고객이 도착한 화요일에 닫혀 있는 레스토랑을 발견하고, 실제로는 25분 동안 언덕을 올라가며 수하물을 끌고 가는 5분 거리 산책을 발견한다. 훈련된 전문가는 실제로 보수 중인 건물로 둘러싸인 부티크 호텔을 간과하지 않는다.

파이낸스 테크에서 정확성이 필요한 이유

우리는 동일한 논리를 전체 파이낸스 테크 부문에 적용할 수 있다. AI는 제품을 분석하고, 옵션을 비교하고, 비정상성을 식별하고, 추천을 빠르고 효율적으로 생성할 수 있다. 그러나 돈이涉及되면, 무작위 오류에 대한 허용 범위는 제로이다.

파이낸스 테크 회사들은 자동화에 의한 결정에 대한 대가를 지불하고 있다. 고객의 신뢰를 잃은 대가이다. 성공적인 회사들은 초기에 통제 메커니즘을 구현한다._damage가 이미 발생한 후에 후속적으로 도입하는 것이 아니라, 적절한 모델은 인간의 감독을 포함한다.

AI와 고객 사이에 추가적인 검증 계층이 필요하다. 결과를 철저히 검증하고 안전한 단계이다. 오류 비용이 높은 분야에서는 이 계층이 제품의 기초가 된다.

더 유용한 개념은 인프라이다. AI 는 구조화된 작업에 초점을 맞출 수 있다: 연구, 정렬, 비교, 초안 작성. 이 과정에서 인간이 최종 결정해야 한다. 시간이 지나면 일부 작업 프로세스가 안정적이고 완전히 자동화될 수 있다. 그 시점에 기준점을 설정할 수 있게 될 것이다. 그러나それは 증거에 근거하여, 믿음에 근거하여서는 안 된다.

이러한 아이디어는 완전한 자율적인 미래보다 덜 영감을 줄 수 있다. 그러나 이것이 바로 진지한 회사가 궁극적으로 성공할 수 있는 방법이다.