기계와 인간의 상호작용: 기업 AI의 마지막 마일 문제

최근까지 기업의 이사회에서 AI에 관한 논의는 주로 모델 자체에 집중되어 있었다. 출력이 정확한가? 훈련 데이터가 깨끗한가? 편향을 어떻게 줄일 수 있는가? 환상이 통제되는가? 이러한 질문들은 여전히 중요하지만, 출력은 더 이상 유일한 관심사가 아니다. 이사회와 주주는 이제 모델이 실제로 사람들과 효과적으로 협력하고 있는지, 일상적인 상호작용에서 사람이 모델을 얼마나 잘 사용하고 있는지에 관심을 가지고 있다.

그것이 왜 IBM이 최근에 편향과 거버넌스에 관한 투명성을 요구하는 주주 제안에 직면하게 된 이유이다. 제안은 편향 완화를 중점으로 했지만, 더广い 의미에서 AI가 의사결정 과정에 더 깊이 침투함에 따라, 모델 자체의 능력보다 운영적 책임성과 측정 가능한 비즈니스 결과에 따라 평가되고 있음을 알 수 있다.

기업과 대화하면서 보이는 것은 거의 모든 사람이 모델 자체의 능력에 대해 논쟁을 하지 않는다는 것이다. 대부분의 조직은 이미 이러한 시스템이 출력을 생성하고, 워크플ロー 자동화하고, 통찰력을 빠른 속도로 제공할 수 있다는 것을 알고 있다. 더 어려운 질문은 이러한 출력이 비즈니스 내에서 일관되게 결과를 개선하는지, 직원이 이러한 시스템을 의미 있는 방식으로 사용하고 있는지, 의사결정이 더 빠르고 일관성이 있는지, 또는 조직이 단순히 더 많은 내용, 더 많은 분석, 더 많은 노이즈를 생성하는지 여부이다. AI의 능력과 인간의 채택 사이의 간격은 기업 AI의 “마지막 마일”이라고 생각한다.这是 ROI, 신뢰, 책임, 운영 일관성이汇聚하는 곳이며, 많은 배포가 여기서停滞하는 곳이다.

능력은 병목 현상이 아니다 – 인간의 맥락이 중요하다

IBM의 주주 제안은 편향에 관한 것이었지만, 이는 산업계에서 점점 더 중요해지는 문제이다. 결의안은 IBM이 모델 편향을 식별하고 완화하는 방법에 관한 추가 보고서를 제출하도록 요구했다. IBM은 이미 이러한 정보가 모델 카드, 거버넌스 문서, 투명성 보고서, 스탠퍼드의 Foundation Model Transparency Index에 제출되어 있다고 주장했다. 대부분의 관찰자는 IBM이 책임 있는 AI 관행을 운영화하는 데 다른 벤더보다 더 많은 일을 했다는 것을 인정하면서, 거버넌스와 편향은 여전히 산업 전반에 걸쳐 해결되지 않은課題임을 인정했다.

IBM의 반응이 옳았는지 그르렀는지에 관심이 없다. 중요한 것은 이 상황이 기업 AI 대화가 어디로 향하고 있는지를 보여준다는 것이다. 이사회는 대부분 모델의 출력 정확도보다는 의사결정의 질, 운영적 영향, 직원 신뢰, 비즈니스 내에서의 장기적인 채택에 초점을 맞춘 새로운 AI 평가 단계로 이동했다.

신경과학의 렌즈를 통해 나는 현재의 기업 AI 대화와 다른 결론에 도달한다. 인간은 합리적인 입력-출력 기계가 아니다. 우리는 유한한 주의력, 변동하는 信頼, 인지 과부하, 끊임없이 변화하는 의도와 함께 결정을 내린다. 상호작용이 느리게 느껴지거나, 자동 응답이 실제로 의도한 것을 놓치거나, 사람들이 유용한 것을 얻기 위해 시스템과 싸워야 할 때, 참여는 의사결정 지표가 따라잡기 전에 붕괴한다. 환상 위험, 불일치, 편향은 문제를 복잡하게 만들며, 원래 생산성과 의사결정을 개선하기 위해 의도된 워크플로우 내에서 마찰을 생성한다. 이 “마지막 마일”은 대부분의 조직이 여전히 과소평가하는 것이다: AI의 가치는 모델이 답변을 생성할 때 만들어지지 않는다. 인간이 그것을 신뢰할 수 있을 때, 올바른 답변을 올바른 때에 제공할 때 만들어진다.

우리는 왜 실제 ‘루프 내의 인간’ – 사용자를 무시하는가?

최근에 우리는 “루프 내의 인간”과 AI 출력에 대한 인간의 승인 중요성에 대해 많이 들었다. 하지만 사용자라는 가장 중요한 인간을 제대로 이해하지 못하고 있는가? 인간과 인간의 상호작용은 복잡하고 다면적이지만, 직접적인 의사소통이 잘 작동하는 이유는 누락된細節이 없기 때문이다. 누군가 주저한다면, 信頼을 잃으면,沮丧하거나混乱한다면, 또는 의도가 변경되면, 그것은 상호작용 중에 전달되고 대화는 그에 따라 변경된다. 대부분의 AI 시스템은 이러한 신호를 인식하는 데 어려움을 겪고 있다. 왜냐하면它们는 사용자의 마지막 프롬프트에만 반응하기 때문이다.

私の見解では, 이것은 현재의 기업 AI 배포의 한계가 되고 있다. 우리는 정보를 생성하는 데 탁월한 시스템을 구축했지만, 그 정보가 결정을 개선하는 데 도움이 되는지 인식하는 데는 제한이 있다.

조직은 수천 명의 직원에게 기업 AI 도구를 배포할 수 있지만, 이러한 시스템이 실제로 사용되는 방식에 대한 의미 있는 일치를 달성하지 못할 수 있다. NIST AI Risk Management Framework, ISO/IEC 42001, EU AI 법은 조직을 거버넌스 성숙도와 운영적 책임성으로 이끌고 있다. 하지만 문서上的 거버넌스만으로는 직원들의 AI 참여가 단편적으로 남아 있다. 팀이 AI를 신뢰하고 사용하는 방식이 완전히 다르면, ROI를 일관되게 측정하는 것이 거의 불가능해진다. 이는 아무리 많은 프롬프트를 사용해도 해결할 수 없는 문제이다.

AI 과부하의 비용

우리는 이제 AI가 완전히 유비쿼터스해진 기업 AI 워크플로우에 진입하고 있다. 생산성 소프트웨어에 내장된 공동조종사, 모든 통화 후에 도착하는 AI 생성 회의 요약, 실시간으로 예측 통찰력을 제공하는 대시보드, 직원에게 지속적인 제안을 제공하는 추천 엔진, 자동 분석이 실제로 처리할 수 있는 속도보다 더 빠르게 나타난다. 이론적으로 이는 진행이다. 비즈니스에서는 이전에 कभ도 없던 양의 정보를 생성하고 있다. 하지만 인지과학은 수십 년 동안 명확히 밝혔다. 더 많은 정보가 자동으로 더好的 결정을 생성하지 않는다.

사람은 정보를 흡수할 수 있는 한계가 있다. 너무 많은 추천이 주저함을 유발한다. 너무 많은 경고가 배경 노이즈가 된다. 너무 많은 AI 생성 옵션이 직원을 확신하지 못하게 한다. interessant한 것은 AI 시스템이 정보를 생성하는 데 탁월해지면서도, 인간이 정보를 수신, 해석, 응답하는 방식을 이해하는 데는 상대적으로 부족하다. 이사회는 시스템이 생성할 수 있는 요약, 추천, 생성된 통찰력의 수에 관심이 없다. 그들은 비즈니스 전반에서 결정이 더 분명하고 신뢰할 수 있는지 여부에 관심이 있다.

AI는 책임성 단계에 들어섰다

IBM의 주주 제안은 편향에 관한 우려에서 비롯되었지만, 나는 이것이 기업 AI 전반에 걸쳐 발생하는 더广い 현상을 반영한다고 생각한다. AI의 신비는 지나갔고, 기업은 이제 모델의 능력만으로는 충분하지 않다. 기술이 자신을 증명했지만, 이제는 책임성을 측정해야 한다. 직원이 이러한 시스템을 일관되게 사용하고 있는가? 결정이 개선되고 있는가? 신뢰와 참여가 시간의 경과에 따라 증가하고 있는가, 아니면 점차 침식되고 있는가? AI가 일상적인 워크플로우에 더 깊이 침투할수록, 다음 세대의 시스템은 비즈니스에서 지속적인 채택과 측정 가능한 ROI를 달성하기 위해 인간의 행동, 주의력, 信頼, 의도를 더 잘 인식해야 할 것이다. 그렇지 않으면 마지막 마일은 기업 AI 채택의 가장 큰課題 중 하나로 남아 있을 것이다.