직원이 AI처럼 행동한다면 지금쯤 해고했을 것입니다

새로운 직원을 막 고용했다고 상상해 보세요. 대부분의 날에 그들은 효율적이고, 지식이 풍부하며, 말이 잘 통하고 자신감이 있습니다. 그들은 당신이 기대했던 모든 면을 갖추고 있으며, 훌륭한 직원이 지닌 많은 자질을 보여줍니다.

이제 가끔씩 답을 모르는 질문에 직면했을 때, 그들이 그저 꾸며낸다고 상상해 보세요. 답변은 유창하고 설득력 있어 처음에는 겉보기대로 받아들입니다. 그러나 그 답변이 비즈니스에 영향을 미치면, 그 직원에게 돌아가 도전해 보게 되는데, 그들은 사고 과정을 설명하거나 작업 과정을 공유하지 못합니다. 그들에게 틀렸다고 설명하면, 오히려 반박하며 더 많은 허구를 만들어 뒷받침하려 할 수도 있습니다. 이런 일이 두세 번 반복된다면, 대부분의 고용주는 그들을 해고하거나 최소한 경고를 주었을까요? 대부분의 고용주에게 답은 거의 확실히 ‘예’입니다.

기업들이 이제 이와 같은 행동을 보이는 직원을 핵심 업무 흐름과 의사결정에 맡긴다는 것이 이해가 되지 않습니다. 이것이 제어되지 않는 유일한 이유는 그 ‘직원’이 사람 대신 소프트웨어이기 때문입니다.

AI가 사람처럼 실패하지 않는 이유

AI를 도입하는 기업들 사이에 흔히 존재하는 잘못된 가정은 기술에 오류율이 있다면 이는 인간 오류와 거의 동일한 문제이며 같은 방식으로 관리할 수 있다는 것입니다. 그러나 검토, 리뷰, 에스컬레이션은 대형 언어 모델(LLM)에서는 항상 통하지 않습니다. 이 모델들은 인간처럼 들리도록 만들어졌지만, 내부를 살펴보면 전혀 우리와 다르게 작동한다는 것을 알 수 있습니다.

우수 직원이 실수를 하면, 우리는 그 오류가 진심에서 비롯된 것이라고 가정합니다 – 최선을 다했지만 실수한 것이죠. 이런 일은 일어납니다. 만약 그들이 모르는 것을 회피하기 위해 답을 고의로 만들어냈고 이를 반복한다면, 우리는 이를 위법 행위로 보게 됩니다. 관리자는 어려움과 오류 범위가 일치하기 때문에 감독을 집중할 부분을 알 수 있습니다. 직원에게 그들의 추론을 설명하도록 요구하고 질문할 수 있습니다. 직원은 보통 자신의 한계를 인식하고 이를 말합니다. 그리고 한 번의 오류 후에 배우기 때문에 같은 실수가 지속적인 순환으로 반복되지 않습니다.

AI 시스템은 이러한 모든 가정을 뒤집습니다. 실패에 대한 그들의 기본 반응은 유창하고 자신감 있는 창작입니다. 그들은 단순히 사실이 아닌 설득력 있는 답변을 만들어내며, 이는 인간의 경력을 끝내는 정확한 행동과 같습니다. LLM은 텍스트 조각의 가장 통계적으로 가능성이 높은 연속을 생성하도록 설계되었으며, 답을 모를 때도 종종 옳아 보이는 무언가를 만들어냅니다. OpenAI 연구원들은 이러한 모델이 작동하는 방식에서 일정 수준의 사실 오류는 통계적 불가피성이라고 인정했으며, 훈련은 확신에 찬 추측을 정직한 불확실성 인정보다 보상한다.

신경-기호 접근법이 등장하는 지점

바로 이것이 신경-기호 접근법이 설계된 목적입니다. 이 접근법은 복잡하고 현실 세계의 언어와 데이터를 이해하는 데 뛰어난 신경망을 결정론적이며 규칙 기반의 추론과 결합합니다. 이는 시스템의 결론이 내부에서 볼 수 없는 과정에서 나오지 않고, 검토 가능한 명시적 논리에서 도출된다는 것을 의미합니다.

신경-기호 기술이 제공하는 이 논리적 층이 없으면, AI의 오류는 사람의 오류와 달리 작업 난이도와 상관관계가 없으며 예측할 수 없습니다. 어려운 작업은 순조롭게 진행되는 반면 사소한 작업에서 오류가 발생할 수 있어, 인간 감독을 어디에 집중해야 할지 판단하기 어렵게 만듭니다. 그들의 설명은 사후에 생성되며, 결론에 도달한 과정을 진정으로 설명하지 못합니다. 이러한 실수는 시스템 내부에 학습하거나 책임을 질 주체가 없기 때문에 무한히 반복될 수 있습니다.

이해 없이 신뢰

연구자들은 사람들이 시스템에 처음 접했을 때, 눈에 보이는 단 한 번의 오류만으로도 포기하는 경향이 있음을 기록했습니다; 그러나 익숙한 시스템이 되면 반대로 그 출력물을 받아들이는 극단으로 치닫게 됩니다. 이는 출력물이 더 신뢰할 수 있게 되었기 때문이 아니라, 단지 익숙해졌기 때문입니다. 적절한 수준의 신뢰는 드물게 나타는데, 이는 사람들이 AI 시스템이 언제 틀릴 가능성이 있는지 이해하고 그때를 인식할 수 있어야 하기 때문입니다.

이는 AI가 중요한 작업을 맡아서는 안 된다는 의미는 아닙니다. 이는 우리가 AI에게 사람에게는 부여하지 않을 종류의 신뢰를 기꺼이 주어왔다는 뜻이며, 그 이유는 실패했을 때 책임을 질 명확한 개인이 없기 때문입니다.

AI가 소중한 동료와 같이 판단 기반 업무를 수행하려면 동일한 기본 기준을 충족해야 합니다. 답변은 검증 가능해야 하며, 추론이 보이는 상태여야 하고, 때로는 가장 좋은 답이 “모릅니다”라고 말하는 것임을 받아들여야 합니다.