사상 리더

AI 에이전트를 확장하기 전에, 에이전트가 모르는 것이 무엇인지 물어보라

Dror Nadler
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트에이전트가 오래된 제출 날짜나 회계 연도 차이 같은 맥락을 생략하면 확신에 찬 답변이 실패한다.
더 보기
  • 에이전트가 오래된 제출 날짜나 회계 연도 차이 같은 맥락을 생략하면 확신에 찬 답변이 실패한다.
  • 거의 10곳 중 6곳의 기업이 확신에 차 있지만 틀린 AI 답변의 원인을 누락되거나 불완전한 비즈니스 맥락에서 찾았다.
  • 올바른 데이터라도 잘못 공유되면 규정을 위반할 수 있기 때문에 인간 검토는 위험 수준에 맞춰 확장되어야 한다.

이런 상황을 떠올려 보자. 한 CFO가 주요 기관투자가와의 회의를 준비하고 있다. 투자자 관계(IR)팀은 준비를 돕기 위해 AI 도구에 해당 투자자와 마지막으로 만난 날짜, 당시 밝힌 우선순위, 보유 주식 수 등을 조사해 달라고 요청한다.

도구는 투자자가 주식 250만 주를 보유하고 있다고 확신에 찬 어조로 답한다. 아무도 의심하지 않고, CFO는 중요한 대화를 앞두고 계속해서 만반의 준비를 한다.

하지만 여기에는 함정이 있다. AI는 직전 분기 말 기준 보유 현황을 공시하는 Form 13F 자료에서 해당 수치를 가져왔다. 공시 당시에는 정확한 정보였지만… 지금은 몇 달이나 지난 내용이다. 그사이 투자자는 아무도 모르게 주식 200만 주를 팔아 보유 지분을 크게 줄였다. 회의 안건은 물론, 어쩌면 회의 자체도 더는 의미가 없어 보인다.

무엇이 잘못됐을까? 이 사례에서 AI는 환각을 일으키거나 숫자를 지어낸 것이 아니다. 신뢰할 수 있는 정보를 가져왔지만, 그 정보의 조건을 명시하거나 한계를 설명하지 못했다.

이 경우에는 어색한 대화나 기회를 놓치는 데 그칠 수도 있지만, 다른 상황에서는 중요한 맥락이 빠진 채 단정적으로 제시된 답변이 훨씬 큰 위험을 초래할 수 있다.

더 나은 모델이 반드시 해답은 아니다

파운데이션 모델은 계속해서 발전하고 있다. 그렇다면 기업들이 여러 산업에 걸쳐 골머리를 앓고 있는 문제, 즉 확신에 차 있지만 틀린 답변이 점점 더 자주 등장하는 듯한 이유는 무엇일까?

우선, 생성형 AI(GenAI)는 이제 전방위적으로 확산됐다. McKinsey의 2026년 AI 현황 보고서에 따르면, 비즈니스 전문가 10명 중 거의 9명은 자사에서 적어도 하나의 업무 기능에 AI를 정기적으로 활용한다고 답했다.

조직은 실험 단계를 넘어 일상적인 업무와 의사결정에 AI를 점점 더 많이 활용하고 있다. 그러면서 이러한 도구가 무엇을 알고 이해하는지에 관한 한계도 마주하고 있다.

최근 업계 설문조사는 그 원인을 잘 보여준다. 지난 6개월만 놓고 봐도 기업 10곳 중 거의 6곳(57%)이 확신에 차 있지만 틀린 AI 에이전트의 답변 원인으로 비즈니스 맥락의 누락이나 불완전성을 꼽았다.

AI가 활용할 수 있는 데이터가 이렇게 많은데도 그렇다는 점이 의외일 수 있다. 하지만 중요한 차이가 있다. 맥락은 데이터와 같은 것이 아니다.

맥락이란 무엇이며, 무엇이 아닌가

맥락에는 조직에 축적된 지식, 규칙의 예외, 관계, 업무 처리 방식에 관한 프로세스와 기대치가 포함될 수 있다. 이런 세부 사항은 회사마다 다른 경우가 많다.

투자자 관계팀과 함께 일하면서 이런 차이가 얼마나 중요한지 직접 확인해 왔다. 언뜻 간단해 보이는 몇 가지 사례를 살펴보자.

  • 회계연도: 한 회사의 1분기는 역년의 1분기와 일치할 수 있지만, 다른 회사의 1분기는 9월에 시작할 수 있다. 이런 맥락이 없으면 AI 에이전트는 잘못된 보고 기간의 실적을 비교할 수 있다.
  • 재무 지표: 한 조직은 GAAP 기준과 비GAAP 기준 주당순이익을 모두 보고할 수 있다. 어느 수치를 언제 인용해야 하는지 이해하지 못하는 에이전트는 기업 실적을 잘못 전달할 수 있다.
  • 기업의 서사: 회사의 메시지는 시간이 지나면서 달라지며, 무엇을 강조하고 무엇을 생략할지에 관한 의도적인 결정이 반영된다. 그 이력과 판단 근거를 이해하지 못하면 AI 에이전트는 공들여 구축한 서사를 오히려 훼손하는 콘텐츠를 만들어낼 수 있다.

이 모든 점을 고려하면, 같은 기반 모델도 각 기업이 제공하는 맥락과 전문 지식에 따라 전혀 다른 결과를 내놓을 수 있다는 사실은 놀랍지 않다.

특정 목적에 맞게 개발된 산업별(또는 ‘버티컬’) AI는 해당 분야의 전문 지식, 업무 흐름, 세부적인 특성을 파악해 이러한 공백을 일부 메울 수 있다. 하지만 가장 정교한 기술도 조직이 알고 있는 모든 것을 담아낼 수는 없으므로, 사람 역시 역할을 해야 한다.

AI가 여러분의 비즈니스에 대해 모르는 것

하지만 사람은 영원히 한자리에 머물지 않는다. 경험 많은 투자자 관계 책임자(IRO)가 이를테면 5년 근무한 뒤 회사를 떠나는 상황을 생각해 보자. 그동안 잠재 투자자를 발굴하고 공략하며, 주주 활동을 분석하고, 관계를 구축하고, 실적 발표를 준비하고, 임원들을 대비시키는 등 수많은 일을 해왔을 것이다…

회사는 실적 발표 대본과 프레젠테이션 자료, 기타 파일을 보관한다. 하지만 그 자료의 바탕이 된 조직의 지식은 어떨까? 그중 상당 부분도 회사 밖으로 사라진다. 특히 IRO의 거의 10명 중 8명(78%)은 자신의 후임자를 정해 두지 않았다는 점을 고려하면 더욱 그렇다.

따라서 조직은 AI 시스템이 활용할 수 있는 방식으로 지식과 이해를 보존하는 데 힘써야 한다. AI 에이전트를 공유 드라이브에 연결하는 것만으로는 대개 충분하지 않다.

주요 의사결정의 근거, 관계의 이력, 공식 문서에 담기지 않은 그 밖의 핵심 정보를 비롯해 중요한 지식과 업무 흐름을 체계적으로 기록할 방법을 마련하는 일은 업종을 막론하고 기업에 중요합니다.

이러한 지식 기반을 구축하고 활용하는 데는 사람이 필요합니다. 정보를 기록하는 일에도, 그 정보를 바탕으로 판단하는 일에도 사람이 관여해야 합니다. AI는 지식을 정리하는 데 도움을 줄 수 있지만, 기술이 놓치기 쉬운 핵심 맥락을 제공하는 것은 직원입니다.

위험 부담이 큰 환경에서는 맥락의 공백이 큰 피해를 낳습니다

AI가 잘못된 답을 내놓을 때 어떤 일이 생기는지는 이미 살펴봤습니다. 하지만 때로 AI 에이전트는 정확하고 최신이며 관련성 있는 정보를 찾아내고도, 여전히 잘못된 상황에서 이를 공유해 문제를 일으킬 수 있습니다.

규제가 엄격한 업계에서는 이러한 실수가 특히 큰 비용을 초래합니다.

예를 들어 투자자 관계 업무에서 미공개 중요 정보(MNPI), 이를테면 아직 공개되지 않은 재무 실적을 애널리스트나 투자자와 공유하면 미국 증권거래위원회(SEC)의 공정공시 규정(Reg FD)을 위반할 수 있으며, 이로 인해 금전적 제재와 평판 손상이 발생할 가능성이 있습니다.

의료, 금융 서비스, 법률 서비스와 같은 다른 업계에도 이와 유사한 규제 위험이 있습니다. 이는 AI 에이전트가 민감한 정보에 접근할 때 안전장치를 마련해야 하는 이유를 잘 보여줍니다.

이는 또한 소통할 내용을 검토하고 승인하는 데 사람이 여전히 필수적이라는 점을 보여줍니다. 기업은 위험 수준에 비례해 사람의 검토 수준을 정하고, AI를 활용하는 업무 흐름의 유형에 따라 자율성의 정도를 달리할 수 있습니다.

AI 에이전트를 확장하기 전에 물어야 할 세 가지 질문

일이나 일상에서 우리가 무엇을 모르는지조차 모르는 상황을 누구나 겪어봤을 것입니다. 그로 인한 결과가 대수롭지 않을 때도 있지만, 더 심각한 경우도 있습니다.

오늘날 AI가 이용할 수 있는 데이터가 방대해 모델은 훨씬 더 많은 것을 알지만, 정보의 공백이 있으면 여전히 이를 알려야 합니다. 따라서 기업이 AI로 더 많은 전략적 우선 과제와 업무 흐름을 처리하려 한다면, 확장에 앞서 다음 질문을 던지는 것이 중요합니다.

  • 에이전트는 답변의 출처와 해당 정보가 마지막으로 업데이트된 시점을 보여줄 수 있는가? 요청을 받지 않아도 이 정보를 제공할 수 있는가?
  • 에이전트는 요청을 해석하고 응답하는 데 필요한 비즈니스 맥락을 갖추고 있는가? 자신의 한계를 설명할 수 있는가?
  • 검토와 승인을 위해 사람이 개입해야 하는 시점을 알고 있는가? 어떤 상황에서 개입이 필요한가? 검토 절차는 어떻게 시작되는가?

답은 AI를 피하는 것이 아닙니다

분명히 말하자면, 저는 AI의 가능성을 높이 평가합니다. 제 업무에서 매일 AI를 사용하고 현재와 미래의 이점을 직접 확인하고 있으며, 여러 면에서 AI의 잠재력은 이제 막 드러나기 시작했다고 생각합니다. AI를 외면하는 기업은 물론이고, AI를 체계적이고 효과적인 방식으로 도입하지 못하는 기업도 뒤처질 실질적인 위험에 처해 있다는 점은 의심의 여지가 없습니다.

하지만 AI를 도입한다고 해서 범용 모델에 기업 데이터를 마음대로 제공하고 제멋대로 작동하게 두어야 하는 것은 아닙니다.

현재로서는, 그리고 제가 보기에는 완전 자율형 AI가 모든 기업 업무나 의사결정에 적합한 것은 아닙니다. 조직은 AI가 독립적으로 작동할 수 있는 영역과 추가 맥락이 필요한 영역, 그리고 사람의 판단이 반드시 필요한 영역을 파악해야 합니다.

그러므로 AI 에이전트가 무엇을 아는지 묻기 전에 무엇을 모르는지 물어보세요. 그 답에 따라 에이전트를 어떻게 배포할지, 어떤 일을 맡길 수 있다고 신뢰할지, 성공적으로 작동하도록 어떻게 준비할지가 달라집니다.

Dror Nadler는 Q4 Inc.의 최고제품책임자로, 이곳에서 제품 전략과 혁신을 이끌며 투자자 관계 팀이 AI, 데이터 및 기술을 활용해 더 효과적으로 업무를 수행하도록 지원합니다. 그는 엔터프라이즈 기술, SaaS 및 금융 서비스 분야에서 25년이 넘는 경력을 쌓았으며, 이전에는 Intralinks, Cellrox, Rapid7 및 EMC에서 리더십 직책을 맡았습니다. 경력 전반에 걸쳐 Dror는 기술 제품을 개발하고 확장하며 혁신을 추진하고 비즈니스 성장을 가속화하는 데 주력해 왔습니다. 그는 Boston University에서 경영자 MBA를, Harvard University에서 정보기술 석사 학위를, Reichman University에서 법학 학위를 취득했습니다.