AI가 환각을 보인다면 AI를 비난하지 마세요

AI "환각" - 설득력 있게 들리지만 거짓인 답변 -은 최근 New York Times 기사에서처럼 많은 미디어의 관심을 끌고 있습니다. AI는 더욱 강력해지고 있지만, 환각은 더욱 심해지고 있다환각은 소비자용 챗봇을 상대할 때 매우 위험한 요소입니다. AI를 비즈니스에 적용하는 맥락에서는 더욱 심각한 문제입니다. 다행히 비즈니스 기술 리더로서 저는 환각을 더 잘 통제할 수 있습니다. 상담원이 의미 있는 답변을 생성하는 데 필요한 정확한 데이터를 확보할 수 있도록 할 수 있습니다.

그것이 진짜 문제이기 때문입니다. 사업에서는 변명의 여지가 없습니다. AI 환각AI 탓은 그만하고, AI를 제대로 활용하지 못한 자신을 탓하세요.

인셀덤 공식 판매점인 생성 적 AI 도구는 환각을 일으키지만, 도구는 본래 의도대로 작동합니다. 즉, 사용 가능한 데이터를 기반으로 최상의 답을 제공하는 것입니다. 하지만 도구가 허황된 이야기를 지어내 현실에 기반하지 않은 답을 만들어낼 때는, 관련 데이터가 없거나 찾을 수 없거나 질문을 이해하지 못하기 때문입니다.네, OpenAI의 o3와 o4-mini 같은 새로운 모델들은 더 많은 환각을 경험하며, 질문에 대한 적절한 답을 찾지 못했을 때 더욱 "창의적"으로 행동합니다. 네, 더 강력한 도구는 더 많은 환각을 경험할 수 있지만, 성공을 위한 설정을 잘 한다면 더욱 강력하고 가치 있는 결과를 도출할 수도 있습니다.

AI가 환각을 겪는 것을 원치 않는다면, 데이터를 굶기지 마세요. AI가 해결하고자 하는 문제에 가장 적합하고 관련성 높은 데이터를 제공하면, AI는 잘못된 방향으로 나아가려는 유혹에 빠지지 않을 것입니다.

그럼에도 불구하고, 어떤 AI 도구를 사용하든 비판적 사고 능력을 유지하는 것을 권장합니다. AI 에이전트가 제공하는 결과는 생산적이고 훌륭할 수 있지만, 중요한 것은 뇌를 완전히 차단하고 소프트웨어가 모든 사고를 대신하게 두는 것이 아닙니다. 계속해서 질문하세요. AI 에이전트가 답변을 제공할 때, 그 답변이 타당하고 데이터에 기반하는지 확인하기 위해 질문하세요. 만약 그렇다면, 후속 질문을 할 가치가 있다는 긍정적인 신호가 될 것입니다.

더 많은 질문을 할수록 더 나은 통찰력을 얻을 수 있습니다.

환각이 일어나는 이유

미스터리가 아닙니다. AI는 거짓말을 하려는 것이 아닙니다. 모든 대규모 언어 모델(LLM) AI는 본질적으로 확률을 기반으로 다음 단어나 숫자를 예측합니다.

높은 수준에서, 여기서 일어나는 일은 LLM이 한 번에 한 단어씩 문장과 단락을 연결하고, 훈련 데이터에 있는 수십억 개의 다른 예시를 기반으로 문장에 나타날 다음 단어를 예측한다는 것입니다. LLM의 조상(클리피 제외)은 문자 메시지와 컴퓨터 코드의 자동 완성 프롬프트, 자동 인간 언어 번역 도구, 그리고 기타 확률적 언어 시스템이었습니다. 향상된 무차별 대입 연산 능력과 인터넷 규모의 데이터 학습을 통해 이러한 시스템은 ChatGPT의 도입으로 세상이 알게 되었듯이, 채팅을 통해 완전한 대화를 이어갈 수 있을 만큼 "스마트"해졌습니다.

AI 반대론자들은 이것이 진정한 "지능"이 아니며, 단지 인간의 지능을 추출하고 다시 뱉어낼 수 있는 소프트웨어일 뿐이라고 지적합니다. 보고서에 데이터를 요약해 달라고 요청하면, 다른 작성자들이 유사한 데이터를 요약한 방식을 그대로 따라 합니다.

데이터가 정확하고 분석이 유용하다면 학문적 주장으로 보입니다.

AI에 데이터가 없다면 어떻게 될까요? 빈칸을 채워주죠. 가끔은 재밌기도 하고, 가끔은 완전히 엉망이 되기도 합니다.

건축할 때 AI 에이전트, 이는 위험의 10배입니다. 상담원은 실행 가능한 인사이트를 제공해야 하지만, 그 과정에서 더 많은 결정을 내립니다. 상담원은 여러 단계로 구성된 작업을 수행했는데, 1단계의 결과가 2, 3, 4, 5, … 10, … 20단계의 결과를 나타냅니다. 1단계의 결과가 정확하지 않으면 오류가 증폭되어 20단계의 결과가 훨씬 더 나빠질 수 있습니다. 특히 상담원은 결정을 내리고 단계를 건너뛸 수 있기 때문에 더욱 그렇습니다.

제대로 된 AI 에이전트는 비즈니스에 더 큰 성과를 가져다줍니다. 하지만 AI 제품 관리자로서 우리는 더 큰 보상에는 더 큰 위험이 따른다는 사실을 인지해야 합니다.

우리 팀이 바로 그렇게 했습니다. 위험을 감지하고 해결했습니다. 단순히 멋진 로봇을 만든 게 아니라, 올바른 데이터로 작동하도록 했습니다. 제 생각에 우리가 잘한 점은 다음과 같습니다.

• 에이전트가 올바른 질문을 하고 올바른 데이터를 가지고 있는지 확인하도록 구축하세요. 에이전트의 초기 데이터 입력 프로세스가 실제로 더 결정적이고 "창의성"이 덜하도록 하세요. 에이전트가 올바른 데이터가 없을 때 데이터를 조작하기보다는, 다음 단계로 넘어가지 않고 바로 응답하도록 하는 것이 좋습니다.
• 에이전트를 위한 플레이북을 구성하세요. 매번 새로운 계획을 만들어내는 것이 아니라 반구조화된 접근 방식을 갖추도록 하세요. 데이터 수집 및 분석 단계에서는 구조와 맥락이 매우 중요합니다. 에이전트가 사실을 파악하고 요약을 작성할 준비가 되면, 에이전트가 좀 더 "창의적으로" 행동하도록 허용할 수 있지만, 그 전에 사실을 정확하게 파악해야 합니다.
• 데이터 추출을 위한 고품질 도구를 구축하세요. 단순한 API 호출 그 이상이어야 합니다. 적절한 양과 종류의 데이터를 수집하는 코드를 작성하는 데 시간을 투자하세요(아직도 많은 사람들이 그렇게 하고 있습니다). 또한, 프로세스에 품질 검사를 포함시키세요.
• 에이전트가 자신의 작업을 보여주도록 하세요. 에이전트는 출처를 명시하고 사용자가 원본 출처에서 데이터를 확인하고 더 자세히 살펴볼 수 있는 링크를 제공해야 합니다. 손재주는 허용되지 않습니다!
• 가드레일: 무엇이 잘못될 수 있는지 충분히 생각하고, 절대 허용해서는 안 될 오류에 대한 보호 장치를 마련하세요. 저희의 경우, 시장 분석을 담당하는 담당자가 데이터(저희 Similarweb 데이터를 말하는 것이지, 웹에서 무작위로 추출한 데이터가 아닙니다)를 가지고 있지 않을 때, 허위 정보를 조작하지 않도록 하는 것이 필수적인 가드레일입니다. 담당자가 거짓이나 오해의 소지가 있는 답변을 하는 것보다는 답변을 할 수 없는 편이 훨씬 낫습니다.

이러한 원칙을 최근 출시된 세 가지 새로운 에이전트에 적용했으며, 앞으로 더 많은 에이전트가 추가될 예정입니다. 예를 들어, 영업 담당자를 위한 AI 미팅 준비 에이전트는 단순히 대상 회사 이름만 묻는 것이 아니라 미팅 목표와 참석자에 대한 세부 정보를 제공하여 더 나은 답변을 제공할 수 있도록 준비시킵니다. 풍부한 회사 데이터, 디지털 데이터, 그리고 임원 프로필을 활용하여 최적의 솔루션을 제시하기 때문에 추측할 필요가 없습니다.

우리 상담원들이 완벽할까요? 아닙니다. 아직 완벽한 AI를 만들어낸 사람은 아무도 없습니다. 세계 최대 기업들조차도 마찬가지입니다. 하지만 문제에 직면하는 것이 무시하는 것보다 훨씬 낫습니다.

환각을 줄이고 싶으신가요? AI에게 적당한 양의 환각을 주세요. 고품질 데이터.

만약 환각 증상이 나타난다면, AI 자체를 고쳐야 할 문제가 아닐 수도 있습니다. 시간과 노력을 들이지 않고 이 강력한 새 기능들을 활용하려는 당신의 접근 방식이 문제일 수도 있습니다.