AI가 환각을 일으키면 AI를 탓하지 마세요

AI “환각” – 신뢰할 수 있는 음성이나 글자지만 사실이 아닌 답변 – 많은 언론의 주목을 받고 있습니다. 예를 들어 최근 뉴욕 타임즈의 기사, AI가 더 강력해지지만 환각이 더 심해지고 있다. 환각은 소비자용 챗봇을 다룰 때 실제적인 위험이며, 비즈니스 애플리케이션에서 AI를 사용할 때는 더 심각한 문제입니다.幸い, 비즈니스 기술 리더로서 나는 이것을 더 잘 통제할 수 있습니다. 나는 에이전트가 의미 있는 답변을 생성할 수 있는 올바른 데이터를 가지고 있는지 확인할 수 있습니다.

그것이 실제 문제입니다. 비즈니스에서는 AI 환각을 둘러싼 변명을 할 수 없습니다. AI를 탓하지 마세요. AI를 올바르게 사용하지 않기 때문에 발생하는 문제를 자신에게 탓하세요.

생성적 AI 도구가 환각을 일으킬 때, 그것은 사용 가능한 데이터에 기반하여 최선을 다해 답변을 제공하도록 설계된 것입니다. 그러나 그것이 현실에 기반하지 않은 답변을 생성할 때, 그것은 관련 데이터를 가지고 있지 않거나, 데이터를 찾을 수 없거나, 질문을 이해하지 못하기 때문입니다. 예를 들어, 새로운 모델인 OpenAI의 o3와 o4-mini는 더 많은 환각을 일으키고, 질문에 대한 좋은 답변을 찾을 수 없을 때 더 “창의적”으로 행동합니다. 더 강력한 도구는 더 많은 환각을 일으킬 수 있지만, 우리가 그것을 성공적으로 설정한다면 더 강력하고 유용한 결과를 생성할 수도 있습니다.

AI가 환각을 일으키지 않으려면, 데이터를 부족하게 제공하지 마세요. AI에 문제를 해결하기 위해 필요한 최고의 데이터를 제공하고, 그것이 올바른 길로 가지 않도록 하세요.

또한, AI 도구를 사용할 때, 비판적 사고 능력을 유지하세요. AI 에이전트가 제공하는 결과는 생산적이고 기쁠 수 있지만, 목적은 뇌를 끄고 소프트웨어가 모든 생각을 하도록 하는 것이 아닙니다. 질문을 계속하세요. AI 에이전트가 답변을 제공할 때, 그 답변을 데이터에 기반하여 의미 있는지 확인하세요. 그렇다면, 그것은 더 많은 질문을 하기 위해 시간을 투자할 가치가 있는 표시입니다.

더 많은 질문을 하면, 더好的 통찰력을 얻을 수 있습니다.

환각이 발생하는 이유

그것은 어떤 미스터리도 아닙니다. AI는 당신에게 거짓말을 하려고 하지 않습니다. 모든 대형 언어 모델(Large Language Model, LLM) AI는 본질적으로 다음 단어 또는 숫자를 예측하는 것입니다.

높은 수준에서 발생하는 것은 LLM이 문장과 단락을 하나씩 예측하여 다음 단어가 나타날 수 있는 확률에 기반하여 다음 단어를 예측하는 것입니다. LLM의 조상은 텍스트 메시지와 컴퓨터 코드를 위한 자동 완성 프롬프트, 자동 인간 언어 번역 도구, 기타 확률적 언어 시스템이었습니다. 더 많은 컴퓨팅 파워와 인터넷 규모의 데이터를 사용하여 훈련함으로써, 이러한 시스템은 충분히 “지능적”이 되어 챗봇과 같은 대화형 대화가 가능해졌습니다.

AI 비판가들은 이것이 실제 “지능”과 다르며, 단지 인간 지능을 추출하고 재생산하는 소프트웨어에 불과하다고 주장합니다. 데이터를 요약하여 보고서를 작성하라고 요청하면, 다른 작가가 유사한 데이터를 요약한 방식으로 모방합니다.

그것은 학술적인 논쟁으로 보입니다. 데이터가 올바르고 분석이 유용하다면.

AI가 데이터를 가지고 있지 않은 경우에 어떤 일이 발생할까요? 그것은 빈칸을 채웁니다. 때때로 그것은 재미있을 수 있습니다. 때때로 그것은 완전한 혼란입니다.

AI 에이전트를 구축할 때, 이 문제는 10배 더 위험합니다. 에이전트는 행동할 수 있는 통찰력을 제공해야 하지만, 그들은 더 많은 결정들을 내립니다. 그들은 여러 단계의 작업을 수행하며, 단계 1의 결과가 단계 2, 3, 4, 5, … 10, … 20의 결과를 결정합니다. 단계 1의 결과가 올바르지 않으면, 오류는 증폭되어 단계 20의 결과가 더 나쁘게 됩니다. 특히 에이전트가 결정과 단계를 건너뛸 수 있기 때문입니다.

올바르게 구축된 에이전트는 비즈니스에 더 많은 것을 성취할 수 있습니다. 그러나 AI 제품 관리자로서, 우리는 더 큰 보상과 함께 가는 더 큰 위험을 인식해야 합니다.

우리는 그 위험을 인식하고, 그것에 대처했습니다. 우리는 단순히 화려한 로봇을 구축하지 않았습니다. 우리는 그것이 올바른 데이터로 작동하는지 확인했습니다. 여기서 우리가 올바른 일을 한 것이라고 생각합니다:

• 에이전트가 올바른 질문을 하고 올바른 데이터를 확인하도록 구축하세요. 에이전트의 초기 데이터 입력 프로세스가 실제로 더 결정적이고, 덜 “창의적”인지 확인하세요. 에이전트가 올바른 데이터를 가지고 있지 않으면 다음 단계로 진행하지 말고 데이터를 만들지 않도록 하세요.
• 에이전트를 위한 플레이북을 구조하세요. 에이전트가 매번 새로운 계획을 발명하지 않도록 하세요. 데이터 수집 및 분석 단계에서 구조와 컨텍스트는 매우 중요합니다. 에이전트가 사실을 가지고 있고 요약을 작성할 준비가 되었을 때 더 “창의적”으로 행동할 수 있도록 하세요.
• 데이터를 추출하기 위한 고품질 도구를 구축하세요. 이것은 단순히 API 호출 이상이어야 합니다. 올바른 양과 종류의 데이터를 수집하기 위한 코드를 작성하고, 품질 검사를 프로세스에 통합하세요.
• 에이전트가 자신의 작업을 보여주도록 하세요. 에이전트는 자신의 출처를 인용하고 사용자가 데이터를 확인하고 더 많이 탐색할 수 있는 곳에 링크를 제공해야 합니다. 어떤 속임수도 허용되지 않습니다!
• 가드레일: 무엇이 잘못될 수 있는지 생각하고, 허용할 수 없는 오류에 대한 보호를 구축하세요. 우리의 경우, 에이전트가 시장 분석을 수행할 때 데이터가 없으면(우리의 Similarweb 데이터를 말합니다. 웹에서 가져온 임의의 데이터 소스가 아닙니다) 허위 또는 오도된 답변을 제공하지 않도록 하는 것이 필수적인 가드레일입니다. 에이전트가 답변을 제공할 수 없더라도, 허위 또는 오도된 답변을 제공하는 것보다 낫습니다.

우리는 이러한 원칙을 최근에 출시한 세 가지 새로운 에이전트에 통합했습니다. 예를 들어, 판매자를 위한 AI 미팅 준비 에이전트는 대상 회사의 이름만을 묻지 않고, 미팅의 목표와 누구와 미팅하는지에 대한 세부 정보를 묻습니다. 그것은 추측할 필요가 없습니다. 회사의 데이터, 디지털 데이터, 및 실행관의 프로필을 사용하여 추천을 제공합니다.

우리의 에이전트가 완벽한가요? 아니요. 아직誰도 완벽한 AI를 만들지 못했습니다. 그러나 문제를 직면하는 것은 그것을 무시하는 것보다 훨씬 낫습니다.

환각을 더少하게 하려면? AI에게 좋은 품질의 데이터를 제공하세요.

AI가 환각을 일으킨다면, 그것이 AI를 고칠 필요가 있는 것이 아닐 수 있습니다. 그것은 이러한 강력한 새로운 기능을 올바르게 사용하지 못하는 자신의 접근 방식 때문일 수 있습니다. Want fewer hallucinations? Give your AI a nice chunk of high quality data. If it hallucinates, maybe it’s not the AI that needs fixing. Maybe it’s your approach to taking advantage of these powerful new capabilities without putting in the time and effort to get them right. em is a hell of a lot better than ignoring it.