AI가 환각을 보인다면, AI를 비난하지 마세요

AI “환각” – 설득력 있는 음성이나 글씨지만 거짓된 답변 – 는 많은 미디어의 관심을 끌고 있습니다. 예를 들어, 최근 New York Times의 기사, AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse과 같이. 소비자용 채팅봇의 경우 환각은 실제적인 위험이지만, 비즈니스 애플리케이션의 경우 더 심각한 문제입니다.幸い, 비즈니스 기술 리더로서 저는 이를 더 잘 제어할 수 있습니다. 에이전트가 의미 있는 답변을 생산할 수 있는 올바른 데이터를 제공할 수 있습니다.

그것이 실제 문제입니다. 비즈니스에서는 AI 환각에 대한 변명이 없습니다. AI를 비난하지 마세요. AI를 올바르게 사용하지 않는 자신을 비난하세요.

생성적 AI 도구가 환각을 일으킬 때, 그것은 할 수 있는 최好的 답변을 제공하도록 설계된 것입니다. 사용 가능한 데이터에 기반하여. 그것이 실제에 기반하지 않은 답변을 생성할 때, 관련 데이터가 부족하거나, 찾을 수 없거나, 질문을 이해하지 못하는 경우입니다. 예를 들어, OpenAI의 o3와 o4-mini와 같은 새로운 모델은 더 많은 환각을 일으키고, 질문에 대한 좋은 답변을 찾을 수 없을 때 더 “창의적”으로 작동합니다. 더 강력한 도구는 더 많은 환각을 일으킬 수 있지만, 성공을 위해 설정하면 더 강력하고 유용한 결과를 생산할 수 있습니다.

AI가 환각을 일으키지 않으려면, 데이터를 제공하지 마세요. 에이전트에게 문제를 해결하기 위한 최好的 데이터를 제공하고, 올바른 방향으로 나아갈 수 있습니다.

또한, 모든 AI 도구와 함께 작업할 때, 비판적 사고 능력을 유지하는 것이 중요합니다. 에이전트가 제공하는 결과는 생산적이고愉快할 수 있지만, 목표는 모든思考을 소프트웨어에 맡기는 것이 아닙니다. 질문을 계속하세요. 에이전트가 답변을 제공할 때, 그것이 의미가 있고 데이터에 기반한 답변인지 확인하세요. 그렇다면, 그것은 시간을 투자하여 추가 질문을 하는 가치가 있는 것입니다.

더 많은 질문을 하면, 더好的 통찰력을 얻을 수 있습니다.

환각이 발생하는 이유

그것은 어떤 미스터리도 아닙니다. AI는 당신에게 거짓말을 하려고 하는 것이 아닙니다. 모든 대규모 언어 모델(Large Language Model, LLM) AI는 본질적으로 다음 단어 또는 숫자를 예측하는 것입니다.

높은 수준에서, 여기서 발생하는 것은 LLM이 문장과 단락을 하나씩 연결하여 다음 단어가 발생해야 하는 확률에 기반하여 예측하는 것입니다. LLM의 조상은 텍스트 메시지와 컴퓨터 코드의 자동 완성 프롬프트, 자동화된 인간 언어 번역 도구, 및 기타 확률적 언어 시스템이었습니다. 더 많은 컴퓨팅 파워와 더 큰 데이터 세트를 사용하여 훈련함으로써, 이러한 시스템은 전체적인 대화를 수행할 수 있게 되었습니다.

AI에 대한 비판론자들은 이것이 실제 “지능”이 아니며, 오직 인간의 지능을 담아내고 재생산하는 소프트웨어라고 주장합니다. 데이터를 요약하여 작성된 보고서를 요청하면, 다른 작가가 유사한 데이터를 요약한 방식으로 모방합니다.

그것은 데이터가 올바르고 분석이 유용하다면, 학술적인 논쟁으로 보입니다.

AI가 데이터를 가지고 있지 않은 경우에는? 빈칸을 채웁니다. 때때로 그것은 재미있을 수 있습니다. 때때로 그것은 완전한 혼란입니다.

에이전트를 구축할 때, 이것은 10배의 위험이 됩니다. 에이전트는 행동할 수 있는 통찰력을 제공해야 하지만, 더 많은 결정이 이루어집니다.它们는 여러 단계의 작업을 수행하며, 1단계의 결과가 2, 3, 4, 5, … 10 … 20단계에 영향을 미칩니다. 1단계의 결과가 올바르지 않으면, 출력은 20단계에서 더 나쁘게 됩니다. 특히, 에이전트는 결정하고 단계를 건너뛸 수 있습니다.

올바르게 구축된 에이전트는 비즈니스에 더 많은 것을 성취할 수 있습니다. 그러나, AI 제품 관리자로서, 우리는 더 큰 보상과 함께 가는 더 큰 위험을 인식해야 합니다.

우리는 위험을 인식하고, 그것을 해결했습니다. 우리는 화려한 로봇을 구축하지 않았습니다. 우리는 그것이 올바른 데이터로 작동하도록 했습니다. 여기서 우리가 올바른 일을 한 것이라고 생각합니다:

• 에이전트를 올바른 질문을 묻고, 올바른 데이터를 확인하도록 구축하세요. 초기 데이터 입력 프로세스가 더 결정적이고, 창의적이지 않도록 하세요. 에이전트가 올바른 데이터를 가지고 있지 않은 경우, 다음 단계로 진행하지 말고, 데이터를 만들지 않도록 하세요.
• 에이전트를 위한 플레이북을 구조화하세요. 새로운 계획을 매번 발명하지 말고, 반구조적인 접근 방식을 사용하세요. 구조와 컨텍스트는 데이터 수집 및 분석 단계에서 매우 중요합니다. 사실을 얻은 후에, 에이전트가 더 “창의적”으로 작동하도록 허용할 수 있습니다.
• 데이터를 추출하기 위한 높은 품질의 도구를 구축하세요. 이것은 단순한 API 호출 이상이어야 합니다. 올바른 양과 다양성의 데이터를 수집하기 위한 코드를 작성하세요. 프로세스에 품질 검사를 통합하세요.
• 에이전트가 작업을 보여주도록 하세요. 에이전트는 출처를 인용하고, 사용자가 데이터를 확인하고, 더深く 탐색할 수 있는 링크를 제공해야 합니다. 속임수는 허용되지 않습니다!
• 가드레일: 무엇이 잘못될 수 있는지 생각하고, 허용할 수 없는 오류에 대한 보호를 구축하세요. 우리의 경우, 에이전트가 시장 분석을 수행할 때, 데이터가 없으면(우리의 Similarweb 데이터, 웹에서 가져온 임의의 데이터 소스가 아님)何か를 만들지 않도록 하는 것이 필수적인 가드레일입니다. 에이전트가 답변을 제공하지 못하는 것보다, 거짓 또는 오도된 답변을 제공하는 것이 더 나쁩니다.

우리는 이러한 원칙을 최근에 출시된 세 가지 새로운 에이전트에 통합했으며, 더 많은 에이전트가 뒤따를 것입니다. 예를 들어, 판매자를 위한 AI 미팅 준비 에이전트는 대상 회사 이름만을 묻지 않고, 미팅의 목표와 누구와 미팅하는지에 대한 세부 정보를 묻습니다. 더好的 답변을 제공하기 위해, 회사 데이터, 디지털 데이터, 및 경영진 프로필을 사용합니다.

우리의 에이전트가 완벽한가요? 아니요. 아직까지 완벽한 AI를 만드는 사람은 없습니다. 하지만 문제를 직면하는 것은 그것을 무시하는 것보다 훨씬 더 낫습니다.

환각을 줄이고 싶은가요? AI에게 높은 품질의 데이터를 제공하세요.

환각이 발생한다면, 그것이 AI를 고쳐야 하는 것이 아닐 수 있습니다. 그것은 이러한 강력한 새로운 기능을 활용하는 데 시간과 노력을 투자하지 않는 접근 방식일 수 있습니다.