LLM 환각이란 무엇입니까? 원인, 윤리적 문제 및 예방

대규모 언어 모델(LLM)은 인간과 유사한 텍스트를 분석하고 생성할 수 있는 인공 지능 시스템입니다. 하지만 그들에게는 문제가 있다 – LLM은 환각합니다. 즉, 물건을 구성합니다. LLM 환각은 연구자들이 이 분야의 발전에 대해 걱정하게 만들었습니다. 연구자들이 모델의 결과를 제어할 수 없다면 인류에게 도움이 되는 중요한 시스템을 구축할 수 없기 때문입니다. 이에 대해서는 나중에 자세히 설명합니다.

일반적으로 LLM은 방대한 양의 교육 데이터와 복잡한 학습 알고리즘을 사용하여 현실적인 결과를 생성합니다. 일부 경우에, 상황에 맞는 학습이 사용됩니다. 몇 가지 예만 사용하여 이러한 모델을 교육합니다. LLM은 기계 번역, 감정 분석, 가상 AI 지원, 이미지 주석, 자연어 처리등

LLM의 최첨단 특성에도 불구하고 여전히 편향, 오류 및 환각에 취약합니다. 현재 Meta의 수석 AI 과학자인 Yann LeCun은 최근 환각을 일으키는 LLM의 핵심 결함: “대형 언어 모델은 언어가 설명하는 기본 현실을 전혀 모릅니다. 이러한 시스템은 문법적으로나 의미적으로 훌륭하게 들리는 텍스트를 생성하지만 프롬프트와 통계적 일관성을 만족시키는 것 외에는 실제로 어떤 종류의 목적이 없습니다.”

LLM의 환각

환각은 구문 및 의미론적으로 정확하지만 현실과 단절되고 잘못된 가정에 기반한 출력을 생성하는 모델을 말합니다. 환각은 다음 중 하나입니다. LLM의 주요 윤리적 문제, 그리고 적절한 도메인 지식이 없는 사용자가 이러한 점점 더 설득력 있는 언어 모델에 지나치게 의존하기 시작하면 유해한 결과를 초래할 수 있습니다.

모든 자동 회귀 LLM에서 어느 정도의 환각은 불가피합니다. 예를 들어, 한 번도 언급되지 않은 유명인의 위조 인용문을 모델이 돌릴 수 있습니다. 특정 주제에 대해 사실과 다른 주장을 하거나 연구 논문에 존재하지 않는 출처를 인용하여 잘못된 정보를 퍼뜨릴 수 있습니다.

그러나 AI 모델이 환각하도록 만드는 것이 항상 부작용을 일으키는 것은 아닙니다. 예를 들어 새로운 연구 제안 과학자들은 환각적인 LLM을 통해 '특성이 무제한인 새로운 단백질'을 발굴하고 있습니다.

LLM 환각의 원인은 무엇입니까?

LLM은 인코딩 및 디코딩의 과적합 오류에서 훈련 편향에 이르기까지 다양한 요인으로 인해 환각을 일으킬 수 있습니다.

피팅

과적합은 AI 모델이 훈련 데이터에 너무 잘 맞는 문제입니다. 그럼에도 불구하고 접할 수 있는 입력의 전체 범위를 완전히 표현할 수는 없습니다. 예측력을 일반화하지 못함 새로운, 보이지 않는 데이터. 과적합은 환각 콘텐츠를 생성하는 모델로 이어질 수 있습니다.

인코딩 및 디코딩 오류

텍스트 및 후속 표현의 인코딩 및 디코딩에 오류가 있는 경우 이로 인해 모델이 무의미하고 잘못된 출력을 생성할 수도 있습니다.

훈련 편향

또 다른 요인은 학습 데이터에 특정 편향이 존재한다는 것입니다. 이로 인해 모델이 데이터의 실제 특성이 아닌 이러한 편향을 나타내는 결과를 제공할 수 있습니다. 이는 교육 데이터의 다양성 부족과 유사하여 모델이 새 데이터로 일반화할 수 있는 능력을 제한합니다.

LLM의 복잡한 구조로 인해 AI 연구원과 실무자는 이러한 환각의 근본적인 원인을 식별, 해석 및 수정하는 것이 상당히 어렵습니다.

LLM 환각의 윤리적 문제

LLM은 환각을 통해 유해한 편견을 영속시키고 증폭시킬 수 있으며, 결과적으로 사용자에게 부정적인 영향을 미치고 사회적으로 해로운 결과를 초래할 수 있습니다. 이러한 가장 중요한 윤리적 문제 중 일부는 다음과 같습니다.

차별적이고 유해한 콘텐츠

LLM 교육 데이터는 종종 내재된 편견과 다양성 부족으로 인해 사회 문화적 고정 관념으로 가득 차 있기 때문입니다. 따라서 LLM은 이러한 해로운 아이디어를 생성하고 강화합니다. 사회의 약자 집단에 반대한다.

인종, 성별, 종교, 민족 등에 따라 차별적이고 혐오스러운 콘텐츠를 생성할 수 있습니다.

개인 정보 보호 문제

LLM은 종종 개인의 개인 정보를 포함하는 대규모 교육 코퍼스에서 교육을 받습니다. 이러한 모델이 있는 경우가 있습니다. 사람들의 사생활 침해. 주민등록번호, 집 주소, 휴대전화 번호, 의료 정보와 같은 특정 정보를 유출할 수 있습니다.

잘못된 정보 및 허위 정보

언어 모델은 정확해 보이지만 실제로는 거짓이며 경험적 증거에 의해 뒷받침되지 않는 인간과 유사한 콘텐츠를 생성할 수 있습니다. 이는 우발적일 수 있으며 잘못된 정보로 이어지거나 의도적으로 잘못된 정보를 퍼뜨리려는 악의적인 의도가 있을 수 있습니다. 이것이 확인되지 않으면 불리한 사회-문화-경제-정치 경향을 만들 수 있습니다.

LLM 환각 방지

연구원과 실무자는 LLM의 환각 문제를 해결하기 위해 다양한 접근 방식을 취하고 있습니다. 여기에는 교육 데이터의 다양성 개선, 내재된 편향 제거, 더 나은 정규화 기술 사용, 적대적 교육 및 강화 학습 사용 등이 포함됩니다.

• 더 나은 정규화 기술을 개발하는 것이 환각을 다루는 핵심입니다. 환각을 유발하는 과적합 및 기타 문제를 방지하는 데 도움이 됩니다.
• 데이터 증대는 환각의 빈도를 줄일 수 있습니다. 조사 연구. 데이터 확대에는 문장의 아무 곳에나 무작위 토큰을 추가하여 훈련 세트를 확대하는 작업이 포함됩니다. 훈련 세트의 크기를 두 배로 늘리고 환각 빈도를 줄입니다.
• OpenAI와 Google의 DeepMind는 다음과 같은 기술을 개발했습니다. 사람의 피드백을 통한 강화 학습 (RLHF) ChatGPT의 환각 문제를 해결합니다. 여기에는 모델의 응답을 자주 검토하고 사용자 프롬프트에 가장 적합한 것을 선택하는 인간 평가자가 포함됩니다. 그런 다음 이 피드백을 사용하여 모델의 동작을 조정합니다. OpenAI의 수석 과학자인 Ilya Sutskever는 최근 이 접근법이 잠재적으로 ChatGPT에서 환각을 해결할 수 있습니다.: "나는 인간 피드백 단계에서 이 후속 강화 학습을 단순히 개선함으로써 환각하지 않도록 가르칠 수 있기를 매우 희망합니다.".
• 향후 교육의 예로 사용할 환각 콘텐츠를 식별하는 것도 환각을 해결하는 데 사용되는 방법입니다. ㅏ 새로운 기술 이와 관련하여 토큰 수준에서 환각을 감지하고 출력의 각 토큰이 환각인지 여부를 예측합니다. 또한 환각 탐지기의 비지도 학습 방법도 포함되어 있습니다.

간단히 말해서, LLM 환각은 증가하는 우려 ​​사항입니다. 이러한 노력에도 불구하고 문제를 해결하기 위해서는 여전히 많은 작업이 필요합니다. 이러한 모델의 복잡성은 일반적으로 환각의 고유한 원인을 올바르게 식별하고 수정하는 것이 어렵다는 것을 의미합니다.

그러나 지속적인 연구 개발을 통해 LLM의 환각을 완화하고 윤리적 결과를 줄일 수 있습니다.

LLM 및 LLM 환각을 교정하기 위해 개발 중인 예방 기술에 대해 자세히 알아보려면 다음을 확인하십시오. 단결.ai 당신의 지식을 확장합니다.