LLM 환각이란? 원인, 윤리적 우려와 예방

대규모 언어 모델(Large Language Model, LLM)은 인간과 같은 텍스트를 분석하고 생성할 수 있는 인공지능 시스템입니다. 그러나 이러한 모델은 환각을 경험할 수 있습니다. 즉, 사실과 다른 정보를 생성할 수 있습니다. LLM 환각은 연구자들이 이러한 모델의 결과를 제어할 수 없기 때문에 인류에 기여할 핵심 시스템을 구축할 수 없다는 우려를 불러일으키고 있습니다.

일반적으로 LLM은 방대한 양의 훈련 데이터와 복잡한 학습 알고리즘을 사용하여 현실적인 출력을 생성합니다. 일부 경우에는 소수의 예시만으로 모델을 학습시키는 데 인 컨텍스트 학습이 사용됩니다. LLM은 기계 번역, 감정 분석, 가상 AI 보조, 이미지 주석, 자연어 처리 등 다양한 응용 분야에서 점점 더 인기를 얻고 있습니다.

그러나 이러한 모델은 여전히 편향, 오류, 환각에 취약합니다. 메타의 당시 수석 AI 과학자인 얀 르쿤은 최근에 LLM에서 환각을 일으키는 중앙적인 결함에 대해 언급했습니다: “대규모 언어 모델은 언어가 설명하는 기본적인 현실에 대한 아이디어가 없습니다. 이러한 시스템은 문법적으로 및 의미적으로 괜찮은 텍스트를 생성하지만 단지 프롬프트와의 통계적 일관성을 만족시키는 것 외에는 어떤 객관적인 목적도 없습니다.”

LLM의 환각

Pixabay의 Gerd Altmann 이미지

환각은 모델이 문법과 의미 면에서는 올바르지만 현실과 동떨어져 있고 잘못된 가정에 근거한 출력을 생성하는 현상입니다. 환각은 LLM의 주요 윤리적 우려 중 하나입니다. 해당 분야에 대한 지식이 충분하지 않은 사용자가 점점 더 설득력 있어지는 언어 모델에 과도하게 의존하면 해로운 결과가 생길 수 있습니다.

모든 자율 회귀형 LLM에서 어느 정도의 환각은 불가피합니다. 예를 들어, 모델은 실제로 말한 적 없는 유명인의 가짜 인용문을 생성할 수 있습니다. 모델은 특정 주제에 대해 사실과 다른 정보를 제공하거나 연구 논문에서 존재하지 않는 출처를 인용하여 잘못된 정보를 퍼뜨릴 수 있습니다.

그러나 AI 모델의 환각이 항상 나쁜 결과만 낳는 것은 아닙니다. 예를 들어, 한 새로운 연구는 과학자들이 LLM의 환각을 통해 무한히 다양한 특성을 지닌 새로운 단백질을 발견하고 있다고 설명합니다.

LLM 환각의 원인

LLM은 과적합, 인코딩 및 디코딩 오류, 훈련 편향 등 다양한 요인으로 인해 환각을 경험할 수 있습니다.

과적합

Pixabay의 janjf93 이미지

과적합은 모델이 훈련 데이터에 너무 잘 맞는 문제입니다. 그러나 모델은 새롭고 이전에 보지 못한 데이터에 예측 능력을 일반화하지 못합니다. 과적합은 모델이 환각으로 생성된 내용을 생성하는 원인이 될 수 있습니다.

인코딩 및 디코딩 오류

Pixabay의 geralt 이미지

텍스트와 그에 따른 표현을 인코딩하거나 디코딩할 때 오류가 발생하면 모델이 무의미하고 잘못된 출력을 생성할 수 있습니다.

훈련 편향

Pixabay의 Quince Creative 이미지

또 다른 요인은 훈련 데이터에 존재하는 특정 편향입니다. 이는 모델이 실제 데이터의 본질보다는 편향된 결과를 생성할 수 있습니다. 이는 훈련 데이터의 다양성이 부족하여 모델이 새로운 데이터에 일반화하는 능력이 제한되는 것과 유사합니다.

LLM의 복잡한 구조로 인해 연구자와 실무자들이 환각의 근본적인 원인을 식별하고 해석하며 수정하는 것이 상당히 어렵습니다.

LLM 환각의 윤리적 우려

LLM은 환각을 통해 유해한 편향을 지속시키고 증폭시킬 수 있으며, 그 결과 사용자에게 부정적인 영향을 미치고 사회적으로도 해로운 결과를 낳을 수 있습니다. 이러한 가장 중요한 윤리적 우려 중 일부는 아래에 나열되어 있습니다.

차별적이고 유독한 내용

Pixabay의 ar130405 이미지

LLM의 훈련 데이터에는 내재된 편향과 다양성 부족으로 사회문화적 고정관념이 가득한 경우가 많습니다. 따라서 LLM은 사회적 취약 집단에 대한 이러한 유해한 관념을 생성하고 강화할 수 있습니다. 인종, 성별, 종교, 민족 등을 근거로 차별적이고 혐오적인 내용을 생성할 수 있습니다.

개인 정보 문제

Pixabay의 JanBaby 이미지

LLM은 개인 정보를 포함하는 대량의 훈련 데이터로 훈련됩니다. 이러한 모델이 개인의 사생활을 침해한 사례가 있습니다. 모델은 사회 보장 번호, 주소, 휴대폰 번호, 의료 정보 등 특정 정보를 유출할 수 있습니다.

잘못된 정보와 허위 정보

Pixabay의 geralt 이미지

언어 모델은 정확해 보이지만 실제로는 거짓이며 경험적 증거로 뒷받침되지 않는, 사람이 쓴 듯한 내용을 생성할 수 있습니다. 이는 우발적일 수 있으며, 잘못된 정보를 생성할 수 있습니다. 또는 악의적인 의도에 의해 허위 정보를 퍼뜨릴 수 있습니다. 이러한 문제가 제대로 해결되지 않으면 부정적인 사회적, 문화적, 경제적, 정치적 추세를 만들 수 있습니다.

LLM 환각 예방

Pixabay의 athree23 이미지

연구자와 실무자는 LLM의 환각 문제를 해결하기 위해 다양한 접근 방식을 사용하고 있습니다. 이러한 접근 방식에는 훈련 데이터의 다양성을 개선하고, 내재된 편향을 제거하고, 더 나은 정규화 기술을 사용하고, 적대적 훈련과 강화 학습을 사용하는 것이 포함됩니다.

• 정규화 기술을 개발하는 것은 환각을 해결하는 핵심입니다. 이는 과적합과 다른 문제를 방지하여 환각을 일으키는 것을 방지합니다.
• 데이터 증강은 환각의 빈도를 줄일 수 있습니다. 연구에 따르면, 데이터 증강은 문장의 임의 위치에 무작위 토큰을 추가해 훈련 집합을 확장합니다. 해당 연구에서는 훈련 집합의 크기를 두 배로 늘려 환각의 빈도를 줄였습니다.
• OpenAI와 Google의 DeepMind는 인간 피드백을 사용하는 강화 학습을 개발했습니다. 이는 모델의 응답을 평가하고 사용자 프롬프트에 가장 적합한 응답을 선택하는 인간 평가자가 포함됩니다. 이 피드백은 모델의 행동을 조정하는 데 사용됩니다. OpenAI의 최고 과학자인 Ilya Sutskever는 최근에 이 접근 방식이 ChatGPT의 환각을 해결할 수 있다고 언급했습니다: “나는 단순히 인간 피드백에서 강화 학습을 개선함으로써 우리는 그것을 환각하지 않도록 가르칠 수 있을 것이라고 희망합니다.”
• 환각으로 생성된 내용을 식별하여 미래의 훈련에 사용하는 것도 환각을 해결하는 방법입니다. 새로운 기술은 출력의 토큰 수준에서 환각을 감지하고 각 토큰이 환각인지 예측합니다. 또한 환각 감지기를 비지도 학습하는 방법도 포함합니다.

토큰 수준의 환각 감지

간단히 말하면, LLM 환각은 점점 더 큰 우려입니다. 그러나 이러한 문제를 해결하기 위해 여전히 많은 작업이 필요합니다. 이러한 모델의 복잡성으로 인해 환각의 근본적인 원인을 올바르게 식별하고 수정하는 것이 일반적으로 어렵습니다.

그러나 지속적인 연구와 개발을 통해 LLM의 환각을 완화하고 윤리적인 결과를 줄이는 것이 가능합니다.

LLM과 환각을 예방하는 기술에 대해 더 알고 싶다면, unite.ai를 방문하여 지식을 확장하세요.