์ฌ์ ๋ฆฌ๋
LLM ๋ด์ ํ์ฌ ๋ฌธ์ ํด๊ฒฐ ๋ฐ ํฅํ ์ ๋ง
오늘날, GPT-3, GPT-4, LaMDA, 또는 Bard와 같은 수십 개의 공개적으로 사용 가능한 대규모 언어 모델(LLM)이 있으며, 새로운 모델이 출시됨에 따라 이 수는不断적으로 증가하고 있다. LLM은 인공 지능을 혁신적으로 변화시키며, 다양한 산업에서 기술과 상호 작용하는 방식을 완전히改变했다. 이러한 모델은 많은 인간 언어 데이터셋에서 학습할 수 있으며, 혁신, 창의성, 효율성의 새로운 길을 열어주었다.
그러나 위대한 힘은 위대한 복잡성을 동반한다. LLM을 이용하기 전에 해결해야 할 내재된 도전과 윤리적인 문제들이 있다. 예를 들어, 최근 스탠퍼드 연구에서 ChatGPT-4가 인종이나 성별을 암시하는 이름을 포함하는 특정 질의를 처리하는 방식에서 인종 및 성별 편향을 발견했다. 이 연구에서 프로그램은 자말 워싱턴이라는 이름의 사람이 판매하는 중고 자전거에 대해 얼마를 지불해야 하는지에 대한 조언을 요청했으며, 이는 로건 베커라는 이름의 판매자와 비교했을 때 훨씬 낮은 금액을 산출했다. 이러한 발견이 계속 밝혀짐에 따라 LLM 도전 과제를 해결할 필요는 증가한다.
일반적인 LLM 우려 사항 완화 방법
편향
LLM에서 가장 많이 논의되는 문제 중 하나는 편향과 공정성이다. 최근 연구에서 전문가들은 최근에 발표된 4개의 LLM을 테스트했으며, 모두 남성과 여성에 대한 편향된 가정을 나타냈다. 특히 사람들이 인식하는 것과 사실에 근거한 것 사이의 차이를 보여주었다. 이.context에서 편향은 사회적 그룹 간의 불균등한 처리 또는 결과를 의미하며, 역사적 또는 구조적 권력 불균형으로 인해 발생할 수 있다.
LLM에서 편향은 데이터 선택, 제작자 인구 통계, 언어 또는 문화적 왜곡으로 인해 발생한다. 데이터 선택 편향은 LLM 훈련을 위한 텍스트 선택이 웹에서 사용되는 언어의 다양성을 대표하지 않는 경우 발생한다. 광범위하지만 제한된 데이터셋으로 훈련된 LLM은 이미 이러한 텍스트에 존재하는 편향을 물려받을 수 있다. 제작자 인구 통계에서 특정 인구 통계 그룹이 다른 그룹보다 더 자주 강조되며, 이는 편향을 감소시키기 위해 콘텐츠 생성에서 더 많은 다양성과 포용성을 필요로 한다. 예를 들어, 위키백과는 훈련 데이터의 일반적인 출처이며, 편집자 중 男性가 84%를 차지하는 것으로 나타났다. 이는 언어와 문화에도 유사한 편향이 존재한다. LLM이 훈련되는 많은 출처는 영어 중심으로 편향되어 있으며, 다른 언어와 문화로 번역할 때 항상 정확하게 번역되지 않는다.
필터링된 데이터로 LLM을 훈련시키고, 일관되지 않은 주제를 억제하기 위한 가드레일을 설치하는 것이 중요하다. 이를 달성하는 한 가지 방법은 데이터 증강 기반 기술을 사용하는 것이다. 훈련 데이터에 대표되지 않는 그룹의 예를 추가하여 데이터셋의 다양성을 확대할 수 있다. 또 다른 완화 전략은 데이터 필터링 및 재가중치 설정으로, 주로 특정 대표되지 않는 예를 정확하게 타겟팅하는 existing 데이터셋에 초점을 맞춘다.
환각
LLM의 context에서 환각은 문법적으로 올바르고 일견으로는 일관된 텍스트를 생성하는 현象이지만, 사실적 정확성이나 원래 소스 자료의 의도와 다르다. 실제로, 최근 보고서에 따르면, 미네소타 법률에 대한 소송이 직접적으로 LLM 환각의 영향을 받았다. 법률을 지지하기 위해 제출된 증서는 ChatGPT 또는 다른 LLM에 의해 환각된 것으로 나타난不存在한 출처를 포함하고 있었다. 이러한 환각은 쉽게 LLM의 신뢰성을 낮출 수 있다.
환각에는 세 가지 주요 형태가 있다:
- 입력-충돌 환각: 이는 LLM의 출력이 사용자가 제공한 입력과 다르며, 일반적으로 작업 지시와 처리할 콘텐츠를 포함한다.
- context-충돌 환각: LLM은 확장된 대화 또는 여러 교환 시나리오에서 내부적으로 일관되지 않은 응답을 생성할 수 있다. 이는 모델이 context를 추적하거나 여러 상호작용에서 일관성을 유지하는 능력에 잠재적인 결함을 나타낸다.
- 사실-충돌 환각: 이는 LLM이 확립된 사실적 지식과 모순되는 콘텐츠를 생성할 때 발생한다. 이러한 오류의 원인은 다양하며, LLM의 수명주기에서 다양한 단계에서 발생할 수 있다.
이 현상에 기여하는 많은 요소가 있으며, 지식 결핍이 있으며, LLM이 사전 훈련 중에 정보를 올바르게 통합하거나 처리할 수 없는 능력으로 설명할 수 있다. 또한, 훈련 데이터 내의 편향이나 LLM의 순차적 생성 전략, 즉 “환각 눈덩이”로 인해 환각을 생성할 수 있다.
환각을 완화하는 방법이 있으며, 이는 LLM의 특징일 것이다. 환각을 완화하는 유용한 전략은 사전 훈련 중에 완화하는 것(필터링 기술을 사용하여 데이터를 수동으로 정제) 또는 미세 조정(훈련 데이터를 큐레이팅)이다. 그러나 추론 중에 완화하는 것이 가장 좋은 해결책이다. 이는 비용 효율성과 제어 가능성으로 인해 그렇다.
개인 정보
인터넷의 普及으로 인해 개인 정보 및 기타 개인 데이터에 대한 접근성이 증가했으며, 이는 널리 인식되는 문제가 되었다. 한 연구에 따르면, 80%의 미국 소비자는 자신의 데이터가 AI 모델을 훈련하는 데 사용되고 있다는 것을 우려한다. 가장 대표적인 LLM은 웹사이트에서 출처를 얻기 때문에, 이는 개인 정보 보호 위험을 어떻게 초래하는지 고려해야 한다. 이는 LLM에서 아직 해결되지 않은 문제이다.
LLM이 개인 정보를 배포하지 않도록 방지하는 가장 간단한 방법은 훈련 데이터에서 이를 제거하는 것이다. 그러나 LLM에 포함된 데이터의 양이 방대하기 때문에, 모든 개인 정보가 제거되었다는 것을 보장하는 것은 거의 불가능하다. 또 다른 일반적인 대안은 외부 개발 모델을 사용하는 조직이 오픈 소스 LLM을 선택하는 것이다.
이 접근 방식에서는 모델의 복사본을 내부적으로 배포할 수 있다. 사용자의 프롬프트는 제3자 서비스에 노출되지 않고 조직의 네트워크 내에서 안전하게 유지된다. 이는 민감한 데이터를 누출하는 위험을 크게 줄인다. 그러나 이는 복잡성을 추가한다. 개인 데이터의 보호를 완전히 보장하는 것이 어려우므로, 애플리케이션 개발자는 이러한 모델이 사용자를 위험에 빠뜨릴 수 있는 방법을 고려해야 한다.
LLM의 다음 전선
현재의 위험을 완화하면서 LLM의 후속 발전을 계속 성장시키고 형성함에 따라, 우리는 이미 H와 같은 회사에서 Runner H를 시작으로 LLM 에이전트의 등장을 기대할 수 있다. 순수한 언어 모델에서 에이전트 아키텍처로의 전환은 AI 시스템 설계의 변화를 나타낸다. 이는 채팅 인터페이스와 단순한 검색-증강 생성의 내재된 한계를 넘어선다. 이러한 새로운 에이전트 프레임워크는 복잡한 목표를 원자적 하위 작업으로 분해하는 고급 планирование 모듈을 가지며, 맥락적推論을 위한 에피소드記憶을 유지하고, 정의된 API를 통해 전문 도구를 활용한다. 이는 작업 자동화에 대한 더 강력한 접근 방식을 만든다. 아키텍처의 진행은 전통적인 LLM 구현에서 작업 및 推論, 도구 통합 및 실행 모니터링周りの 일반적인 도전 과제를 완화하는 데 도움이 된다.
LLM 외에도, 비용 효율성, 접근성 및 배포의 용이성으로 인해 더 작은 언어 모델을 훈련하는 데 더 많은 초점이 있을 것이다. 예를 들어, 도메인 특정 언어 모델은 특정 산업 또는 분야에 전문적으로 구성된다. 이러한 모델은 도메인 특정 데이터 및 용어로 세부적으로 조정되어 있으며, 정밀성이 필수적인 의료 또는 법률 분야와 같은 복잡하고 규제되는 환경에서 이상적이다. 이러한 타겟팅 접근 방식은 일반-purpose 모델이 전문 콘텐츠와遭遇할 때 발생할 수 있는 오류 및 환각의 가능성을 줄인다.
LLM의 새로운 전선을 탐험하면서, 혁신의 경계를 확장하고, 잠재적인 위험을 해결하고 완화하는 것이 중요하다. 편향, 환각 및 개인 정보 보호와 관련된 도전 과제를 먼저 식별하고 적극적으로 해결함으로써, 우리는 다양한 분야에서 번영할 수 있는 더 강력한 기초를 위한 LLM을 만들 수 있다.
