AI 피드백 루프: AI 생성 콘텐츠 시대의 모델 생산 품질 유지

프로덕션 배포 AI 모델에는 강력하고 지속적인 성능 평가 메커니즘이 필요합니다. 일관된 모델 성능을 보장하기 위해 AI 피드백 루프를 적용할 수 있는 곳입니다.

Elon Musk에서 가져옵니다.

"당신이 한 일에 대해 끊임없이 생각하고 더 잘할 수있는 방법을 생각하는 피드백 루프를 갖는 것이 매우 중요하다고 생각합니다."

모든 AI 모델의 경우 표준 절차는 모델을 배포한 다음 성능이 저하되지 않도록 최신 실제 데이터에서 주기적으로 재교육하는 것입니다. 하지만 급격한 상승세로 제너레이티브 AI, AI 모델 교육은 비정상적이고 오류가 발생하기 쉽습니다. 온라인 데이터 소스(인터넷)가 점차 인간이 생성한 데이터와 AI가 생성한 데이터가 혼합되고 있기 때문입니다.

예를 들어 오늘날 많은 블로그에는 AI가 생성한 텍스트가 있습니다. LLM(대형 언어 모듈) ChatGPT 또는 GPT-4와 같습니다. 많은 데이터 소스에는 DALL-E2 또는 Midjourney를 사용하여 생성된 AI 생성 이미지가 포함되어 있습니다. 또한 AI 연구자들은 모델 훈련 파이프라인에서 Generative AI를 사용하여 생성된 합성 데이터를 사용하고 있습니다.

따라서 AI 모델의 품질을 보장하기 위한 강력한 메커니즘이 필요합니다. AI 피드백 루프의 필요성이 더욱 증폭된 곳입니다.

AI 피드백 루프란 무엇입니까?

AI 피드백 루프는 AI 모델의 결정 및 출력이 지속적으로 수집되고 동일한 모델을 개선하거나 재교육하는 데 사용되어 지속적인 학습, 개발 및 모델 개선을 가져오는 반복 프로세스입니다. 이 프로세스에서 AI 시스템의 훈련 데이터, 모델 매개변수 및 알고리즘은 시스템 내에서 생성된 입력을 기반으로 업데이트되고 개선됩니다.

주로 두 가지 종류의 AI 피드백 루프가 있습니다.

1. 긍정적인 AI 피드백 루프: AI 모델이 사용자의 기대와 선호도에 부합하는 정확한 결과를 생성하면 사용자는 피드백 루프를 통해 긍정적인 피드백을 제공하고 이는 그 대가로 향후 결과의 정확성을 강화합니다. 이러한 피드백 루프를 포지티브라고 합니다.
2. 부정적인 AI 피드백 루프: AI 모델이 부정확한 결과를 생성하면 사용자는 피드백 루프를 통해 결함을 보고하고 결함을 수정하여 시스템의 안정성을 개선하려고 합니다. 이러한 피드백 루프를 네거티브라고 합니다.

두 가지 유형의 AI 피드백 루프는 시간이 지남에 따라 지속적인 모델 개발 및 성능 향상을 가능하게 합니다. 그리고 그것들은 단독으로 사용되거나 적용되지 않습니다. 함께 프로덕션에 배포된 AI 모델이 무엇이 옳고 그른지 알 수 있도록 도와줍니다.

AI 피드백 루프의 단계

AI 피드백 루프가 작동하는 방식을 이해하는 것은 AI 개발의 모든 잠재력을 발휘하는 데 중요합니다. 아래에서 AI 피드백 루프의 다양한 단계를 살펴보겠습니다.

1. 피드백 수집: 평가를 위해 관련 모델 결과를 수집합니다. 일반적으로 사용자는 모델 결과에 대한 피드백을 제공한 다음 재교육에 사용됩니다. 또는 시스템 성능을 미세 조정하기 위해 선별된 웹의 외부 데이터일 수 있습니다.
2. 모델 재교육: 수집된 정보를 사용하여 AI 시스템은 모델 매개변수 또는 가중치를 세분화하여 더 나은 예측을 하거나 답변을 제공하거나 특정 활동을 수행하도록 재훈련됩니다.
3. 피드백 통합 및 테스트: 재학습 후 모델을 테스트하고 다시 평가합니다. 이 단계에서는 데이터 이외의 문제를 강조하기 위해 주제 전문가(SME)의 피드백도 포함됩니다.
4. 전개: 변경 사항을 확인한 후 모델을 재배포합니다. 이 단계에서 모델은 새로운 실제 데이터에 대해 더 나은 성능을 보고하여 사용자 경험을 개선해야 합니다.
5. 모니터링 : 드리프트와 같은 잠재적인 저하를 식별하기 위해 지표를 사용하여 모델을 지속적으로 모니터링합니다. 그리고 피드백 주기는 계속됩니다.

생산 데이터 및 AI 모델 출력의 문제

강력한 AI 시스템을 구축하려면 생산 데이터(실제 데이터) 및 모델 결과의 잠재적인 문제를 철저히 이해해야 합니다. AI 시스템의 정확성과 신뢰성을 보장하는 데 장애물이 되는 몇 가지 문제를 살펴보겠습니다.

1. 데이터 드리프트: 모델이 모델의 교육 데이터 분포와 비교하여 다른 분포에서 실제 데이터를 수신하기 시작할 때 발생합니다.
2. 모델 드리프트: 모델의 예측 기능과 효율성은 변화하는 실제 환경으로 인해 시간이 지남에 따라 감소합니다. 이를 모델 드리프트라고 합니다.
3. AI 모델 출력 대 실제 결정: AI 모델은 실제 이해 관계자의 결정과 일치하지 않는 부정확한 결과를 생성합니다.
4. 편향 및 공정성: AI 모델은 편견과 공정성 문제를 일으킬 수 있습니다. 예를 들어, Janelle Shane의 TED 토크, 그녀는 성별 차별로 인해 이력서 정렬 알고리즘 작업을 중단하기로 한 Amazon의 결정에 대해 설명합니다.

AI 모델이 AI 생성 콘텐츠에 대한 교육을 시작하면 이러한 문제가 더 커질 수 있습니다. 어떻게? 이에 대해 더 자세히 논의합시다.

AI 생성 콘텐츠 시대의 AI 피드백 루프

급속한 생성 AI 채택의 여파로 연구자들은 다음과 같은 현상을 연구했습니다. 모델 축소. 모델 축소를 다음과 같이 정의합니다.

“생성된 데이터가 결국 차세대 모델의 교육 세트를 오염시키는 학습된 생성 모델 세대에 영향을 미치는 퇴행 과정; 오염된 데이터에 대한 교육을 받으면서 현실을 잘못 인식합니다.”

Model Collapse는 두 가지 특수한 경우로 구성됩니다.

• 초기 모델 붕괴 "모델이 분포의 꼬리에 대한 정보를 잃기 시작할 때", 즉 훈련 데이터 분포의 극단에서 발생합니다.
• 후기 모델 축소 "모델이 원래 분포의 서로 다른 모드를 얽히고 원래 분포와 약간 유사한 분포로 수렴할 때 발생하며 종종 매우 작은 분산이 있습니다."

모델 붕괴의 원인

AI 실무자가 이 문제를 해결하려면 두 가지 주요 범주로 그룹화된 모델 붕괴의 이유를 이해하는 것이 필수적입니다.

1. 통계적 근사 오류: 이것은 유한한 샘플 수로 인해 발생하는 주요 오류이며 샘플 수가 무한대에 가까워지면 사라집니다.
2. 기능적 근사 오류: 이 오류는 신경망과 같은 모델이 데이터에서 학습해야 하는 진정한 기본 기능을 캡처하지 못할 때 발생합니다.

AI 생성 콘텐츠로 인해 AI 피드백 루프가 미치는 영향

AI 모델이 AI 생성 콘텐츠에 대해 훈련할 때 AI 피드백 루프에 파괴적인 영향을 미치고 재훈련된 AI 모델에 다음과 같은 많은 문제를 일으킬 수 있습니다.

• 모델 축소: 위에서 설명한 것처럼 AI 피드백 루프에 AI 생성 콘텐츠가 포함된 경우 모델 붕괴가 발생할 가능성이 있습니다.
• 치명적인 망각: 지속적인 학습의 일반적인 문제는 모델이 새로운 정보를 학습할 때 이전 샘플을 잊어버린다는 것입니다. 이것은 치명적인 망각으로 알려져 있습니다.
• 데이터 오염: 조작된 합성 데이터를 AI 모델에 공급하여 성능을 저하시키고 부정확한 결과를 생성하도록 유도하는 것을 말합니다.

기업은 AI 모델에 대한 강력한 피드백 루프를 어떻게 생성할 수 있습니까?

기업은 AI 워크플로에서 피드백 루프를 사용하여 이점을 얻을 수 있습니다. AI 모델의 성능을 향상시키려면 아래 세 가지 주요 단계를 따르십시오.

• 주제 전문가의 피드백: 중소기업은 해당 분야에 대한 지식이 풍부하고 AI 모델의 사용을 이해합니다. 그들은 실제 설정과 모델 정렬을 향상시키는 통찰력을 제공하여 올바른 결과의 더 높은 기회를 제공할 수 있습니다. 또한 AI 생성 데이터를 더 잘 통제하고 관리할 수 있습니다.
• 관련 모델 품질 지표 선택: 올바른 작업에 적합한 평가 메트릭을 선택하고 이러한 메트릭을 기반으로 프로덕션에서 모델을 모니터링하면 모델 품질을 보장할 수 있습니다. 또한 AI 실무자는 자동화된 평가 및 모니터링을 위해 MLOps 도구를 사용하여 프로덕션에서 모델 성능이 저하되기 시작하면 모든 이해 관계자에게 경고합니다.
• 엄격한 데이터 큐레이션: 프로덕션 모델은 새로운 데이터로 재교육되므로 과거 정보를 잊어버릴 수 있으므로 모델의 목적에 잘 부합하는 고품질 데이터를 선별하는 것이 중요합니다. 이 데이터는 품질을 보장하기 위해 사용자 피드백과 함께 후속 세대에서 모델을 재교육하는 데 사용할 수 있습니다.

AI 발전에 대해 자세히 알아보려면 다음으로 이동하십시오. Unite.ai.