AI 피드백 루프: AI 생성 콘텐츠 시대에 모델 생산 품질 유지

생산에 배포된 AI 모델은 일관된 모델 성능을 보장하기 위해 강력하고 지속적인 성능 평가 메커니즘이 필요합니다. 이것이 AI 피드백 루프가 적용되는 곳입니다.

엘론 머스크의 말을 들어보세요:

“피드백 루프를 갖는 것이 매우 중요합니다. 여기서 आप 무엇을 했는지 그리고 어떻게 더 잘할 수 있는지에 대해 끊임없이 생각합니다.”

모든 AI 모델에 대해 표준 절차는 모델을 배포한 다음 최신 실세계 데이터로 모델을 재훈련하여 모델의 성능이 저하되지 않도록 하는 것입니다. 그러나 제너레이티브 AI의 급부상으로 인해 AI 모델 훈련이 비정상적이고 오류가 발생하기 쉽습니다. 그 이유는 온라인 데이터 소스(인터넷)가 점차적으로 인간이 생성한 데이터와 AI가 생성한 데이터의 혼합물이 되고 있기 때문입니다.

예를 들어, 오늘날 많은 블로그는 LLM을 사용하여 생성된 텍스트를 특징으로 합니다. 많은 데이터 소스는 DALL-E2 또는 Midjourney를 사용하여 생성된 AI 생성 이미지로 구성됩니다. 또한, AI 연구자들은 제너레이티브 AI를 사용하여 생성된 합성 데이터를 모델 훈련 파이프라인에서 사용합니다.

따라서, 우리는 AI 모델의 품질을 보장하기 위한 강력한 메커니즘이 필요합니다. 이것이 AI 피드백 루프의 필요성이 더욱 강조되는 이유입니다.

AI 피드백 루프란 무엇인가?

AI 피드백 루프는 AI 모델의 결정과 출력을 지속적으로 수집하여 동일한 모델을 개선하거나 재훈련하는 반복적인 프로세스입니다. 이 프로세스에서 AI 시스템의 훈련 데이터, 모델 매개변수, 알고리즘이 시스템 내에서 생성된 입력에 따라 업데이트되고 개선됩니다.

주로 두 가지 종류의 AI 피드백 루프가 있습니다:

1. 양의 피드백 루프: AI 모델이 사용자의 기대와 선호도에 부합하는 정확한 결과를 생성할 때, 사용자는 피드백 루프를 통해 양의 피드백을 제공하여 미래의 결과의 정확성을 강화합니다.
2. 음의 피드백 루프: AI 모델이 부정확한 결과를 생성할 때, 사용자는 피드백 루프를 통해 결함을 보고하여 시스템의 안정성을 개선합니다.

두 종류의 AI 피드백 루프는 모두 지속적인 모델 개발과 성능 개선을 가능하게 합니다. 또한, 이들은 분리되어 사용되지 않습니다. 함께 사용될 때, 생산에 배포된 AI 모델이 올바른지 여부를 알 수 있습니다.

AI 피드백 루프의 단계

AI 모델의 피드백 메커니즘의 고수준 일러스트입니다. 소스

AI 피드백 루프가 작동하는 방식을 이해하는 것은 AI 개발의 전체 잠재력을 해방하는 데 중요합니다. 아래에서 AI 피드백 루프의 다양한 단계를 살펴보겠습니다.

1. 피드백 수집: 평가를 위해 관련 모델 결과를 수집합니다. 일반적으로, 사용자는 모델 결과에 대한 피드백을 제공하여 재훈련에 사용됩니다. 또는 외부 데이터를 웹에서 수집하여 시스템 성능을 미세 조정할 수 있습니다.
2. 모델 재훈련: 수집된 정보를 사용하여 AI 시스템을 재훈련하여 더 나은 예측, 답변, 또는 특정 활동을 수행하도록 모델 매개변수 또는 가중치를 정련합니다.
3. 피드백 통합 및 테스트: 재훈련 후, 모델을 다시 테스트하고 평가합니다. 이 단계에서, 주제 전문가의 피드백도 데이터를 넘어선 문제를 강조하기 위해 포함됩니다.
4. 배포: 모델을 다시 배포합니다. 이 단계에서, 모델은 새로운 실세계 데이터에서 더 나은 성능을 보고해야 하며, 이는 개선된 사용자 경험으로 이어집니다.
5. 모니터링: 모델을 지속적으로 모니터링하여 잠재적인 성능 저하를 식별합니다. 그리고 피드백 사이클이 계속됩니다.

생산 데이터 및 AI 모델 출력의 문제

강력한 AI 시스템을 구축하려면 생산 데이터(실세계 데이터)와 모델 출력의 잠재적인 문제를 철저히 이해해야 합니다. 몇 가지 문제를 살펴보겠습니다.

1. 데이터 드리프트: 모델이 훈련 데이터 분포와 다른 분포의 실세계 데이터를 받기 시작할 때 발생합니다.
2. 모델 드리프트: 모델의 예측 능력과 효율성이 시간이 지남에 따라 실세계 환경의 변화로 인해 저하됩니다. 이것을 모델 드리프트라고 합니다.
3. AI 모델 출력 대 실세계 결정: AI 모델이 실세계 이해관계자의 결정과 일치하지 않는 부정확한 출력을 생성합니다.
4. 편향 및 공정성: AI 모델은 편향과 공정성 문제를 개발할 수 있습니다. 예를 들어, Janelle Shane의 TED 강연에서, 그녀는 아마존의 이력서 정렬 알고리즘을 중단한 이유를 성별 차별로 설명합니다.

AI 모델이 AI 생성 콘텐츠를 훈련할 때, 이러한 문제가さらに 증가할 수 있습니다. 어떻게 하는지 자세히 살펴보겠습니다.

AI 생성 콘텐츠 시대의 AI 피드백 루프

제너레이티브 AI의 급부상으로 인해 연구자들은 모델 붕괴라는 현상을 연구했습니다. 모델 붕괴는 “학습된 제너레이티브 모델의 世代에 영향을 미치는 퇴화 과정으로, 생성된 데이터가 다음 세대의 모델의 훈련 세트를 오염시키고, 오염된 데이터로 훈련된 모델은 현실을 잘못 인식합니다”라고 정의합니다.

모델 붕괴에는 두 가지 특수한 경우가 있습니다.

• 초기 모델 붕괴: “모델이 분포의 꼬리(극端)를 잃어버리기 시작할 때” 발생합니다.
• 후기 모델 붕괴: “모델이 원래 분포의 다른 모드를 얽히고 원래 분포와 매우 작은 분산을 갖는 분포로 수렴할 때” 발생합니다.

모델 붕괴의 원인

AI 실무자들이 이 문제를 해결하기 위해, 모델 붕괴의 원인을 이해하는 것이 중요합니다. 두 가지 주요 카테고리로 분류할 수 있습니다:

1. 통계적 근사 오차: 이는 샘플 수가有限한 것으로 인해 발생하는 오차로, 샘플 수가 무한에 가까워질수록消失합니다.
2. 기능적 근사 오차: 이는 모델(예: 신경망)이 실제 학습해야 할 함수를 포착하지 못하는 오차입니다.

모델 붕괴의 예입니다. 소스

AI 생성 콘텐츠로 인한 AI 피드백 루프의 영향

AI 모델이 AI 생성 콘텐츠를 훈련할 때, 이는 AI 피드백 루프와 재훈련된 AI 모델에 많은 문제를 일으킬 수 있습니다.

• 모델 붕괴: 위에서 설명한대로, 모델 붕괴는 AI 피드백 루프에 AI 생성 콘텐츠가 포함될 때 발생할 수 있습니다.
• 카타스트로피적 망각: 연속 학습의 일반적인 도전은 모델이 새로운 정보를 학습할 때 이전 샘플을 잊어버리는 것입니다. 이것을 카타스트로피적 망각이라고 합니다.
• 데이터 오염: 이는 AI 모델에 조작된 합성 데이터를 공급하여 성능을 손상시키고 부정확한 출력을 생성하도록 유도하는 것을 말합니다.

비즈니스에서 강력한 피드백 루프를 생성하는 방법

비즈니스에서는 AI 워크플로에서 피드백 루프를 사용하여 이점을 얻을 수 있습니다. 아래의 세 가지 주요 단계를 따르세요.

• 주제 전문가의 피드백: 주제 전문가는 해당 도메인에 대한 전문 지식을 가지고 있으며 AI 모델의 사용을 이해합니다. 그들은 모델을 실세계 환경에 맞게 조정하여 올바른 결과를 얻을 수 있도록 도와줄 수 있습니다. 또한, 그들은 AI 생성 데이터를 더 잘 관리하고 감독할 수 있습니다.
• 관련 모델 품질 지표 선택: 올바른 평가 지표를 선택하여 모델을 모니터링할 수 있습니다. AI 실무자들은 또한 MLOps 도구를 사용하여 모델 성능의 저하를 자동으로 감지하고 모든 이해관계자에게 경고합니다.
• 엄격한 데이터 큐레이션: 생산 모델을 재훈련할 때, 과거 정보를 잊어버릴 수 있습니다. 따라서 모델의 목적에 맞게 높은 품질의 데이터를 큐레이션하는 것이 중요합니다. 이 데이터는 이후 세대의 모델을 재훈련하는 데 사용할 수 있으며, 사용자 피드백과 함께 품질을 보장합니다.

AI의 발전에 대해 더 알아보려면 Unite.ai를 방문하세요.