AI 피드백 루프: AI 생성 콘텐츠 시대에 모델 생산 품질 유지

프로덕션에 배포된 AI 모델은 강력하고 지속적인 성능 평가 메커니즘을 필요로 합니다. 이것이 AI 피드백 루프가 적용되어 일관된 모델 성능을 보장할 수 있는 곳입니다.

엘론 머스크의 말을 들어보세요:

“피드백 루프를 가지고 있는 것이 매우 중요하다고 생각합니다. जह서 당신이 항상 당신이 한 일과 어떻게 더 잘할 수 있는지에 대해 생각합니다.”

모든 AI 모델에 대한 표준 절차는 모델을 배포한 다음 최신 실세계 데이터에 대해 모델을 주기적으로 재훈련하여 모델의 성능이 저하되지 않도록 하는 것입니다. 그러나 제네레이티브 AI의 등장이로 인해 AI 모델 훈련은 비정상적이고 오류가 발생하기 쉽게 되었습니다. 그것은 온라인 데이터 소스(인터넷)가 점차적으로 인간이 생성한 데이터와 AI가 생성한 데이터의 혼합물이 되고 있기 때문입니다.

예를 들어, 많은 블로그는 LLM(Large Language Modules)인 ChatGPT 또는 GPT-4와 같은 것을 사용하여 생성된 텍스트를 특징으로 합니다. 많은 데이터 소스는 DALL-E2 또는 Midjourney를 사용하여 생성된 AI 생성 이미지입니다. 또한, AI 연구자들은 제네레이티브 AI를 사용하여 생성된 합성 데이터를 모델 훈련 파이프라인에서 사용하고 있습니다.

따라서, 우리는 강력한 메커니즘을 필요로 합니다. 그것은 AI 모델의 품질을 보장하는 것입니다. 이것이 AI 피드백 루프의 필요성이 더욱 증폭되는 곳입니다.

AI 피드백 루프란 무엇인가?

AI 피드백 루프는 반복적인 프로세스입니다. 여기서 AI 모델의 결정과 출력이 지속적으로 수집되어 동일한 모델을 향상시키거나 재훈련하는 데 사용됩니다. 결과적으로 지속적인 학습, 개발, 모델 개선이 일어납니다. 이 프로세스에서, AI 시스템의 훈련 데이터, 모델 매개변수, 알고리즘은 시스템 내에서 생성된 입력에 따라 업데이트되고 개선됩니다.

주로 두 가지 종류의 AI 피드백 루프가 있습니다:

1. 양의 AI 피드백 루프: AI 모델이 사용자의 기대와 선호도에 부합하는 정확한 결과를 생성할 때, 사용자는 피드백 루프를 통해 양의 피드백을 제공하여 미래의 결과의 정확성을 강화합니다. 이러한 피드백 루프는 양의라고 합니다.
2. 음의 AI 피드백 루프: AI 모델이 정확하지 않은 결과를 생성할 때, 사용자는 피드백 루프를 통해 결함을 보고하여 시스템의 안정성을 개선하고 결함을 수정합니다. 이러한 피드백 루프는 음의라고 합니다.

두 가지 유형의 AI 피드백 루프 모두 지속적인 모델 개발과 성능 개선을 가능하게 합니다. 그리고 그것들은 분리되어 사용되거나 적용되지 않습니다. 함께, 프로덕션에 배포된 AI 모델이 올바른지 또는 잘못된지를 알 수 있습니다.

AI 피드백 루프의 단계

AI 모델의 피드백 메커니즘의 고수준 일러스트레이션. 소스

AI 피드백 루프가 작동하는 방식을 이해하는 것은 AI 개발의 전체 잠재력을 해방하는 데 중요합니다. 아래에서 AI 피드백 루프의 다양한 단계를 살펴보겠습니다.

1. 피드백 수집: 모델 평가를 위해 관련 모델 결과를 수집합니다. 일반적으로 사용자는 모델 결과에 대한 피드백을 제공하여 재훈련에 사용합니다. 또는 웹에서 큐레이션된 외부 데이터를 사용하여 시스템 성능을 미세 조정할 수 있습니다.
2. 모델 재훈련: 수집된 정보를 사용하여 AI 시스템을 재훈련하여 더 나은 예측, 답변, 또는 특정 활동을 수행하도록 모델 매개변수 또는 가중치를 tinh chỉnh합니다.
3. 피드백 통합 및 테스트: 재훈련 후, 모델을 테스트하고 다시 평가합니다. 이 단계에서, 주제 전문가(SME)의 피드백도 데이터를 넘어서는 문제를 강조하기 위해 포함됩니다.
4. 배포: 모델을 변경 사항을 확인한 후 다시 배포합니다. 이 단계에서, 모델은 새로운 실세계 데이터에서 더 나은 성능을 보고해야 하며, 결과적으로 사용자 경험을 개선합니다.
5. 모니터링: 모델을 지속적으로 메트릭을 사용하여 잠재적인 성능 저하를 식별합니다(예: 드리프트). 그리고 피드백 사이클이 계속됩니다.

프로덕션 데이터 및 AI 모델 출력의 문제

강력한 AI 시스템을 구축하려면 프로덕션 데이터(실세계 데이터)와 모델 결과에서 발생할 수 있는 잠재적인 문제를 이해해야 합니다. 몇 가지 문제를 살펴보겠습니다. 그것은 AI 시스템의 정확성과 신뢰성을 보장하는 데障害가 됩니다:

1. 데이터 드리프트: 모델이 훈련 데이터 분포와 다른 분포의 실세계 데이터를 받기 시작할 때 발생합니다.
2. 모델 드리프트: 모델의 예측 능력과 효율성이 시간이 지남에 따라 변경되는 실세계 환경으로 인해 저하됩니다. 이것을 모델 드리프트라고 합니다.
3. AI 모델 출력 대 실세계 결정: AI 모델이 실세계 이해 관계자의 결정과 일치하지 않는 부정확한 출력을 생성합니다.
4. 편향 및 공정성: AI 모델은 편향과 공정성 문제를 개발할 수 있습니다. 예를 들어, Janelle Shane의 TED 강연에서, 그녀는 Amazon의 이력서 정렬 알고리즘을 중단한 결정에 대해 설명합니다. 그 알고리즘은 성별 차별을 이유로 중단되었습니다.

AI 모델이 AI 생성 콘텐츠를 훈련할 때, 이러한 문제가さらに 증가할 수 있습니다. 어떻게? 더 자세히 обс论해 보겠습니다.

AI 생성 콘텐츠 시대의 AI 피드백 루프

제네레이티브 AI의 빠른 채택에 따라, 연구자들은 모델 붕괴라는 현상을 연구했습니다. 그들은 모델 붕괴를 다음과 같이 정의합니다:

“학습된 제네레이티브 모델의 세대에서 발생하는 퇴화 과정으로, 생성된 데이터가 다음 세대의 모델의 훈련 세트를 오염시키고, 오염된 데이터로 훈련된 모델은 현실을 잘못 인식합니다.”

모델 붕괴에는 두 가지 특별한 경우가 있습니다,

• 초기 모델 붕괴는 “모델이 분포의 꼬리 부분에 대한 정보를 잃기 시작할 때” 발생합니다.
• 후기 모델 붕괴는 “모델이 원래 분포의 다른 모드를 얽히고 원래 분포와 거의 닮지 않은 분포로 수렴할 때” 발생합니다. thường적으로 작은 분산을 가집니다.

모델 붕괴의 원인

AI 실무자들이 이 문제를 해결하려면, 모델 붕괴의 이유를 이해하는 것이 중요합니다. 두 가지 주요 카테고리로 분류됩니다:

1. 통계적 근사 오류: 이것은 샘플의 유한한 수로 인해 발생하는 주요 오류이며, 샘플 수가 무한으로 가까워질수록 사라집니다.
2. 기능적 근사 오류: 이 오류는 모델(예: 신경망)이 실제로 데이터에서 학습해야 하는 기본 함수를 캡처하지 못할 때 발생합니다.

여러 모델 세대에서 모델 붕괴의 영향을 받은 모델 결과 샘플. 소스

AI 생성 콘텐츠로 인해 AI 피드백 루프가 어떻게 영향을 받는지

AI 모델이 AI 생성 콘텐츠를 훈련할 때, 그것은 AI 피드백 루프에 파괴적인 영향을 미치고 재훈련된 AI 모델에 많은 문제를 일으킬 수 있습니다. 예를 들어:

• 모델 붕괴: 위에서 설명한대로, 모델 붕괴는 AI 피드백 루프에 AI 생성 콘텐츠가 포함된 경우 발생할 가능성이 있습니다.
• 카타스트로피적遗忘: 지속적인 학습의 일반적인 도전은 모델이 새로운 정보를 학습할 때 이전 샘플을 잊어버리는 것입니다. 이것을 카타스트로피적遗忘이라고 합니다.
• 데이터 오염: 그것은 AI 모델의 성능을 손상시키기 위해 조작된 합성 데이터를 AI 모델에 공급하는 것을 의미합니다. 그렇게 하면 모델이 부정확한 출력을 생성합니다.

사업체는 어떻게 강력한 피드백 루프를 생성하여 자신의 AI 모델을 개선할 수 있을까?

사업체는 자신의 AI 워크플로에서 피드백 루프를 사용하여 혜택을 얻을 수 있습니다. 아래의 세 가지 주요 단계를 따르세요. 그렇게 하면 AI 모델의 성능을 향상시킬 수 있습니다.

• 주제 전문가의 피드백: 주제 전문가들은 자신의 도메인에 매우 지식이 풍부하며 AI 모델의 사용을 이해합니다. 그들은 모델을 실제 세팅에 맞추고 올바른 결과를 얻을 수 있는 기회를 높이기 위해 통찰력을 제공할 수 있습니다. 또한, 그들은 AI 생성 데이터를 더 잘 관리하고 통제할 수 있습니다.
• 관련 모델 품질 메트릭 선택: 올바른 작업에 대한 올바른 평가 메트릭을 선택하고 모델을 프로덕션에서 이러한 메트릭을 기반으로 모니터링하면 모델 품질을 보장할 수 있습니다. AI 실무자들은 또한 모델 성능이 프로덕션에서 저하되기 시작하면 모든 이해 관계자에게 경고하는 자동 평가 및 모니터링을 위한 MLOps 도구를 사용합니다.
• 엄격한 데이터 큐레이션: 프로덕션 모델이 새로운 데이터에 대해 재훈련될 때, 과거 정보를 잊을 수 있으므로 모델의 목적에 잘 맞는 높은 품질의 데이터를 큐레이션하는 것이 중요합니다. 이 데이터는 사용자 피드백과 함께 모델을 이후 세대에서 재훈련하는 데 사용될 수 있습니다. 그렇게 하면 품질을 보장할 수 있습니다.

AI의 발전에 대해 더 배우려면 Unite.ai를 방문하세요.