Pętla informacji zwrotnej AI: Utrzymywanie jakości modelu produkcyjnego w erze treści generowanych przez AI

Wdrożone w produkcji modele AI wymagają solidnego i ciągłego mechanizmu oceny wydajności. To właśnie tutaj można zastosować pętlę informacji zwrotnej AI, aby zapewnić spójną wydajność modelu.

Weź to od Elona Muska:

“Uważam, że bardzo ważne jest posiadanie pętli informacji zwrotnej, gdzie ciągle myślisz o tym, co zrobiłeś i jak możesz to robić lepiej.”

Dla wszystkich modeli AI standardową procedurą jest wdrożenie modelu, a następnie okresowe ponowne przeszkolenie go na najnowszych danych z świata rzeczywistego, aby upewnić się, że jego wydajność nie ulega pogorszeniu. Jednak wraz z gwałtownym rozwojem Generative AI, szkolenie modeli AI stało się anomalnym i podatnym na błędy. Wynika to z faktu, że źródła danych online (internet) stopniowo stają się mieszaniną danych generowanych przez ludzi i AI.

Na przykład, wiele blogów dzisiaj zawiera teksty generowane przez AI, napędzane przez LLM (Large Language Modules) takie jak ChatGPT lub GPT-4. Wiele źródeł danych zawiera obrazy generowane przez AI, tworzone przy użyciu DALL-E2 lub Midjourney. Ponadto, badacze AI wykorzystują syntetyczne dane generowane za pomocą Generative AI w swoich potokach szkolenia modeli.

Dlatego też potrzebujemy solidnego mechanizmu, aby zapewnić jakość modeli AI. To właśnie tutaj potrzeba pętli informacji zwrotnej AI stała się bardziej zwiększona.

Czym jest pętla informacji zwrotnej AI?

Pętla informacji zwrotnej AI jest procesem iteracyjnym, w którym decyzje i dane wyjściowe modelu AI są ciągle zbierane i wykorzystywane do udoskonalenia lub ponownego szkolenia tego samego modelu, co skutkuje ciągłym uczeniem, rozwojem i udoskonaleniem modelu. W tym procesie dane szkoleniowe, parametry modelu i algorytmy są aktualizowane i udoskonalane na podstawie danych wejściowych generowanych wewnątrz systemu.

Głównie istnieją dwa rodzaje pętli informacji zwrotnej AI:

1. Pozytywne pętle informacji zwrotnej AI: Gdy modele AI generują dokładne wyniki, które są zgodne z oczekiwaniami i preferencjami użytkowników, użytkownicy przekazują pozytywną informację zwrotną za pomocą pętli informacji zwrotnej, co z kolei wzmacnia dokładność przyszłych wyników. Taka pętla informacji zwrotnej jest określana jako pozytywna.
2. Negatywne pętle informacji zwrotnej AI: Gdy modele AI generują niedokładne wyniki, użytkownicy zgłaszają błędy za pomocą pętli informacji zwrotnej, co skutkuje próbą poprawy stabilności systemu przez naprawę błędów. Taka pętla informacji zwrotnej jest określana jako negatywna.

Oba rodzaje pętli informacji zwrotnej AI umożliwiają ciągły rozwój modelu i poprawę wydajności w czasie. I nie są stosowane lub stosowane w izolacji. Razem pomagają modelom AI wdrożonym w produkcji zrozumieć, co jest prawidłowe, a co nie.

Etapów pętli informacji zwrotnej AI

Ilustracja mechanizmu informacji zwrotnej w modelach AI. Źródło

Zrozumienie, jak działają pętle informacji zwrotnej AI, jest istotne, aby odblokować cały potencjał rozwoju AI. Przejdźmy do omówienia różnych etapów pętli informacji zwrotnej AI poniżej.

1. Zbieranie informacji zwrotnej: Zbieranie istotnych wyników modelu do oceny. Zazwyczaj użytkownicy przekazują swoją informację zwrotną na temat wyniku modelu, która jest następnie wykorzystywana do ponownego szkolenia. Lub może to być zewnętrzne dane z sieci, opracowane w celu poprawy wydajności systemu.
2. Ponowne szkolenie modelu: Wykorzystanie zebranych informacji, system AI jest ponownie szkolony, aby lepiej przewidywać, udzielać odpowiedzi lub wykonywać określone czynności, poprzez udoskonalenie parametrów modelu lub wag.
3. Integracja informacji zwrotnej i testowanie: Po ponownym szkoleniu model jest testowany i oceniany ponownie. Na tym etapie informacja zwrotna od ekspertów ds. zagadnień merytorycznych (SME) jest również włączona w celu podkreślenia problemów poza danymi.
4. Wdrożenie: Model jest ponownie wdrożony po zweryfikowaniu zmian. Na tym etapie model powinien wykazywać lepszą wydajność na nowych danych z świata rzeczywistego, co skutkuje poprawionym doświadczeniem użytkownika.
5. Monitorowanie: Model jest ciągle monitorowany przy użyciu metryk, aby zidentyfikować potencjalne pogorszenie, takie jak dryft. I cykl informacji zwrotnej kontynuuje się.

Problemy w danych produkcyjnych i danych wyjściowych modelu AI

Budowanie solidnych systemów AI wymaga dogłębnego zrozumienia potencjalnych problemów w danych produkcyjnych (danych z świata rzeczywistego) i danych wyjściowych modelu. Przejdźmy do omówienia kilku problemów, które stają się przeszkodą w zapewnieniu dokładności i niezawodności systemów AI:

1. Dryft danych: Zjawisko, które występuje, gdy model zaczyna otrzymywać dane z świata rzeczywistego z innego rozkładu niż rozkład danych szkoleniowych modelu.
2. Dryft modelu: Możliwości predykcyjne i wydajność modelu maleją w czasie z powodu zmieniających się środowisk z świata rzeczywistego. Jest to znane jako dryft modelu.
3. Dane wyjściowe modelu AI a decyzja w świecie rzeczywistym: Modele AI produkują niedokładne dane wyjściowe, które nie są zgodne z decyzjami stakeholderów w świecie rzeczywistym.
4. Założenie i uczciwość: Modele AI mogą rozwijać założenia i problemy z uczciwością. Na przykład, w przemówieniu TED Janelle Shane, opisuje decyzję Amazonu o zaprzestaniu pracy nad algorytmem sortowania CV z powodu dyskryminacji ze względu na płeć.

Gdy modele AI zaczną szkolić się na treściach generowanych przez AI, te problemy mogą się zwiększyć. Jak? Przejdźmy do omówienia tego w większych szczegółach.

Pętle informacji zwrotnej AI w erze treści generowanych przez AI

W związku z gwałtownym rozwojem Generative AI, badacze zbadali zjawisko znane jako Kolaps modelu. Definiują kolaps modelu jako:

“Proces degeneracyjny wpływający na pokolenia nauczonych modeli generatywnych, w którym wygenerowane dane zanieczyszczają zestaw szkoleniowy następnego pokolenia modeli; szkolone na zanieczyszczonych danych, następnie błędnie postrzegają rzeczywistość.”

Kolaps modelu składa się z dwóch specjalnych przypadków,

• Wczesny kolaps modelu występuje, gdy “model zaczyna tracić informacje o ogonach rozkładu,” czyli skrajnych końcach rozkładu danych szkoleniowych.
• Późny kolaps modelu występuje, gdy “model splata różne tryby oryginalnych rozkładów i konwerguje do rozkładu, który ma niewielkie podobieństwo do oryginalnego, często z bardzo małym rozrzutem.”

Przyczyny kolapsu modelu

Aby praktycy AI mogli rozwiązać ten problem, istotne jest zrozumienie przyczyn kolapsu modelu, które można podzielić na dwie główne kategorie:

1. Błąd aproksymacji statystycznej: Jest to podstawowy błąd spowodowany przez skończoną liczbę próbek, i zanika on, gdy liczba próbek zbliża się do nieskończoności.
2. Błąd aproksymacji funkcyjnej: Ten błąd wynika, gdy modele, takie jak sieci neuronowe, nie są w stanie uchwycić prawdziwej funkcji podstawowej, która musi być nauczone z danych.

Przykład wyników modelu dla wielu pokoleń modeli dotkniętych kolapsem modelu. Źródło

Jak pętla informacji zwrotnej AI jest dotknięta przez treści generowane przez AI

Gdy modele AI szkolą się na treściach generowanych przez AI, ma to destrukcyjny wpływ na pętle informacji zwrotnej AI i może powodować wiele problemów dla ponownie wytrenowanych modeli AI, takich jak:

• Kolaps modelu: Jak wyjaśniono powyżej, kolaps modelu jest prawdopodobnym zjawiskiem, jeśli pętla informacji zwrotnej AI zawiera treści generowane przez AI.
• Katastrofalne zapominanie: Typowy wyzwanie w ciągłym uczeniu się jest to, że model zapomina poprzednich próbek, gdy uczy się nowych informacji. Jest to znane jako katastrofalne zapominanie.
• Zatrucie danych: Odnosi się do podawania manipulatywnych syntetycznych danych do modelu AI, aby skompromitować jego wydajność, powodując, że produkuje niedokładne dane wyjściowe.

Jak firmy mogą stworzyć solidną pętlę informacji zwrotnej dla swoich modeli AI?

Firmy mogą skorzystać na stosowaniu pętli informacji zwrotnej w swoich przepływach pracy AI. Postępuj zgodnie z trzema głównymi krokami poniżej, aby poprawić wydajność swoich modeli AI.

• Informacja zwrotna od ekspertów ds. zagadnień merytorycznych: Ekspert ds. zagadnień merytorycznych jest bardzo dobrze zorientowany w swojej dziedzinie i rozumie użycie modeli AI. Mogą oni zapewnić wgląd, aby zwiększyć zgodność modelu z ustawieniami świata rzeczywistego, dając większą szansę na poprawne wyniki. Mogą również lepiej zarządzać i kontrolować dane generowane przez AI.
• Wybór odpowiednich metryk jakości modelu: Wybór odpowiedniej metryki oceny dla odpowiedniego zadania i monitorowanie modelu w produkcji na podstawie tych metryk może zapewnić jakość modelu. Praktycy AI również wykorzystują narzędzia MLOps do automatycznej oceny i monitorowania, aby powiadomić wszystkich stakeholderów, jeśli wydajność modelu zacznie się pogarszać w produkcji.
• Ścisła kuracja danych: Podczas gdy modele produkcyjne są ponownie szkolone na nowych danych, mogą one zapomnieć poprzednich informacji, więc jest istotne, aby wyselekcjonować dane wysokiej jakości, które są zgodne z celem modelu. Dane te mogą być wykorzystywane do ponownego szkolenia modelu w następnych pokoleniach, wraz z informacją zwrotną użytkowników, aby zapewnić jakość.

Aby dowiedzieć się więcej o postępach w dziedzinie AI, przejdź do Unite.ai.