Wzrost danych syntetycznych i dlaczego będą one uzupełniać, a nie zastępować dane rzeczywiste

Elon Musk niedawno ogłosił, że wyczerpaliśmy dostępne dane ludzkie do szkolenia modeli AI. Jego ostrzeżenie jest najnowszym komentarzem na temat potrzeby nowych źródeł danych, jeśli AI ma kontynuować swój gwałtowny postęp. W branżach takich jak opieka zdrowotna i finanse, surowe przepisy dotyczące prywatności powodują, że brak danych staje się jeszcze bardziej dotkliwy.

Jednak dane syntetyczne – możliwe rozwiązanie tego braku – nie są nowe, ale ich znaczenie ciągle rośnie, co jest widoczne w niedawnych fali połączeń i inwestycji w tej dziedzinie. Istnieją jednak pewne głębokie niepewności związane z użyciem danych syntetycznych, szczególnie ryzyko załamania modelu, gdzie jakość wyjścia modelu językowego wielomodalnego (LLM) pogarsza się bez danych świata rzeczywistego do treningu. Czy ten problem okaże się nie do pokonania czy rozwiązywalny, może mieć znaczący wpływ na przyszłość sztucznej inteligencji generatywnej (Gen AI).

Czym są dane syntetyczne i jak są tworzone?

Dane syntetyczne są tworzone sztucznie, a nie zbierane z rzeczywistych zdarzeń. Dziś najbardziej rozpowszechnioną formą danych syntetycznych są dane generowane przez AI, które obejmują trening modeli na danych świata rzeczywistego w celu wykrycia wzorców i korelacji, a następnie generowanie nowych danych, które naśladują te właściwości statystyczne.

LLM są używane do generowania różnych typów danych syntetycznych, w tym danych strukturalnych, takich jak dane tabelaryczne, oraz danych niestrukturalnych, jak teksty, filmy i obrazy. Zależnie od rodzaju generowanych danych, stosuje się różne metody.

Przykładowo, dwie powszechne metody stosowane do generowania danych obrazów syntetycznych to GAN i modele dyfuzyjne. GAN wykorzystuje dwie sieci neuronowe: generator tworzy sztuczne wersje danych rzeczywistych, podczas gdy dyskryminator identyfikuje, które dane są rzeczywiste, a które wygenerowane. Współpracując nieustannie, generator próbuje “oszukać” dyskryminator, poprawiając nieustannie realizm i różnorodność sztucznych danych. Modele dyfuzyjne stosują odmienny podejście, ucząc się zakłócać dane rzeczywiste, a następnie odwracając ten proces, aby “odszumiać” je. Po skutecznym treningu mogą one generować wysokiej jakości dane syntetyczne audio i wizualne.

Rosnące znaczenie danych syntetycznych

Istnieje długotrwałe zainteresowanie danymi syntetycznymi. Jednak w ciągu ostatnich 5 lat szybki rozwój LLM zwiększył zapotrzebowanie na dane syntetyczne i stworzył coraz skuteczniejsze środki do ich generowania na dużą skalę. W efekcie, użycie danych syntetycznych gwałtownie wzrosło.

Gartner przewiduje, że dane syntetyczne będą stanowić 60% wszystkich danych używanych do treningu LLM do 2024 roku, w porównaniu z zaledwie 1% w 2021 roku. Istnieje powód, by sądzić, że ta prognoza jest ogólnie słuszna. Na przykład model Phi-4 firmy Microsoft, który przewyższa inne LLM, pomimo że jest znacznie mniejszy, został pomyślnie wytrenowany na danych syntetycznych. Tymczasem inżynierowie Alexa z Amazon badają użycie modelu “nauczyciel/uczeń”, w którym model “nauczyciel” generuje dane syntetyczne, które są następnie używane do dostrajania mniejszego modelu “ucznia”.

Te powszechne przyjęcia są odbiciem dużych ruchów na rynku. Sektor danych syntetycznych doświadczył boomu inwestycyjnego w latach 2021-22. Gretel AI i Tonic.ai zabezpieczyły rundy serii B o wartości 50 milionów i 35 milionów dolarów odpowiednio. Następnie MOSTLY AI zakończył rundę serii B o wartości 25 milionów i Synthesis AI zabezpieczył 17 milionów w rundzie serii A.

Bardziej niedawno, tendencja przesunęła się w kierunku dużych przejęć. Przejęcie Gretel przez NVIDIA w tym roku wesprze prace giganta technologicznego w tej dziedzinie. Podobnie, firma rozwiązań AI SAS nabyła startup danych syntetycznych Hazy w listopadzie 2024 roku.

Firma analityczna Cognilytica oszacowała, że rynek generowania danych syntetycznych w 2021 roku miał wartość około 110 milionów dolarów. Firma spodziewa się, że do 2027 roku osiągnie wartość 1,15 miliarda. Inne prognozy przewidują wzrost o 31% w sektorze, który do 2030 roku osiągnie wartość 2,33 miliarda.

Załamanie modelu

Jednak ekscytujący potencjał danych syntetycznych idzie w parze z istotną wadą: załamaniem modelu. Jest to zjawisko, w którym LLM szkolone wyłącznie na danych syntetycznych zaczynają produkować mniej precyzyjne lub mniej zróżnicowane dane wyjściowe.

Podczas gdy dane świata rzeczywistego mają tendencję do bycia bogate w złożoność, dane syntetyczne są często uproszczone i skondensowane przez modele. Na przykład, badacze odkryli, że dokładność modelu szkolonego do wykrywania rakowych zmian skórnych na zdjęciach była odwrotnie proporcjonalna do ilości danych treningowych syntetycznych. Niedawne badanie przeprowadzone przez akademików z Oxfordu, Cambridge, Imperial College i Uniwersytetu w Toronto wykazało, że niekontrolowane użycie danych generowanych przez model prowadzi do “nieodwracalnych wad w wynikowym modelu”.

Jeszcze gorzej, większość LLM to “czarne skrzynki”, co utrudnia zrozumienie, jak będą reagować na dane syntetyczne. Badacze z Rice University i Stanford doszli do wniosku, że bez pewnych świeżych danych świata rzeczywistego “przyszłe modele generatywne są skazane na postępujący spadek jakości (precyzji) lub różnorodności (przywołania)”.

Potrzeba danych świata rzeczywistego

Oczywiście, nawet przy wzroście popytu na dane syntetyczne, potrzeba danych świata rzeczywistego pozostaje. W rzeczywistości, popyt na wysokiej jakości dane świata rzeczywistego może nawet wzrosnąć. Powodem jest to, że dane świata rzeczywistego zawsze będą potrzebne do szkolenia modeli AI, które generują dane syntetyczne. A po drugie, aby uniknąć załamania modelu, konieczne jest ciągłe synchronizowanie danych syntetycznych z danymi świata rzeczywistego.

Dane rzeczywiste do szkolenia modeli AI generujących dane syntetyczne

Jak wcześniej wspomniano, większość danych syntetycznych dzisiaj jest tworzona przy użyciu Gen AI. A te modele Gen AI muszą być szkolone na danych świata rzeczywistego, aby tworzyć użyteczne dane syntetyczne. To dlatego, że mogą one tworzyć dane syntetyczne, naśladując tylko wzorce i właściwości statystyczne zbioru danych świata rzeczywistego.

Rozważmy niedawny przykład firmy ubezpieczeniowej, która mogła wykorzystać dane syntetyczne do przetestowania różnych dostawców bez naruszenia wrażliwych danych klientów. Aby wygenerować ten zestaw danych syntetycznych, który dokładnie naśladuje rzeczywistość, musiała ona użyć własnych danych świata rzeczywistego do szkolenia modelu AI, który następnie wygenerował dane syntetyczne.

Dane rzeczywiste do łagodzenia załamania modelu

Istnieją różne strategie łagodzenia ryzyka załamania modelu. Obejmują one walidację, a następnie regularne przeglądy zbiorów danych syntetycznych oraz sprawdzanie jakości danych syntetycznych przed ich użyciem w modelach generatywnych. Niemniej jednak najczęstsze podejście polega na zróżnicowaniu danych przez łączenie danych syntetycznych z danymi ludzkimi. Badanie Gartnera wykazało, że 63% respondentów preferuje użycie częściowo syntetycznego zestawu danych, przy czym tylko 13% stwierdziło, że używa w pełni syntetycznych danych.

Nawet dodanie niewielkich ilości danych świata rzeczywistego może znacznie poprawić wydajność modelu. Badacze z Uniwersytetu Południowej Kalifornii odkryli, że firmy mogą zastąpić do 90% swoich danych świata rzeczywistego danymi syntetycznymi bez znacznego spadku wydajności. Jednak zastąpienie tego ostatniego 10% danych ludzkich powoduje znaczny spadek.

Jakość również ma znaczenie, jak to widać w przypadku sukcesu Microsoftu z modelem Phi-4. Ten LLM został wytrenowany na danych syntetycznych wygenerowanych przez GPT-4o. Jednak większość danych treningowych – ogólny zestaw danych używany na pierwszym etapie treningu przed dostrajaniem modelu – była starannie wyselekcjonowanymi, wysokiej jakości danymi świata rzeczywistego, w tym książkami i artykułami naukowymi.

Potencjalne korzyści, jakie mogą przynieść dane syntetyczne

Kiedy dane syntetyczne są używane w sposób inteligentny i łączone skutecznie z danymi świata rzeczywistego, mają one potencjał rozwiązać sześć konkretnych problemów związanych z danymi treningowymi AI: niedobór, dostępność, homogeniczność, stronniczość, problemy z prywatnością i koszt.

Niedobór danych

Podczas gdy firmy AI rywalizują o udział w rynku i osiągają nowe rekordy, niezaspokojony popyt na dane do szkolenia ich LLM rośnie. Dane syntetyczne mają potencjał wypełnić tę lukę, przynajmniej według badań Gartnera. Niemniej jednak, należy zauważyć, że użycie znacznych ilości danych świata rzeczywistego w zestawach danych treningowych i do synchronizacji w celu uniknięcia załamania modelu nadal będzie potrzebne.

Dostępność danych

Coraz częściej duże firmy technologiczne pełnią rolę strażników danych, tworząc barierę wejścia dla mniejszych graczy. Dane syntetyczne mają potencjał zdemokratyzować AI generatywną, czyniąc duże ilości danych treningowych przystępne i dostępne. Niemniej jednak, to nie usunie odpowiedzialności dużych firm za poprawę dostępu do danych świata rzeczywistego, ponieważ nadal będą one potrzebne do szkolenia modeli tworzących dane syntetyczne.

Homogeniczność danych

W niektórych niszowych przypadkach użycia, takich jak szkolenie AI do prowadzenia samochodów, zestawy danych świata rzeczywistego są zbyt homogeniczne. W przypadku prowadzenia, deweloperzy mogą generować dane syntetyczne, aby wypełnić luki w danych dla nietypowych sytuacji. To umożliwia modelom szkolenie się na rzadkich zdarzeniach na drodze.

Stronniczość

Niektóre zestawy danych świata rzeczywistego zawierają wewnętrzne stronniczości, więc dane syntetyczne mogą być generowane, aby zapewnić modelom AI bardziej zbalansowany obraz. Na przykład w finansach, brytyjski Urząd Nadzoru Finansowego (FCA) argumentował, że dane syntetyczne mają potencjał przeciwdziałać potencjalnym stronniczościom spowodowanym przez to, że niektóre grupy są niedoreprezentowane w zestawach danych ludzkich.

Prywatność

W sektorach takich jak opieka zdrowotna i finanse, wymagania dotyczące prywatności powodują, że brak danych staje się bardziej dotkliwy. Z danymi syntetycznymi, firmy mogą budować zestawy danych treningowych dla swoich modeli zawierających dane niszowe bez naruszenia prywatności klientów. Jednak, jak raport zlecony przez brytyjskie Royal Society wskazał w odniesieniu do danych syntetycznych w badaniach medycznych, istnieje założenie, że dane syntetyczne są “wewnętrznie prywatne”. To “mityczne pojęcie”. Jak zauważają badacze, dane syntetyczne mogą przeciekać informacje o danych, z których zostały wygenerowane.

Szczególnie, modele szkolone na wrażliwych danych są podatne na ataki inwersji modelu, w których hakerzy mogą odtworzyć części oryginalnego zestawu danych.

Koszt

Ogólnie rzecz biorąc, dane syntetyczne są generowane przy niższych kosztach niż dane świata rzeczywistego. Ponadto, dane syntetyczne są dostarczane z etykietami, co oszczędza czas i koszty. W niektórych projektach AI, nawet do 80% projektu poświęconego jest przygotowaniu danych, w tym etykietowaniu. To wyjaśnia, dlaczego pojawiły się firmy specjalizujące się w tanim uzyskiwaniu danych do przetwarzania danych dla gigantów z Doliny Krzemowej.

Uzupełnianie, a nie zastępowanie danych rzeczywistych

Te korzyści z danych syntetycznych mogą być wykorzystane, pod warunkiem że nie będą traktowane jako zastępstwo dla danych rzeczywistych. Zamiast tego, ich rola powinna polegać na uzupełnieniu zestawów danych rzeczywistych, zapewniając sposoby zwiększenia liczby punktów danych.

Na przykład, nadchodzący LLM Meta, LLAMA Behemoth, jest szkolony na 30 bilionach punktów danych. Oczywiście, znalezienie danych świata rzeczywistego w tej skali jest wyzwaniem, jeśli nie niemożliwe. Jednak, jak zauważono, użycie danych świata rzeczywistego nadal jest konieczne, czy to do szkolenia modeli, które generują dane syntetyczne, czy do synchronizacji z danymi syntetycznymi, aby zapewnić dokładność i uniknąć załamania modelu. Na takiej skali, na jakiej LLM działa obecnie, nawet jeśli dane syntetyczne stanowią znaczną część danych treningowych, nadal będzie istniał znaczny popyt na dane świata rzeczywistego. A to oznacza, że pozostaną złożone problemy do rozwiązania wokół kontroli dostępu, stronniczości, kosztów i czasu.