Wysoki koszt brudnych danych w rozwoju sztucznej inteligencji

Nie jest żadnym sekretem, że trwa współczesna gorączka złota w rozwoju sztucznej inteligencji. Zgodnie z 2024 Work Trend Index firmy Microsoft (MSFT ) i Linkedin, ponad 40% liderów biznesu spodziewa się całkowitego przeprojektowania procesów biznesowych od podstaw przy użyciu sztucznej inteligencji (AI) w ciągu najbliższych kilku lat. Ten sejsmiczny przesunięcie nie jest tylko ulepszeniem technologicznym; jest to fundamentalna transformacja, w jaki sposób firmy działają, podejmują decyzje i wchodzą w interakcje z klientami. Ten szybki rozwój popycha popyt na dane i narzędzia do zarządzania danymi pierwszej strony. Zgodnie z Forresterem, aż 92% liderów technologicznych planuje zwiększyć budżety na zarządzanie danymi i AI w 2024 roku.

W najnowszym McKinsey Global Survey on AI, 65% respondentów wskazało, że ich organizacje regularnie wykorzystują technologie generatywnej sztucznej inteligencji. Chociaż ten wzrost oznacza znaczący skok do przodu, podkreśla również krytyczne wyzwanie: jakość danych, które zasilają te systemy AI. W branży, w której skuteczna sztuczna inteligencja jest tylko tak dobra, jak dane, na których jest szkolona, niezawodne i dokładne dane stają się coraz trudniejsze do zdobycia.

Wysoki koszt złych danych

Złe dane nie są nowym problemem, ale ich wpływ jest spotęgowany w erze sztucznej inteligencji. W 2017 roku badanie przeprowadzone przez Massachusetts Institute of Technology (MIT) oszacowało, że złe dane kosztują firmy zdumiewające 15% do 25% ich przychodu. W 2021 roku Gartner oszacował, że słaba jakość danych kosztuje organizacje średnio 12,9 miliona dolarów rocznie.

Brudne dane – dane, które są niepełne, niedokładne lub niespójne – mogą mieć efekt kaskadowy na systemy sztucznej inteligencji. Kiedy modele sztucznej inteligencji są szkolone na danych o słabej jakości, wynikające z nich spostrzeżenia i prognozy są fundamentalnie wadliwe. To nie tylko podważa skuteczność aplikacji sztucznej inteligencji, ale także stwarza znaczne ryzyko dla firm, które polegają na tych technologiach do podejmowania krytycznych decyzji.

To powoduje duży ból głowy dla zespołów naukowych danych korporacyjnych, które musiały coraz bardziej koncentrować swoje ograniczone zasoby na czyszczeniu i organizowaniu danych. W niedawnym raporcie o stanie inżynierii analitycznej przeprowadzonym przez DBT, 57% profesjonalistów ds. danych wymieniło słabą jakość danych jako dominujący problem w swojej pracy.

Wpływ na modele sztucznej inteligencji

Wpływ złych danych na rozwój sztucznej inteligencji manifestuje się w trzech głównych sposobach:

1. Zmniejszona dokładność i niezawodność: Modele sztucznej inteligencji prosperują na wzorach i korelacjach pochodzących z danych. Kiedy dane wejściowe są skażone, modele produkują niewiarygodne dane wyjściowe; powszechnie znane jako „halucynacje sztucznej inteligencji”. To może prowadzić do mylących strategii, awarii produktów i utraty zaufania klientów.
2. Wzmacnianie uprzedzeń: Brudne dane często zawierają uprzedzenia, które, jeśli nie są kontrolowane, są wplatane w algorytmy sztucznej inteligencji. To może skutkować dyskryminacyjnymi praktykami, szczególnie w wrażliwych obszarach, takich jak zatrudnienie, kredytowanie i egzekwowanie prawa. Na przykład, jeśli narzędzie rekrutacyjne sztucznej inteligencji jest szkolone na uprzednionych historycznych danych o zatrudnieniu, może niesprawiedliwie faworyzować pewne demografie nad innymi.
3. Zwiększone koszty operacyjne: Wadliwe systemy sztucznej inteligencji wymagają ciągłego dostosowywania i ponownego szkolenia, co pochłania dodatkowy czas i zasoby. Firmy mogą znaleźć się w ciągłym cyklu naprawiania błędów zamiast innowacji i udoskonalania.

Nadchodząca datapokalipsa

„Szybko zbliżamy się do punktu zwrotnego”, w którym zawartość wygenerowana przez nie-ludzi znacznie przewyższy ilość zawartości wygenerowanej przez ludzi. Postępy w samej sztucznej inteligencji dostarczają nowych narzędzi do czyszczenia i walidacji danych. Jednakże ogromna ilość zawartości wygenerowanej przez sztuczną inteligencję w sieci rośnie wykładniczo.

W miarę jak coraz więcej zawartości wygenerowanej przez sztuczną inteligencję jest publikowane w sieci, a ta zawartość jest generowana przez LLM-y szkolone na zawartości wygenerowanej przez sztuczną inteligencję, patrzymy na przyszłość, w której dane pierwszej strony i zaufane dane staną się zagrożone i cenne towary.

Wyzwania związane z rozcieńczeniem danych

Rozprzestrzenianie się zawartości wygenerowanej przez sztuczną inteligencję stwarza kilka głównych wyzwań branżowych:

• Kontrola jakości: Różnicowanie między danymi wygenerowanymi przez ludzi a danymi wygenerowanymi przez sztuczną inteligencję staje się coraz trudniejsze, co utrudnia zapewnienie jakości i niezawodności danych wykorzystywanych do szkolenia modeli sztucznej inteligencji.
• Kwestie własności intelektualnej: W miarę jak modele sztucznej inteligencji nieumyślnie pobierają i uczą się z zawartości wygenerowanej przez sztuczną inteligencję, pojawiają się pytania dotyczące własności i praw związanych z danymi, co może prowadzić do komplikacji prawnych.
• Wpływ etyczny: Brak przejrzystości co do pochodzenia danych może prowadzić do problemów etycznych, takich jak rozpowszechnianie dezinformacji lub wzmocnienie uprzedzeń.

Usługi danych stają się podstawowe

Coraz częściej poszukiwane są rozwiązania Usług danych (DaaS), aby uzupełnić i poprawić dane pierwszej strony do celów szkoleniowych. Prawdziwa wartość DaaS tkwi w samych danych, które zostały znormalizowane, oczyszczone i ocenione pod kątem różnej wierności i przypadków użycia komercyjnego, a także standaryzacji procesów, aby dopasować je do systemu trawiącego dane. W miarę dojrzewania tej branży przewiduję, że zaczniemy widzieć tę standaryzację w całej branży danych. Już widzimy ten popyt na ujednolicenie w sektorze mediów detalicznych.

W miarę jak sztuczna inteligencja przenika różne branże, znaczenie jakości danych będzie tylko rosło. Firmy, które priorytetowo traktują czyste dane, zyskają przewagę konkurencyjną, podczas gdy te, które zaniedbują to, szybko pozostaną w tyle.

Wysoki koszt brudnych danych w rozwoju sztucznej inteligencji jest pilnym problemem, który nie może być ignorowany. Słaba jakość danych podważa samą podstawę systemów sztucznej inteligencji, prowadząc do wadliwych spostrzeżeń, zwiększonych kosztów i potencjalnych pułapek etycznych. Przyjmując kompleksowe strategie zarządzania danymi i promując kulturę, która ceni integralność danych, organizacje mogą złagodzić te ryzyka.

W erze, w której dane są nową ropy, zapewnienie ich czystości nie jest tylko techniczną koniecznością, ale strategicznym imperatywem. Firmy, które inwestują w czyste dane dzisiaj, będą tymi, które będą prowadzić innowacyjny front jutra.