Przygotowanie danych ludzkich do uczenia maszynowego jest zasobochłonne: dwa podejścia są kluczowe dla redukcji kosztów

Przez: Dattaraj Rao, Chief Data Scientist, Persistent Systems

Podobnie jak w przypadku każdego systemu, który zależy od danych wejściowych, uczenie maszynowe (ML) podlega aksjomatowi “śmieć-wejście-śmieć-wyjście”. Czyste i dokładnie oznaczone dane są podstawą budowania każdego modelu ML. Algorytm szkoleniowy ML rozumie wzorce z danych podstawowych i na ich podstawie uczy się generalizować na nieznane dane. Jeśli jakość Twoich danych szkoleniowych jest niska, to będzie bardzo trudno dla algorytmu ML ciągle uczyć się i ekstrapolować.

Wyobraź sobie to w kategoriach szkolenia psa. Jeśli nie szkolisz psa właściwie w podstawowych poleceniach behawioralnych (wejściach) lub robisz to niepoprawnie/niedokładnie, nie możesz oczekiwać, że pies nauczy się i rozwinie przez obserwację bardziej złożone pozytywne zachowania, ponieważ podstawowe wejścia były nieobecne lub wadliwe od samego początku. Właściwe szkolenie jest czasochłonne i nawet kosztowne, jeśli sprowadzisz eksperta, ale efekt jest wielki, jeśli robisz to dobrze od samego początku.

Podczas szkolenia modelu ML tworzenie jakościowych danych wymaga, aby ekspert dziedziny poświęcił czas na oznaczenie danych. Może to obejmować wybór okna z pożądanym obiektem na obrazie lub przypisanie etykiety do wpisu tekstu lub rekordu bazy danych. Szczególnie w przypadku nieustrukturyzowanych danych, takich jak obrazy, filmy i tekst, jakość oznaczenia odgrywa dużą rolę w określaniu jakości modelu. Zwykle nieoznaczone dane, takie jak surowe obrazy i tekst, są obfite – ale oznaczenie jest tym, co wymaga optymalizacji. To jest część ludzka w pętli ML i zwykle jest najdroższą i najbardziej czasochłonną częścią każdego projektu ML.

Narzędzia do oznaczania danych, takie jak Prodigy, Amazon Sagemaker Ground Truth, NVIDIA RAPIDS i DataRobot human-in-the-loop, są ciągle udoskonalane pod względem jakości i zapewniają intuicyjne interfejsy dla ekspertów dziedziny. Jednak minimalizowanie czasu potrzebnego przez ekspertów dziedziny do oznaczenia danych jest nadal znaczącym wyzwaniem dla przedsiębiorstw dzisiaj – szczególnie w środowisku, w którym talent analityczny jest ograniczony, a jednocześnie bardzo pożądany. To jest miejsce, w którym pojawiają się dwa nowe podejścia do przygotowania danych.

Uczenie aktywne

Uczenie aktywne jest metoda, w której model ML aktywnie pyta eksperta dziedziny o określone oznaczenia. Tutaj focus nie jest skierowany na uzyskanie pełnego oznaczenia nieoznaczonych danych, ale tylko na uzyskanie odpowiednich punktów danych, aby model mógł się lepiej nauczyć. Weźmy na przykład opiekę zdrowotną i nauki o życiu, firmę diagnostyczną, która specjalizuje się w wczesnym wykrywaniu raka, aby pomóc klinicystom w podejmowaniu informowanych decyzji opartych na danych dotyczących opieki nad pacjentem. W ramach ich procesu diagnostycznego muszą one oznaczyć obrazy tomografii komputerowej z guzami, które należy podświetlić.

Po tym, jak model ML nauczy się z kilku obrazów z oznaczonymi blokami guza, z aktywnym uczeniem model będzie pytał użytkowników tylko o oznaczenie obrazów, w których nie jest pewny obecności guza. Będą to punkty graniczne, które po oznaczeniu zwiększą pewność modelu. Tam, gdzie model jest pewny powyżej określonego progu, wykona samooznaczenie, zamiast prosić użytkownika o oznaczenie. To jest sposób, w jaki uczenie aktywne próbuje pomóc budować dokładne modele, redukując jednocześnie czas i wysiłek wymagany do oznaczenia danych. Ramy takie jak modAL mogą pomóc zwiększyć wydajność klasyfikacji, inteligentnie pytając ekspertów dziedziny o oznaczenie najbardziej informacyjnych przypadków.

Słabe nadzorowanie

Słabe nadzorowanie jest podejściem, w którym można wykorzystać szumy i niedokładne dane lub abstrakcyjne pojęcia, aby zapewnić wskazówki do oznaczenia dużej ilości nienadzorowanych danych. Podejście to zwykle wykorzystuje słabe oznaczenia i próbuje połączyć je w podejściu ensemble, aby zbudować jakościowo oznaczone dane. Wysiłek jest skierowany na włączenie wiedzy dziedziny do automatycznego oznaczania.

Na przykład, jeśli dostawca usług internetowych potrzebowałby systemu, który oznaczałby zestawy e-maili jako spam lub nie-spam, moglibyśmy napisać słabe reguły, takie jak sprawdzanie fraz, takich jak “oferta”, “gratulacje”, “darmowy” itp., które zwykle są związane z e-mailami spamowymi. Inne reguły mogłyby dotyczyć e-maili z określonych wzorów adresów źródłowych, które mogą być wyszukiwane za pomocą wyrażeń regularnych. Te słabe funkcje mogłyby być następnie połączone przez ramy słabego nadzorowania, takie jak Snorkel i Skweak, aby zbudować lepsze jakościowo dane szkoleniowe.

ML w swojej istocie polega na pomocy firmom w skalowaniu procesów w sposób wykładniczy, w sposób, który jest fizycznie niemożliwy do osiągnięcia ręcznie. Jednak ML nie jest magią i nadal opiera się na ludziach, aby a) ustawili i przeszkolili modele odpowiednio od samego początku i b) interweniowali, gdy jest to potrzebne, aby upewnić się, że model nie stanie się tak bardzo skrzywiony, że wyniki nie będą już użyteczne i mogą być nawet szkodliwe lub negatywne.

Celem jest znalezienie sposobów, które pomogą zautomatyzować i przyspieszyć części zaangażowania ludzi, aby zwiększyć czas dostępu do rynku i wyników, ale jednocześnie pozostać w ramach optymalnej dokładności. Powszechnie uznaje się, że uzyskanie jakościowo oznaczonych danych jest najdroższą, ale非常 ważną częścią projektu ML. To jest ewoluujący obszar, a wiele wysiłków jest podejmowanych, aby zredukować czas spędzony przez ekspertów dziedziny i poprawić jakość oznaczeń danych. Eksplorowanie i wykorzystywanie aktywnego uczenia i słabego nadzorowania jest solidną strategią, aby osiągnąć to w wielu branżach i przypadkach użycia.