Menselijke datavoorbereiding voor Machine Learning is hulpbronnenintensief: Deze twee benaderingen zijn cruciaal voor het verlagen van de kosten

Door: Dattaraj Rao, Chief Data Scientist, Persistent Systems

Net als bij elk systeem dat afhankelijk is van gegevens, is Machine Learning (ML) onderhevig aan de stelregel van “garbage-in-garbage-out”. Schone en nauwkeurig gelabelde gegevens vormen de basis voor de bouw van elk ML-model. Een ML-trainingsalgoritme leert patronen uit de grondwaarheidsgegevens en leert vervolgens manieren om te generaliseren op ongezien gegevens. Als de kwaliteit van uw trainingsgegevens laag is, zal het voor het ML-algoritme erg moeilijk zijn om voortdurend te leren en te extrapoleren.

Denk hierbij aan het trainen van een huisdier. Als u er niet in slaagt om het dier goed te trainen met fundamentele gedragscommando’s (inputs) of dit verkeerd of onnauwkeurig doet, kunt u nooit verwachten dat het dier leert en zich ontwikkelt door observatie tot meer complexe positieve gedragingen, omdat de onderliggende inputs in eerste instantie ontbraken of gebrekkig waren. Goede training is tijdrovend en zelfs duur als u een expert inhuurt, maar de beloning is groot als u het vanaf het begin goed doet.

Bij het trainen van een ML-model is het creëren van kwaliteitsgegevens een tijdrovende taak die een domeinexpert veel tijd kost om de gegevens te annoteren. Dit kan het selecteren van een venster met het gewenste object in een afbeelding omvatten of het toewijzen van een label aan een tekstuele invoer of een database-record. Met name voor ongestructureerde gegevens zoals afbeeldingen, video’s en tekst speelt annotatiekwaliteit een belangrijke rol bij het bepalen van de kwaliteit van het model. Meestal is ongelabelde gegevens zoals ruwe afbeeldingen en tekst overvloedig, maar labeling is waar moeite voor nodig is om te optimaliseren. Dit is het human-in-the-loop-deel van de ML-levenscyclus en meestal het duurste en tijdrovendste deel van elk ML-project.

Instrumenten voor gegevensannotatie zoals Prodigy, Amazon Sagemaker Ground Truth, NVIDIA RAPIDS en DataRobot human-in-the-loop zijn constant in kwaliteit verbeterd en bieden intuïtieve interfaces voor domeinexperts. Het minimaliseren van de tijd die domeinexperts nodig hebben om gegevens te annoteren, is echter nog steeds een grote uitdaging voor ondernemingen vandaag – vooral in een omgeving waarin datascience-talent beperkt is, maar tegelijkertijd in hoge vraag. Hier komen twee nieuwe benaderingen van gegevensvoorbereiding in beeld.

Actief leren

Actief leren is een methode waarbij een ML-model een domeinexpert actief om specifieke annotaties vraagt. Hier ligt de focus niet op het verkrijgen van een complete annotatie van ongelabelde gegevens, maar alleen op het verkrijgen van de juiste gegevenspunten die zijn geannoteerd, zodat het model beter kan leren. Neem bijvoorbeeld de gezondheids- en levenswetenschappen, een diagnostisch bedrijf dat zich specialiseert in vroege kankerdetectie om clinici te helpen bij het nemen van gegevensgestuurde beslissingen over patiëntenzorg. Als onderdeel van hun diagnoseproces moeten ze CT-scanafbeeldingen annoteren met tumoren die moeten worden gemarkeerd.

Nadat het ML-model heeft geleerd van een paar afbeeldingen met getoonde tumoren, zal het model met actief leren alleen gebruikers vragen om afbeeldingen te annoteren waar het onzeker is over de aanwezigheid van een tumor. Deze zullen grenspunten zijn, die, wanneer ze zijn geannoteerd, de vertrouwen van het model zullen verhogen. Waar het model vertrouwen heeft boven een bepaalde drempel, zal het zelfannotatie doen in plaats van de gebruiker te vragen om te annoteren. Zo probeert actief leren nauwkeurige modellen te bouwen terwijl het de tijd en inspanning die nodig zijn om gegevens te annoteren, vermindert. Frameworks zoals modAL kunnen helpen om de classificatieprestaties te verbeteren door domeinexperts slim te vragen om de meest informatieve instanties te labelen.

Zwakke supervisie

Zwakke supervisie is een benadering waarbij luidruchtige en onnauwkeurige gegevens of abstracte concepten kunnen worden gebruikt om aanwijzingen te geven voor het labelen van een grote hoeveelheid onbegeleide gegevens. Deze benadering maakt meestal gebruik van zwakke labelers en probeert deze te combineren in een ensemblebenadering om kwaliteitsgeannoteerde gegevens te bouwen. De inspanning is om domeinkennis te incorporeren in een geautomatiseerde labelactiviteit.

Als een Internet Service Provider (ISP) bijvoorbeeld een systeem nodig had om e-maildatasets te markeren als spam of niet-spam, konden we zwakke regels schrijven zoals het controleren op woorden als “aanbod”, “felicitaties”, “gratis”, enz., die meestal geassocieerd worden met spam-e-mails. Andere regels konden e-mails van specifieke patronen van bronadressen zijn die kunnen worden doorzocht met behulp van reguliere expressies. Deze zwakke functies kunnen vervolgens worden gecombineerd door een zwakke supervisieframework zoals Snorkel en Skweak om verbeterde kwaliteitsopleidingsgegevens te bouwen.

ML is in zijn kern bedoeld om bedrijven te helpen processen exponentieel te schalen op manieren die fysiek onmogelijk zijn om handmatig te bereiken. ML is echter geen magie en is nog steeds afhankelijk van mensen om a) modellen correct in te stellen en te trainen vanaf het begin en b) in te grijpen wanneer nodig om ervoor te zorgen dat het model niet te ver afwijkt van waar het nuttig is en mogelijk contraproductief of negatief wordt.

Het doel is om manieren te vinden die helpen om delen van de menselijke betrokkenheid te stroomlijnen en te automatiseren om de tijd-tot-markt en resultaten te verhogen, maar binnen de grenzen van optimale nauwkeurigheid. Het is universeel aanvaard dat het verkrijgen van kwaliteitsgeannoteerde gegevens het duurste maar zeer belangrijke deel van een ML-project is. Dit is een evoluerende ruimte, en er wordt veel moeite gedaan om de tijd te verminderen die domeinexperts besteden aan het annoteren van gegevens en om de kwaliteit van gegevensannotaties te verbeteren. Het verkennen en benutten van actief leren en zwakke supervisie is een solide strategie om dit te bereiken in meerdere branches en use-cases.