Wat is Human-in-the-loop (HITL)?

Een van de termen die u tegenkomt bij het werken met artificial intelligence (AI) en machine learning (ML) is human-in-the-loop (HITL). Het klinkt precies zoals het is. HITL is een tak van AI die zowel menselijke als machine-intelligentie gebruikt bij de creatie van machine learning-modellen.

Een human-in-the-loop-benadering betekent dat mensen betrokken zijn bij de algoritme-cyclus van trainen, afstemmen en testen.

Mensen labelen eerst gegevens, wat helpt om het model van hoge kwaliteit en grote hoeveelheden trainingsgegevens te bereiken. Een machine learning-algoritme leert vervolgens beslissingen te nemen op basis van de gegevens voordat mensen het model verfijnen.

Het model kan vervolgens getest en gevalideerd worden door mensen door de uitvoer te scoren. Dit proces is vooral handig in gevallen waarin het algoritme niet zeker is over een oordeel, of waar het algoritme te zeker is over een onjuiste beslissing.

Het HITL-proces is een continue feedbacklus, wat betekent dat elk van de trainings-, afstemmings- en testtaken terug wordt gevoerd in het algoritme. Dit proces maakt het mogelijk dat het algoritme effectiever en nauwkeuriger wordt over tijd, wat vooral handig is voor het creëren van zeer nauwkeurige en grote hoeveelheden trainingsgegevens voor specifieke use cases. De menselijke inzichten helpen het model afstemmen en testen, zodat de organisatie de meest nauwkeurige en actiegerichte beslissing kan nemen.

Image: Stanford University

Het belang van HITL Machine Learning

HITL is een zeer belangrijke tak van AI, omdat conventionele machine learning-modellen een groot aantal gelabelde datapunten vereisen om nauwkeurige voorspellingen te doen. Wanneer er een gebrek aan gegevens is, zijn machine learning-modellen niet zo nuttig.

Neem taalonderwijs als voorbeeld. Als u een taal heeft die alleen door een paar duizend mensen wordt gesproken, en u wilt inzicht krijgen in die taal via machine learning, kan het moeilijk zijn om voldoende voorbeelden te vinden voor het model om van te leren. Met een HITL-benadering kunt u de nauwkeurigheid van deze datasets garanderen.

De gezondheidszorg is ook een van de belangrijkste voor HITL-systemen. Een studie van Stanford uit 2018 toonde aan dat een HITL-model beter werkt dan alleen AI of mensen.

HITL-systemen verbeteren de nauwkeurigheid en behouden tegelijkertijd de menselijke normen, wat belangrijk is voor veel branches over de hele wereld.

Wanneer HITL-systemen gebruiken

Er zijn een paar specifieke momenten in de AI-levenscyclus waarop human-in-the-loop machine learning moet worden gebruikt:

• Trainen: De meest voorkomende plaats waar datawetenschappers HITL gebruiken, is tijdens de trainingsfases, waarbij mensen gelabelde gegevens voor modeltraining leveren.

• Afstemmen en testen: De andere belangrijke tijd waarop HITL wordt gebruikt, is in de afstemmings- en testfases. Mensen stemmen modellen af voor een hogere nauwkeurigheid, wat vooral cruciaal is wanneer het model onzeker is.

Het is belangrijk op te merken dat de HITL-benadering niet geschikt is voor elk machine learning-project. Het wordt meestal gebruikt wanneer er niet veel beschikbare gegevens zijn.

Human-in-the-loop deep learning wordt gebruikt wanneer mensen en machine learning-processen in bepaalde scenario’s interactief zijn, zoals: algoritmen begrijpen de invoer niet; gegevensinvoer wordt verkeerd geïnterpreteerd; algoritmen weten niet hoe ze een specifieke taak moeten uitvoeren; het machine learning-model moet nauwkeuriger zijn; het menselijke component moet efficiënter en nauwkeuriger zijn; de kosten van fouten zijn te hoog in ML-ontwikkeling; en de gewenste gegevens zijn niet beschikbaar.

Soorten gegevenslabeling voor HITL

De HITL-benadering kan worden gebruikt voor verschillende soorten gegevenslabeling, afhankelijk van het type datasets dat vereist is. Als het model bijvoorbeeld moet leren om specifieke vormen te herkennen, worden begrenzingsvakken gebruikt. Maar als het model elk deel van een afbeelding moet classificeren, wordt segmentatie de voorkeur gegeven. Wanneer het gaat om gezichtsherkenningdatasets, worden gezichtsmarkeringen vaak gebruikt.

Een andere belangrijke toepassing is tekstanalyse, waardoor de machine kan begrijpen wat mensen zeggen of schrijven. Omdat mensen verschillende woorden gebruiken om dezelfde betekenis uit te drukken, moeten AI-systemen de verschillende variaties kennen. Door verder te gaan, kan sentimentanalyse de toon van een specifiek woord of zin herkennen. Deze voorbeelden bewijzen waarom het zo belangrijk is om de human-in-the-loop-benadering te gebruiken.

Waarom uw bedrijf HITL moet implementeren

Als uw bedrijf een HITL-systeem wilt installeren, is een van de meest voorkomende manieren om dit te doen door gebruik te maken van automatiseringssoftware. Er is veel automatiseringssoftware die al is gebouwd rond de HITL-benadering, wat betekent dat het proces al is meegenomen.

Systemen zoals deze maken het mogelijk voor het bedrijf om direct een hoog niveau van prestaties te bereiken en inzichten te verkrijgen. Machine learning-systemen worden al geïmplementeerd in bijna elke branche, wat betekent dat ontwikkelaars moeten garanderen dat de systemen goed functioneren met veranderende gegevens.

Er zijn veel voordelen aan het implementeren van een HITL-systeem in uw bedrijf:

• Verbetering van het beslissingsproces: Een HITL-systeem verbetert het beslissingsproces van een bedrijf door transparantie en consistentie te bieden. Het beschermt ook tegen vooroordelen door menselijke feedback op te nemen in het trainingsproces.

• Efficiënter: HITL-systemen worden over het algemeen beschouwd als efficiënter dan traditionele machine learning-systemen. Ze vereisen minder tijd voor training en afstemming, wat betekent dat ze sneller inzichten opleveren.

• Transparantie: Human-in-the-loop-systemen bieden meer transparantie in het machine learning-model, hoe het werkt en waarom het tot een bepaalde beslissing is gekomen. Verklaarbaarheid en verantwoordelijkheid zijn fundamenteel voor de huidige AI-systemen, en de HITL-benadering helpt hierbij.

Uitdagingen van HITL-systemen

Human-in-the-loop-systemen stellen ook enkele specifieke uitdagingen die aangepakt moeten worden. Ten eerste maken mensen fouten, dus elk systeem met mensen loopt het risico onjuist te zijn. Dit kan een grote impact hebben op de effectiviteit van het systeem. Als een mens bijvoorbeeld een fout maakt bij het labelen van gegevens, zal dezelfde fout door het hele systeem worden doorgevoerd en kan dit toekomstige problemen veroorzaken.

HITL-systemen kunnen ook langzaam zijn, omdat mensen betrokken zijn bij het beslissingsproces. Een van de belangrijkste redenen achter de groei van AI en ML is dat machines veel sneller zijn dan mensen, maar deze snelheid die vaak in traditionele ML-systemen wordt gezien, vertaalt zich niet altijd naar HITL-systemen.

Een andere uitdaging van HITL-systemen is dat ze duur kunnen zijn om te bouwen en te onderhouden. Naast de kosten die samenhangen met de machine, moet het bedrijf ook budgetteren voor menselijke arbeid.