Wat is Human-in-the-loop (HITL)?

Een van de termen die u tegenkomt bij het werken met kunstmatige intelligentie (AI) en machine learning (ML) is human-in-the-loop (HITL). Het is precies zoals het klinkt. HITL is een tak van AI die zowel menselijke als machine-intelligentie gebruikt bij het creëren van machine learning-modellen.

Een human-in-the-loop-benadering betekent dat mensen betrokken zijn bij de algoritme-cyclus van training, afstemming en testen.

Mensen labelen eerst gegevens, wat helpt om het model van hoge kwaliteit en hoge hoeveelheid trainingsgegevens te voorzien. Een machine learning-algoritme leert vervolgens beslissingen te nemen op basis van de gegevens voordat mensen het model verfijnen.

Het model kan vervolgens getest en gevalideerd worden door mensen door de uitvoer te scoren. Dit proces is vooral handig in gevallen waarin het algoritme niet zeker is over een oordeel, of waar het algoritme te zeker is over een onjuiste beslissing.

Het HITL-proces is een continue feedbacklus, wat betekent dat elke trainings-, afstemmings- en testtaak teruggevoerd wordt in het algoritme. Dit proces maakt het algoritme effectiever en nauwkeuriger over tijd, wat vooral handig is voor het creëren van zeer nauwkeurige en grote hoeveelheden trainingsgegevens voor specifieke use-cases. De menselijke inzicht helpt het model afstemmen en testen, zodat de organisatie de meest nauwkeurige en actuele beslissing kan nemen.

Afbeelding: Stanford University

Het belang van HITL Machine Learning

HITL is een uiterst belangrijke tak van AI, omdat conventionele machine learning-modellen een grote hoeveelheid gelabelde datapunten vereisen om nauwkeurige voorspellingen te doen. Wanneer er een gebrek aan gegevens is, zijn machine learning-modellen niet zo nuttig.

Neem taalonderwijs als voorbeeld. Als u een taal heeft die alleen door een paar duizend mensen wordt gesproken en u wilt inzicht krijgen in die taal door machine learning, kan het moeilijk zijn om genoeg voorbeelden te vinden voor het model om van te leren. Met een HITL-benadering kunt u de nauwkeurigheid van deze datasets garanderen.

De gezondheidszorg is ook een van de belangrijkste industrieën voor HITL-systemen. Een studie van Stanford uit 2018 toonde aan dat een HITL-model beter werkt dan alleen AI of mensen.

HITL-systemen verbeteren de nauwkeurigheid en behouden tegelijkertijd de menselijke normen, wat belangrijk is voor veel industrieën over de hele wereld.

Wanneer HITL-systemen gebruiken

Er zijn een paar specifieke momenten in de AI-levenscyclus waarin human-in-the-loop machine learning moet worden gebruikt:

• Training: De meest voorkomende plek waar datawetenschappers HITL gebruiken is tijdens de trainingsfasen, waar mensen gelabelde gegevens voor modeltraining leveren.

• Afstemming en testen: De andere belangrijke tijd waarin HITL wordt gebruikt is in de afstemmings- en testfasen. Mensen stellen modellen af voor hogere nauwkeurigheid, wat vooral cruciaal is wanneer het model onzeker is.

Het is belangrijk op te merken dat de HITL-benadering niet geschikt is voor elk machine learning-project. Het wordt meestal gebruikt wanneer er niet veel beschikbare gegevens zijn.

Human-in-the-loop deep learning wordt gebruikt wanneer mensen en machine learning-processen in bepaalde scenario’s interactief zijn, zoals: algoritmen begrijpen de invoer niet; gegevensinvoer wordt onjuist geïnterpreteerd; algoritmen weten niet hoe ze een specifieke taak moeten uitvoeren; het machine learning-model moet nauwkeuriger zijn; het menselijke component moet efficiënter en nauwkeuriger zijn; de kosten van fouten zijn te hoog in ML-ontwikkeling; en de gewenste gegevens zijn niet beschikbaar.

Soorten gegevenslabeling voor HITL

De HITL-benadering kan worden gebruikt voor verschillende soorten gegevenslabeling, afhankelijk van het type gegevenssets dat vereist is. Als het model bijvoorbeeld moet leren specifieke vormen te herkennen, worden begrenzingsvakken gebruikt. Maar als het model elk deel van een afbeelding moet classificeren, wordt segmentatie de voorkeur. Wanneer het gaat om gezichtsherkenning, worden gezichtsmarkeringen vaak gebruikt.

Een andere belangrijke toepassing is tekstanalyse, waardoor de machine kan begrijpen wat mensen zeggen of schrijven. Omdat mensen verschillende woorden gebruiken om dezelfde betekenis uit te drukken, moeten AI-systemen de verschillende variaties kennen. Als we het nog verder ontwikkelen, kan sentimentanalyse de toon van een specifiek woord of zin herkennen. Deze voorbeelden laten zien waarom het zo belangrijk is om de human-in-the-loop-benadering te gebruiken.

Waarom uw bedrijf HITL moet implementeren

Als uw bedrijf een HITL-systeem wilt installeren, is een van de meest voorkomende manieren om dit te doen door het gebruik van automatiseringssoftware. Er is al veel automatiseringssoftware gebouwd rond de HITL-benadering, wat betekent dat het proces al is ingebouwd.

Systemen zoals deze stellen het bedrijf in staat om direct hoge prestaties te bereiken en inzicht te krijgen. Machine learning-systemen worden al in bijna elke industrie geïmplementeerd, wat betekent dat ontwikkelaars ervoor moeten zorgen dat de systemen goed functioneren met veranderende gegevens.

Er zijn veel voordelen aan het implementeren van een HITL-systeem in uw bedrijf:

• Verbeterde besluitvorming: Een HITL-systeem verbetert het besluitvormingsproces van een bedrijf door transparantie en consistentie te bieden. Het beschermt ook tegen vooroordelen door menselijke feedback op te nemen in het trainingsproces.

• Efficiënter: HITL-systemen worden over het algemeen beschouwd als efficiënter dan traditionele machine learning-systemen. Ze vereisen minder tijd voor training en afstemming, waardoor ze sneller inzicht produceren.

• Transparantie: Human-in-the-loop-systemen bieden meer inzicht in het machine learning-model, hoe het werkt en waarom het tot een bepaalde beslissing is gekomen. Verklaarbaarheid en verantwoordelijkheid zijn fundamenteel voor de AI-systemen van vandaag, en de HITL-benadering helpt hierbij.

Uitdagingen van HITL-systemen

Human-in-the-loop-systemen stellen ook enkele specifieke uitdagingen die aangepakt moeten worden. Ten eerste maken mensen fouten, dus elk systeem met mensen loopt het risico onjuist te zijn. Dit kan een grote impact hebben op de effectiviteit van het systeem. Als een mens bijvoorbeeld een fout maakt bij het labelen van gegevens, zal dezelfde fout door het hele systeem worden doorgevoerd en kan het toekomstige problemen veroorzaken.

HITL-systemen kunnen ook langzaam zijn omdat mensen betrokken zijn bij het besluitvormingsproces. Een van de belangrijkste redenen achter de groei van AI en ML is dat machines veel sneller zijn dan mensen, maar deze snelheid die vaak in traditionele ML-systemen wordt gezien, vertaalt zich niet altijd naar HITL-systemen.

Een andere uitdaging van HITL-systemen is dat ze duur kunnen zijn om op te zetten en te onderhouden. Naast de kosten die zijn verbonden aan de machine, moet het bedrijf ook budgetteren voor menselijke arbeid.