Wat is Human-in-the-loop (HITL)?

Een van de termen die je tegen kunt komen als je te maken hebt met kunstmatige intelligentie (AI) en machine learning (ML) is human-in-the-loop (HITL). Het is precies zoals het klinkt. HITL is een tak van AI die vertrouwt op zowel menselijke als machine-intelligentie bij het creëren van machine learning-modellen.

Een human-in-the-loop-benadering betekent dat mensen betrokken zijn bij de algoritmecyclus van trainen, afstemmen en testen.

Mensen labelen eerst gegevens, waardoor het model trainingsgegevens van hoge kwaliteit en kwantiteit kan bereiken. Een machine learning-algoritme leert vervolgens om beslissingen te nemen op basis van de gegevens voordat mensen het model gaan verfijnen.

Het model kan vervolgens door mensen worden getest en gevalideerd door de resultaten te scoren. Dit proces is vooral handig in gevallen waarin het algoritme geen vertrouwen heeft in een oordeel, of aan de andere kant, wanneer het algoritme te veel vertrouwen heeft in een onjuiste beslissing.

Het HITL-proces is een continue feedbacklus, wat betekent dat alle trainings-, afstemmings- en testtaken worden teruggevoerd naar het algoritme. Dit proces stelt het algoritme in staat om in de loop van de tijd effectiever en nauwkeuriger te worden, wat vooral handig is voor het creëren van zeer nauwkeurige en grote hoeveelheden trainingsgegevens voor specifieke gebruikssituaties. Het menselijk inzicht helpt het model af te stemmen en te testen, zodat de organisatie de meest nauwkeurige en bruikbare beslissing kan nemen.

Afbeelding: Stanford University

Het belang van HITL machinaal leren

HITL is een uiterst belangrijke tak van AI, aangezien conventionele machine learning-modellen een groot aantal gelabelde datapunten nodig hebben om nauwkeurige voorspellingen te doen. Wanneer er een gebrek aan gegevens is, zijn machine learning-modellen niet zo nuttig.

Neem het leren van talen als voorbeeld. Als u een taal heeft die slechts door een paar duizend mensen wordt gesproken en u via machine learning inzicht in die taal wilt krijgen, kan het moeilijk zijn om genoeg voorbeelden te vinden waar het model van kan leren. Met een HITL-aanpak kunt u de nauwkeurigheid van deze datasets waarborgen.

De gezondheidszorg is ook een van de belangrijkste voor HITL-systemen. Uit een studie van Stanford uit 2018 bleek dat een HITL-model beter werkt dan AI of mensen alleen.

HITL-systemen verbeteren de nauwkeurigheid en handhaven tegelijkertijd de normen op menselijk niveau, wat belangrijk is voor veel industrieën over de hele wereld.

Wanneer gebruikt u HITL-systemen?

Er zijn een paar specifieke momenten in de levenscyclus van AI waarop mens-in-de-lus machine learning moet worden gebruikt:

• Trainingen: De meest voorkomende plaats waar datawetenschappers HITL gebruiken, is tijdens de trainingsfasen, waar mensen gelabelde gegevens leveren voor modeltraining.

• Afstemmen en testen: De andere belangrijke tijd dat HITL wordt gebruikt, is in de afstemmings- en testfasen. Mensen stemmen modellen af ​​voor een hogere nauwkeurigheid, wat vooral cruciaal is wanneer het model niet zeker is.

Het is belangrijk op te merken dat de HITL-aanpak niet geschikt is voor elk machine learning-project. Het wordt meestal gebruikt wanneer er niet veel beschikbare gegevens zijn.

Human-in-the-loop deep learning wordt gebruikt wanneer mensen en machine learning-processen in bepaalde scenario's op elkaar inwerken, zoals: algoritmen begrijpen de invoer niet; gegevensinvoer wordt verkeerd geïnterpreteerd; algoritmen weten niet hoe ze een specifieke taak moeten uitvoeren; het machine learning-model moet nauwkeuriger zijn; de menselijke component moet efficiënter en nauwkeuriger zijn; de kosten van fouten zijn te hoog bij ML-ontwikkeling; en de gewenste gegevens zijn niet beschikbaar.

Soorten gegevenslabels voor HITL

De HITL-benadering kan worden gebruikt voor verschillende soorten datalabeling, afhankelijk van het soort datasets dat nodig is. Als de machine bijvoorbeeld specifieke vormen moet leren herkennen, worden begrenzingskaders gebruikt. Maar als het model elk deel van een afbeelding moet classificeren, heeft segmentatie de voorkeur. Als het gaat om datasets voor gezichtsherkenning, worden vaak gezichtsmarkeringen gebruikt.

Een andere belangrijke toepassing is tekstanalyse, waarmee de machine kan begrijpen wat mensen zeggen of schrijven. Omdat mensen verschillende woorden gebruiken om dezelfde betekenissen uit te drukken, moeten AI-systemen de verschillende variaties kennen. Als we nog verder gaan, kan sentimentanalyse de toon van een specifiek woord of een specifieke zin herkennen. Deze voorbeelden bewijzen waarom het zo belangrijk is om de human-in-the-loop-benadering te gebruiken.

Waarom uw bedrijf HITL zou moeten implementeren

Als uw bedrijf een HITL-systeem wil installeren, is automatiseringssoftware een van de meest gebruikelijke manieren om dit te doen. Er is al veel automatiseringssoftware gebouwd rond de HITL-benadering, wat betekent dat het proces al is meegenomen.

Dergelijke systemen stellen het bedrijf in staat om direct op hoog niveau te presteren en tot inzichten te komen. Machine learning-systemen worden al in bijna elke branche geïmplementeerd, wat betekent dat ontwikkelaars ervoor moeten zorgen dat de systemen goed presteren met veranderende gegevens.

Het implementeren van een HITL-systeem in uw bedrijf heeft veel voordelen:

• Verbetert het besluitvormingsproces: Een HITL-systeem verbetert het besluitvormingsproces van een bedrijf door transparantie en consistentie te bieden. Het beschermt ook tegen vooringenomenheid door menselijke feedback op te nemen in het trainingsproces.

• Efficiënter: HITL-systemen worden over het algemeen beschouwd als efficiënter dan traditionele machine learning-systemen. Ze hebben minder tijd nodig voor training en afstemming, wat betekent dat ze sneller inzichten opleveren.

• Transparantie: Human-in-the-loop-systemen bieden meer transparantie in het machine learning-model, hoe het werkt en waarom het tot een bepaalde beslissing is gekomen. Uitleg en verantwoording zijn fundamenteel voor de huidige AI-systemen, en de HITL-benadering helpt daar enorm bij.

Uitdagingen van HITL-systemen

Human-in-the-loop-systemen brengen ook enkele specifieke uitdagingen met zich mee die moeten worden aangepakt. Ten eerste maken mensen fouten, dus elk systeem met mensen loopt het risico verkeerd te zijn. Dit kan een grote impact hebben op de effectiviteit van het systeem. Als een mens bijvoorbeeld een fout maakt bij het labelen van gegevens, zal diezelfde fout zich een weg banen door het hele systeem en toekomstige problemen kunnen veroorzaken.

HITL-systemen kunnen ook traag zijn omdat mensen betrokken zijn bij het besluitvormingsproces. Een van de grootste redenen achter de groei van AI en ML is dat machines ongelooflijk sneller zijn dan mensen, maar deze snelheid die vaak wordt gezien in traditionele ML-systemen, vertaalt zich niet altijd in HITL-systemen.

Een andere uitdaging van HITL-systemen is dat ze duur kunnen zijn om te bouwen en te onderhouden. Naast de kosten die aan de machine zijn verbonden, moet het bedrijf ook budget hebben voor menselijke arbeid.