Hvad er Human-in-the-loop (HITL)?

En af de termer, du kan støde på, når du arbejder med kunstig intelligens (AI) og maskinlæring (ML), er human-in-the-loop (HITL). Det er præcis, som det lyder. HITL er en gren af AI, der afhænger af både menneskelig og maskinell intelligens i skabelsen af maskinlæringsmodeller.

En human-in-the-loop-tilgang betyder, at mennesker er involveret i algoritme-cyklen for træning, finjustering og test.

Mennesker mærker først data, hvilket hjælper modellen med at opnå høj kvalitet og mængde af træningsdata. En maskinlæringsalgoritme lærer derefter at træffe beslutninger baseret på data, før mennesker begynder at finjustere modellen.

Modellen kan derefter testes og valideres af mennesker gennem scoring af dens output. Denne proces er særligt nyttig i tilfælde, hvor algoritmen ikke er sikker på en vurdering, eller på den anden side, hvor algoritmen er for sikker på en forkert beslutning.

HITL-processen er en kontinuerlig feedback-løkke, hvilket betyder, at hver af trænings-, finjusterings- og testopgaverne føres tilbage til algoritmen. Denne proces giver algoritmen mulighed for at blive mere effektiv og præcis over tid, hvilket er særligt nyttigt til at skabe meget præcise og store mængder træningsdata til bestemte brugsområder. Menneskeligt indsigt hjælper med at finjustere og teste modellen, så organisationen kan opnå den mest præcise og handlebare beslutning.

Billede: Stanford University

HITL Machine Learningens betydning

HITL er en ekstremt vigtig gren af AI, da konventionelle maskinlæringsmodeller kræver en stor mængde mærkede datapunkter for at opnå præcise forudsigelser. Når der er mangel på data, er maskinlæringsmodellerne ikke så nyttige.

Tag sprogtilæring som eksempel. Hvis du har et sprog, der kun tales af få thousand mennesker, og du ønsker at opnå indsigt i dette sprog gennem maskinlæring, kan det være svært at finde nok eksempler til, at modellen kan lære fra. Med en HITL-tilgang kan du sikre nøjagtigheden af disse datasæt.

Sundhedssektoren er også en af de vigtigste for HITL-systemer. En studie fra Stanford i 2018 fandt, at en HITL-model fungerer bedre end både AI og mennesker alene.

HITL-systemer forbedrer nøjagtigheden, samtidig med at de opretholder menneskelige standarder, hvilket er vigtigt for mange brancher på verdensplan.

Når skal HITL-systemer bruges

Der er nogle bestemte tidspunkter i AI-livscyklussen, hvor human-in-the-loop-maskinlæring bør bruges:

• Træning: Det mest almindelige sted, hvor datavidenskabsmænd bruger HITL, er under træningsfaserne, hvor mennesker leverer mærkede data til modeltræning.

• Finjustering og test: Det andet vigtige tidspunkt, hvor HITL bruges, er under finjusterings- og testfaserne. Mennesker finjusterer modeller for højere nøjagtighed, hvilket er særligt vigtigt, når modellen er usikker.

Det er vigtigt at bemærke, at HITL-tilgangen ikke er egnet til alle maskinlæringsprojekter. Den bruges mest, når der ikke er meget tilgængelige data.

Human-in-the-loop dyb læring bruges, når mennesker og maskinlæringsprocesser interagerer i bestemte scenarier, såsom: algoritmerne forstår ikke input; datainput fortolkes forkert; algoritmerne ved ikke, hvordan de skal udføre en bestemt opgave; maskinlæringsmodellen skal være mere nøjagtig; den menneskelige komponent skal være mere effektiv og nøjagtig; fejlkostningerne er for høje i ML-udvikling; og den ønskede data er ikke tilgængelig.

Typer af data-mærkning til HITL

HITL-tilgangen kan bruges til forskellige typer af data-mærkning, afhængigt af hvilke datasæt der kræves. For eksempel, hvis maskinen skal lære at genkende bestemte former, bruges bounding boxes. Men hvis modellen skal klassificere hver del af et billede, foretrækkes segmentering. Når det kommer til ansigtsgenkendelsesdatasæt, bruges ofte ansigtsmærkning.

En anden stor anvendelse er tekstanalyse, der giver maskinen mulighed for at forstå, hvad der siges eller skrives af mennesker. Fordi mennesker bruger forskellige ord til at udtrykke de samme betydninger, skal AI-systemer kende de forskellige variationer. Ved at gå videre kan sentimentanalyse genkende tonen i et bestemt ord eller udtryk. Disse eksempler viser, hvorfor det er så vigtigt, at human-in-the-loop-tilgangen bruges.

Hvorfor din virksomhed skal implementere HITL

Hvis din virksomhed søger at installere et HITL-system, er en af de mest almindelige måder at gøre dette ved at bruge automatiseringssoftware. Der er meget automatiseringssoftware, der allerede er bygget op omkring HITL-tilgangen, hvilket betyder, at den allerede har processen indbygget.

Systemer som disse giver virksomheden mulighed for at opnå høj niveau-præstation med det samme og at opnå indsigt. Maskinlærings-systemer bliver allerede implementeret i næsten alle brancher, hvilket betyder, at udviklere skal sikre, at systemerne fungerer godt med ændrende data.

Der er mange fordele ved at implementere et HITL-system i din virksomhed:

• Forbedrer beslutningsprocessen: Et HITL-system forbedrer beslutningsprocessen i en virksomhed ved at give gennemsigtighed og konsistens. Det beskytter også mod bias ved at inkludere menneskelig feedback i træningsprocessen.

• Er mere effektiv: HITL-systemer anses generelt for at være mere effektive end traditionelle maskinlærings-systemer. De kræver mindre tid til træning og finjustering, hvilket betyder, at de producerer indsigt hurtigere.

• Gennemsigtighed: Human-in-the-loop-systemer giver større gennemsigtighed i maskinlæringsmodellen, hvordan den fungerer og hvorfor den nåede en bestemt beslutning. Forklarlighed og ansvarlighed er fundamentale for i dagens AI-systemer, og HITL-tilgangen hjælper meget.

Udfordringerne ved HITL-systemer

Human-in-the-loop-systemer præsenterer også nogle bestemte udfordringer, der skal være til stede. For det første gør mennesker fejl, så enhver system med mennesker risikerer at være forkert. Dette kan have en stor indvirkning på systemets effektivitet. For eksempel, hvis et menneske gør en fejl, når de mærker data, vil samme fejl føre sig igennem hele systemet og kan forårsage fremtidige problemer.

HITL-systemer kan også være langsomme, da mennesker er involveret i beslutningsprocessen. En af de største årsager bag væksten af AI og ML er, at maskiner er utroligt hurtigere end mennesker, men denne hastighed ses ofte ikke i traditionelle ML-systemer, og den vil ikke altid oversætte sig til HITL-systemer.

Endnu en udfordring ved HITL-systemer er, at de kan være dyre at opbygge og vedligeholde. Ud over omkostningerne forbundet med maskinen skal virksomheden også budgettere for menneskelig arbejdskraft.