Co je Human-in-the-loop (HITL)?

Jedním z termínů, se kterými se můžete setkat při práci s umělou inteligencí (AI) a strojovým učením (ML), je human-in-the-loop (HITL). Je to přesně tak, jak to zní. HITL je odvětví AI, které spoléhá na kombinaci lidské a strojové inteligence při vytváření modelů strojového učení.

Přístup human-in-the-loop znamená, že lidé jsou zapojeni do algoritmicého cyklu školení, ladění a testování.

Lidé nejprve označují data, což pomáhá modelu dosáhnout vysoké kvality a množství trénovacích dat. Algoritmus strojového učení se pak učí dělat rozhodnutí na základě dat, než lidé začnou model jemně ladit.

Model lze poté testovat a ověřovat lidmi prostřednictvím hodnocení jeho výstupů. Tento proces je especialmente užitečný v případech, kdy algoritmus není jistý ohledně rozhodnutí, nebo naopak, kdy algoritmus je příliš jistý ohledně nesprávného rozhodnutí.

Proces HITL je kontinuální zpětnou vazbou, což znamená, že každá z úloh školení, ladění a testování je zpětně vazána do algoritmu. Tento proces umožňuje algoritmu stát se účinnějším a přesnějším over time, což je especialmente užitečné pro vytváření vysoce přesných a velkých množství trénovacích dat pro konkrétní použití. Lidské poznání pomáhá ladit a testovat model, aby organizace mohla dosáhnout nejpreciznějších a nejzásadnějších rozhodnutí.

Image: Stanford University

Důležitost strojového učení HITL

HITL je velmi důležité odvětví AI, protože konvenční modely strojového učení vyžadují velké množství označených datových bodů, aby dosáhly přesných předpovědí. Když chybí data, modely strojového učení nejsou tak užitečné.

Vezměme si jako příklad jazykové učení. Pokud máte jazyk, který mluví pouze několik tisíc lidí a chcete získat přehled o tomto jazyku prostřednictvím strojového učení, může být obtížné najít dostatek příkladů, ze kterých by se model mohl učit. S přístupem HITL můžete zajistit přesnost těchto datových sad.

Zdravotnický průmysl je také jedním z nejvýznamnějších pro systémy HITL. Studie z roku 2018 provedená Stanfordem zjistila, že model HITL funguje lépe než samostatné AI nebo lidé.

Systémy HITL zlepšují přesnost a současně udržují lidské standardy, což je důležité pro mnoho odvětví po celém světě.

Kdy použít systémy HITL

Existují beberapa konkrétní chvíle v životním cyklu AI, kdy by se měly používat systémy human-in-the-loop strojového učení:

• Školení: Nejčastěji se data vědci používají HITL během fází školení, kdy lidé poskytují označená data pro školení modelu.

• Ladění a testování: Další hlavní chvíle, kdy se HITL používá, je během fází ladění a testování. Lidé ladí modely pro vyšší přesnost, což je especialmente důležité, když model není jistý.

Je důležité poznamenat, že přístup HITL není vhodný pro každý projekt strojového učení. Používá se většinou tehdy, když není k dispozici dostatek dat.

Human-in-the-loop hluboké učení se používá, když lidé a procesy strojového učení interagují v určitých scénářích, jako jsou: algoritmy nerozumí vstupu; data jsou interpretována nesprávně; algoritmy neví, jak provést konkrétní úkol; model strojového učení potřebuje být přesnější; lidská složka potřebuje být efektivnější a přesnější; náklady na chyby jsou слишком vysoké ve vývoji ML; a požadovaná data nejsou k dispozici.

Typy označování dat pro HITL

Přístup HITL lze použít pro různé typy označování dat v závislosti na tom, jaký typ datových sad je vyžadován. Například, pokud stroj potřebuje naučit se rozpoznávat konkrétní tvary, používají se hranice. Ale pokud model potřebuje klasifikovat každou část obrázku, preferuje se segmentace. Když se jedná o datové sady rozpoznávání obličeje, používají se často označení obličeje.

Další významnou aplikací je analýza textu, která umožňuje stroji pochopit, co lidé říkají nebo píší. Protože lidé používají různé slova k vyjádření stejných významů, systémy AI musí znát různé variace. Pokud se věci dále prohlubují, analýza sentimentu může rozpoznat tón konkrétního slova nebo fráze. Tyto příklady dokazují, proč je tak důležité používat přístup human-in-the-loop.

Proč vaše společnost měla implementovat HITL

Pokud vaše společnost hledá způsob, jak implementovat systém HITL, jedním z nejčastějších způsobů, jak to udělat, je použití softwaru pro automatizaci. Existuje mnoho softwaru pro automatizaci, který již obsahuje proces HITL, což znamená, že již má zahrnutý proces.

Systémy jako tyto umožňují společnosti dosáhnout vysoké úrovně výkonu okamžitě a získat přehled. Systémy strojového učení jsou již implementovány v téměř každém odvětví, což znamená, že vývojáři musí zajistit, aby systémy fungovaly dobře s měnícími se daty.

Existuje mnoho výhod implementace systému HITL do vaší společnosti:

• Zlepšuje rozhodovací proces: Systém HITL zlepšuje rozhodovací proces společnosti poskytováním transparentnosti a konzistence. Také chrání před zkreslením tím, že zahrnuje lidskou zpětnou vazbu do procesu školení.

• Více efektivní: Systémy HITL jsou obecně považovány za více efektivní než tradiční systémy strojového učení. Vyžadují méně času pro školení a ladění, což znamená, že poskytují přehledy rychleji.

• Transparentnost: Systémy human-in-the-loop poskytují větší transparentnost do modelu strojového učení, jak funguje a proč došlo k bestimmému rozhodnutí. Vysvětlitelnost a odpovědnost jsou fundamentální pro dnešní systémy AI, a přístup HITL pomáhá významně.

Výzvy systémů HITL

Systémy human-in-the-loop také představují některé konkrétní výzvy, které by měly být řešeny. Jedním z nich je, že lidé dělají chyby, takže jakýkoli systém, který zahrnuje lidi, riskuje být chybný. To může mít velký dopad na účinnost systému. Například, pokud člověk udělá chybu při označování dat, stejná chyba se přenese celým systémem a může způsobit budoucí problémy.

Systémy HITL mohou být také pomalé, protože lidé jsou zapojeni do rozhodovacího procesu. Jedním z největších důvodů, proč AI a ML rostou, je, že stroje jsou mnohem rychlejší než lidé, ale tato rychlost se často nepřevádí do systémů HITL.

Jedna další výzva systémů HITL je, že mohou být drahé na konstrukci a údržbu. Kromě nákladů spojených se strojem musí společnost také rozpočet na lidskou práci.