Co to jest Human-in-the-loop (HITL)?

Jednym z terminów, który możesz spotkać przy pracy z sztuczną inteligencją (AI) i uczeniem maszynowym (ML), jest human-in-the-loop (HITL). Jest to po prostu tak, jak brzmi. HITL to gałąź AI, która opiera się na inteligencji zarówno ludzkiej, jak i maszynowej przy tworzeniu modeli uczenia maszynowego.

Podejście human-in-the-loop oznacza, że ludzie są zaangażowani w cykl algorytmiczny szkolenia, dostosowywania i testowania.

Ludzie najpierw oznaczają dane, co pomaga modelowi osiągnąć wysoką jakość i ilość danych szkoleniowych. Następnie algorytm uczenia maszynowego uczy się podejmować decyzje na podstawie tych danych, zanim ludzie zaczną dokonywać drobnych dostosowań modelu.

Model można następnie przetestować i zwalidować za pomocą ludzi, oceniając jego dane wyjściowe. Ten proces jest szczególnie przydatny w sytuacjach, w których algorytm nie jest pewny swojej oceny lub gdy algorytm jest zbyt pewny swojej błędnej decyzji.

Proces HITL jest ciągłym cyklem informacji zwrotnej, co oznacza, że każde z zadań szkolenia, dostosowywania i testowania jest wprowadzane z powrotem do algorytmu. Ten proces umożliwia algorytmowi stanie się bardziej skutecznym i dokładnym w czasie, co jest szczególnie przydatne do tworzenia bardzo dokładnych i dużej ilości danych szkoleniowych dla określonych przypadków użycia. Wkład ludzki pomaga dostosować i przetestować model, aby organizacja mogła osiągnąć najbardziej dokładne i przydatne decyzje.

Image: Stanford University

Ważność HITL Machine Learning

HITL jest niezwykle ważną gałęzią AI, ponieważ tradycyjne modele uczenia maszynowego wymagają dużej ilości oznaczonych punktów danych, aby osiągnąć dokładne przewidywania. Gdy brakuje danych, modele uczenia maszynowego nie są tak przydatne.

Weźmy na przykład naukę języka. Jeśli masz język, którym posługuje się tylko kilka tysięcy ludzi, i chcesz uzyskać wgląd w ten język za pomocą uczenia maszynowego, może być trudno znaleźć wystarczającą ilość przykładów, aby model mógł się uczyć. Z podejściem HITL można zapewnić dokładność tych zbiorów danych.

Przemysł opieki zdrowotnej jest również jednym z najważniejszych dla systemów HITL. Badanie z 2018 roku przeprowadzone przez Stanford wykazało, że model HITL działa lepiej niż AI lub ludzie samodzielnie.

Systemy HITL poprawiają dokładność, jednocześnie utrzymując standardy na poziomie ludzkim, co jest ważne dla wielu branż na całym świecie.

Kiedy używać systemów HITL

Istnieją pewne określone momenty w cyklu życia AI, kiedy należy używać uczenia maszynowego z ludzkim udziałem:

• Szkolenie: Najczęstszym miejscem, w którym naukowcy danych używają HITL, jest podczas faz szkolenia, gdzie ludzie dostarczają oznaczone dane do szkolenia modelu.

• Dostosowywanie i testowanie: Inny główny moment, w którym używa się HITL, to fazy dostosowywania i testowania. Ludzie dostosowują modele w celu zwiększenia dokładności, co jest szczególnie ważne, gdy model jest niepewny.

Ważne jest, aby zauważyć, że podejście HITL nie jest odpowiednie dla każdego projektu uczenia maszynowego. Jest ono głównie używane, gdy nie ma wystarczającej ilości dostępnych danych.

Głębokie uczenie z ludzkim udziałem jest używane, gdy ludzie i procesy uczenia maszynowego互ują w określonych scenariuszach, takich jak: algorytmy nie rozumieją danych wejściowych; dane wejściowe są interpretowane niepoprawnie; algorytmy nie wiedzą, jak wykonać określone zadanie; model uczenia maszynowego wymaga większej dokładności; ludzki komponent wymaga większej wydajności i dokładności; koszt błędów jest zbyt wysoki w rozwoju ML; oraz pożądane dane nie są dostępne.

Typy oznaczania danych dla HITL

Podejście HITL można wykorzystać do różnych typów oznaczania danych, w zależności od rodzaju wymaganych zbiorów danych. Na przykład, jeśli maszyna musi nauczyć się rozpoznawać określone kształty, używa się bounding boxów. Jeśli model musi klasyfikować każdą część obrazu, preferowane jest segmentowanie. W przypadku zbiorów danych rozpoznawania twarzy często używa się oznaczeń twarzy.

Innym ważnym zastosowaniem jest analiza tekstu, która umożliwia maszynie zrozumienie, co ludzie mówią lub piszą. Ponieważ ludzie używają różnych słów, aby wyrazić te same znaczenia, systemy AI muszą znać różne wariacje. Idąc dalej, analiza nastrojów może rozpoznać ton określonego słowa lub frazy. Te przykłady pokazują, dlaczego podejście human-in-the-loop jest tak ważne.

Dlaczego Twoja firma powinna wdrożyć HITL

Jeśli Twoja firma szuka sposobu na wdrożenie systemu HITL, jednym z najczęstszych sposobów jest użycie oprogramowania do automatyzacji. Istnieje wiele oprogramowania do automatyzacji, które jest już zbudowane wokół podejścia HITL, co oznacza, że proces jest już uwzględniony.

Systemy takie umożliwiają firmie osiągnięcie wysokiego poziomu wydajności od razu i uzyskanie wglądu. Systemy uczenia maszynowego są już wdrażane w niemal każdej branży, co oznacza, że deweloperzy muszą zapewnić, że systemy te działają dobrze z zmieniającymi się danymi.

Istnieją wiele zalet wdrożenia systemu HITL w Twojej firmie:

• Poprawia proces podejmowania decyzji: System HITL poprawia proces podejmowania decyzji w firmie, zapewniając przejrzystość i spójność. Chroni również przed uprzedzeniami, włączając ludzkie opinie do procesu szkolenia.

• Bardziej wydajny: Systemy HITL są ogólnie uważane za bardziej wydajne niż tradycyjne systemy uczenia maszynowego. Wymagają mniej czasu na szkolenie i dostosowywanie, co oznacza, że generują wgląd szybciej.

• Przejrzystość: Systemy z ludzkim udziałem zapewniają większą przejrzystość modelu uczenia maszynowego, jego działania i powodów, dla których podjął określoną decyzję. Wyjaśnialność i odpowiedzialność są fundamentalne dla dzisiejszych systemów AI, a podejście HITL pomaga znacznie.

Wyzwania systemów HITL

Systemy z ludzkim udziałem również przedstawiają pewne wyzwania, które powinny być rozwiązane. Po pierwsze, ludzie popełniają błędy, więc każdy system z ludzkim udziałem niesie ryzyko błędu. Może to mieć duży wpływ na skuteczność systemu. Na przykład, jeśli człowiek popełni błąd podczas oznaczania danych, ten sam błąd zostanie przeniesiony przez cały system i może spowodować przyszłe problemy.

Systemy HITL mogą być również wolne, ponieważ ludzie są zaangażowani w proces podejmowania decyzji. Jednym z największych powodów wzrostu AI i ML jest to, że maszyny są niesamowicie szybsze niż ludzie, ale ta szybkość często widoczna w tradycyjnych systemach ML nie zawsze przekłada się na systemy HITL.

Jednym z większych wyzwań systemów HITL jest to, że mogą być drogie w budowie i utrzymaniu. Poza kosztami związanymi z maszyną, firma musi również budżetować na ludzką pracę.