Modele uczenia maszynowego: gotowe rozwiązanie czy rozwiązanie na zamówienie?

Kiedy budowanie jest lepsze niż kupowanie gotowego rozwiązania?

Przedsiębiorstwa mogą stosować różne podejścia do rozwoju modeli. Od w pełni zarządzanych usług ML, aż po modele niestandardowe. W zależności od wymagań biznesowych, dostępnej ekspertyzy i ograniczeń planistycznych, muszą podjąć decyzję: czy rozwijać rozwiązania niestandardowe od podstaw? Czy wybrać gotową usługę?

Dla wszystkich etapów obciążeń ML, musi zostać podjęta decyzja dotycząca tego, jak różne elementy będą ze sobą współpracować. Od zbierania danych, przygotowania i wizualizacji, aż do inżynierii cech, szkolenia modelu i oceny, inżynierowie uczenia maszynowego wielokrotnie zadają sobie to samo pytanie: Czy będzie to rozwiązanie zaimplementowane niestandardowo, napisane i opracowane od podstaw? Czy będzie to gotowa usługa?

Ale kiedy budowanie jest lepsze niż kupowanie gotowego rozwiązania? Głównymi czynnikami różnicującymi pomiędzy tymi dwoma podejściami są: wysiłki wstępne, szybkość rozwoju i wymagana ekspertyza.

Rzeczy do rozważenia przy określaniu, czy używać modeli uczenia maszynowego gotowych czy niestandardowych?

Wysiłki wstępne

Projekty ML stają w obliczu wszelkiego rodzaju wyzwań, ale być może największym wyzwaniem jest dostępność danych szkoleniowych. Brak danych szkoleniowych może zatrzymać projekt, zanim jeszcze się rozpocznie. Przed rozpoczęciem projektu może on napotkać znaczne koszty wstępne związane z gromadzeniem danych, oznaczaniem danych, czyszczeniem i przygotowaniem. To jest znany pułap, w którym wiele projektów ML kończy się niepowodzeniem: przygotowanie danych zajmuje 80% zasobów przydzielonych, podczas gdy niewiele zasobów pozostaje dla rzeczywistego szkolenia modelu i oceny.

Gotowe rozwiązania łagodzą trudności i bóle związane z wysiłkami wstępnymi. Zostały one zaprojektowane do wykonywania najczęstszych operacji z tylko nieznaczną konfiguracją wymaganą. Najlepszą rzeczą w nich jest to, że gotowe rozwiązania istnieją dla wszystkich etapów obciążeń ML.

Z drugiej strony, niestandardowe implementacje zwykle wymagają większych wysiłków wstępnych. Nie oznacza to, że należy je całkowicie odrzucić: nadal są one wymagane do dokładnego dopasowania pewnego etapu ML do szczegółów problemu, który jest rozwiązywany. Szczególnie brudny zestaw danych może wymagać pewnych specjalnych reguł czyszczenia. W tym samym czasie określony zestaw cech może wymagać niestandardowej inżynierii cech, tak jak architektury neuronowe mogą wymagać niewielkich dostosowań. W tym przypadku niestandardowe rozwiązania zbudowane od podstaw są najprawdopodobniej w stanie pokryć wszystkie potrzeby.

Szybkość rozwoju

Gotowe rozwiązania koncentrują się na konfiguracji, a nie na implementacji. Zamiast przydzielania zasobów do ustalenia, co należy zrobić, zespoły ML będą koncentrować się na jak różne elementy będą ze sobą współpracować. To podejście pozwala firmom, badaczom i inżynierom na szybkie wdrożenie prototypów i dowodów pojęciowych. Zamiast wynajdowania koła na nowo, gotowe rozwiązania umożliwiają wykorzystanie istniejącej wiedzy, co pozwala zaoszczędzić czas rozwoju.

Niestandardowe rozwiązania zaimplementowane od podstaw są znane jako znacznie wolniejsze pod względem szybkości rozwoju. Jest to spowodowane ich zwiększonymi potrzebami konserwacji: inżynierowie muszą ustalić zarówno co, jak i jak rozwiązania. Podobnie, im bardziej złożone rozwiązanie, tym więcej czasu zasobów jest wymaganych do zapewnienia jego skalowalności i dostępności podczas produkcji. Z tej perspektywy niestandardowe rozwiązania i wysiłki czasowe są bezpośrednio proporcjonalne: im bardziej złożone rozwiązanie, tym więcej czasu ono wymaga.

Zwykle jednak prawda leży gdzieś pośrodku: istniejąca baza kodu będzie przepisana i dostosowana do potrzeb bieżącego projektu. Taki jest przypadek znanej metody transfer learning do szkolenia modelu.

Ekspertyza

Podobnie jak istnieją wiele warstw, na których wykonywane jest uczenie maszynowe, istnieją wiele poziomów ekspertyzy, na których modele ML mogą być rozwijane, od interfejsów bez kodu aż do budowania modeli od podstaw.

Gotowe rozwiązania istnieją, dla których wymagana jest bardzo mała ekspertyza z zakresu uczenia maszynowego. Poprzez wykorzystanie intuicyjnych interfejsów i nawet podejść drag and drop, stało się niezwykle proste dla każdego (od analityków biznesowych do inżynierów oprogramowania) zbudować i wdrożyć jakiś model uczenia maszynowego. Chociaż ten prosty podejście do rozwoju modelu może działać do celów prototypowania, jest mało prawdopodobne, że spełni wymagania systemów produkcyjnych.

Ekspertyza jest nadal wymagana do właściwego skonfigurowania, ustawienia i utrzymania gotowych rozwiązań w produkcji. Rozwiązania, łatki kodu, łączenie z różnymi interfejsami API i rozwiązywanie problemów z wdrożeniem są powszechnymi zadaniami wymaganymi do zapewnienia wydajności modeli w środowiskach produkcyjnych.

Niestandardowe rozwiązania są zwykle wdrażane na poziomie infrastrukturalnym i nie ma sposobu, aby się od tego uchylić: ekspertyza jest zdecydowanie wymagana. W zależności od rozmiaru firmy i celów projektu, może być wymagany zespół multidyscyplinarny do utrzymania systemów produkcyjnych. Naukowcy danych, inżynierowie ML i analitycy biznesowi współpracują, aby zrozumieć wyniki inferencji i utrzymywać modele produkcyjne.

Czy należy używać gotowego, czy niestandardowego modelu uczenia maszynowego?

Rozwiązanie ML składa się z wielu poszczególnych komponentów i usług, które muszą współpracować jako spójne rozwiązanie. Nigdy nie chodzi o to, aby iść 100% niestandardowo lub 100% gotowo, ponieważ różne problemy biznesowe wymagają różnych rozwiązań. Bardzo często rozwiązania oparte na ML są budowane przez połączenie obu: gotowych usług do wyodrębniania ogólnych informacji, połączonych z niestandardowymi modelami, aby zwiększyć dokładność i modelować wiedzę specyficzną dla danego obszaru.

Szczegół jest taki, aby wiedzieć, kiedy wdrożyć niestandardowe rozwiązania od podstaw i które części projektu mogą wykorzystać korzyści z gotowych usług. To zależy głównie od rodzaju problemu, jaki jest rozwiązywany, wymagań biznesowych, dostępnych danych i ogólnych ograniczeń środowiska developerskiego.

Więcej na temat AI i trendów technologicznych można znaleźć na stronie Josh Miramant, CEO Blue Orange Digital, dostawcy rozwiązań opartych na danych dla łańcucha dostaw, automatyzacji dokumentów medycznych i innych.

Możesz też polubić:

Użyj NLP, aby sklasyfikować komentarze na mediach społecznościowych

Jak przetwarzanie języka jest ulepszane dzięki otwartemu modelowi BERT od Google (GOOGL )