Modele de învățare automată personalizate vs. modele off-the-shelf?

Când este mai bine să construiești decât să cumperi o soluție off-the-shelf?

Companiile pot adopta diferite abordări pentru dezvoltarea de modele. De la servicii de machine learning complet gestionate până la modele personalizate. În funcție de cerințele de business, de expertiza disponibilă și de constrângerile de planificare, acestea trebuie să ia o decizie: ar trebui să dezvolte soluții personalizate de la zero? Sau ar trebui să aleagă un serviciu off-the-shelf?

Pentru toate etapele de lucru cu machine learning, trebuie luată o decizie cu privire la modul în care diferitele piese ale puzzle-ului se vor potrivi împreună. De la colectarea datelor, pregătirea și vizualizarea lor, până la ingineria caracteristicilor, antrenarea modelului și evaluarea, inginerii de machine learning se întreabă mereu aceeași întrebare: Va fi o soluție implementată personalizat, scrisă și dezvoltată de la zero? Sau va fi un serviciu off-the-shelf?

Dar când este mai bine să construiești decât să cumperi o soluție off-the-shelf? Principalele factori diferențiatori între cele două abordări: eforturile de preprocesare, viteza de dezvoltare și expertiza necesară.

Lucruri de luat în considerare la determinarea utilizării modelelor de învățare automată off-the-shelf sau personalizate?

Eforturi de preprocesare

Proiectele de machine learning se confruntă cu tot felul de provocări, dar poate cea mai mare provocare este disponibilitatea datelor de antrenare. Lipsa datelor de antrenare poate opri un proiect înainte de a începe. Înainte de a începe, un proiect poate întâmpina costuri semnificative de preprocesare, de la colectarea datelor, etichetarea datelor, curățarea și preprocesarea. Acesta este capcana în care multe proiecte de machine learning eşuează: preprocesarea ajunge să consume 80% din resursele alocate, în timp ce puține resurse sunt lăsate pentru antrenarea și evaluarea modelului.

Soluțiile off-the-shelf reduc eforturile și durerile de preprocesare. Acestea sunt proiectate pentru a efectua cele mai comune operațiuni, cu doar o mică configurare necesară. Cea mai bună parte a lor este: soluțiile off-the-shelf există pentru toate etapele de lucru cu machine learning.

Pe de altă parte, implementările personalizate obișnuite necesită mai multe eforturi de preprocesare. Acest lucru nu înseamnă că trebuie să fie respinse în totalitate: acestea sunt încă necesare pentru a ajusta o anumită etapă de machine learning la specificul problemei care trebuie rezolvată. Un set de date foarte murdar poate necesita reguli de curățare speciale. În același timp, un anumit set de caracteristici poate necesita inginerie de caracteristici personalizată, la fel cum arhitecturile neuronale pot necesita ajustări ușoare. În acest caz, soluțiile personalizate construite de la zero sunt probabil să acopere toate nevoile.

Viteză de dezvoltare

Soluțiile off-the-shelf se concentrează pe configurare, mai degrabă decât pe implementare. În loc de a aloca resurse pentru a determina ce trebuie făcut, echipele de machine learning se vor concentra pe cum se vor potrivi împreună diferitele piese ale puzzle-ului. Acestă abordare permite companiilor, cercetătorilor și inginerilor să implementeze rapid prototipuri și demonstrații de concept. În loc de a reinventa roata, soluțiile off-the-shelf fac posibilă utilizarea cunoștințelor existente, astfel salvând timp de dezvoltare.

Soluțiile personalizate implementate de la zero sunt cunoscute pentru a fi mult mai lente în ceea ce privește viteza de dezvoltare. Acest lucru se datorează nevoilor lor crescute de întreținere: inginerii trebuie să determine atât ce trebuie făcut, cât și cum trebuie făcut. De asemenea, cu cât o soluție este mai complexă, cu atât mai mult timp sunt necesare pentru a se asigura scalabilitatea și disponibilitatea acesteia în timpul producției. Din această perspectivă, soluțiile personalizate și eforturile de timp sunt direct proporționale: cu cât o soluție este mai complexă, cu atât mai mult timp va necesita.

De obicei, însă, adevărul este undeva la mijloc: o bază de cod existentă va fi refăcută și adaptată nevoilor proiectului curent. Acesta este cazul abordării cunoscute de transfer de învățare pentru antrenarea modelului.

Expertiză

La fel cum există multiple straturi la care se efectuează machine learning, există multiple niveluri de expertiză la care pot fi dezvoltate modelele de machine learning, de la interfețe fără cod până la construirea de modele de la zero.

Soluțiile off-the-shelf există pentru care este necesară foarte puțină expertiză de machine learning. Prin utilizarea interfețelor intuitive și chiar a abordărilor de drag and drop, a devenit extrem de simplu pentru oricine (de la analiști de business la ingineri de software) să construiască și să implementeze un model de machine learning. În timp ce această abordare simplă de dezvoltare a modelului poate funcționa pentru scopuri de prototip, este puțin probabil să îndeplinească cerințele sistemelor de producție.

Expertiza este încă necesară pentru a configura, instala și întreține corect soluțiile off-the-shelf în producție. Soluții, corecții de cod, conectarea la diferite interfețe API, precum și gestionarea problemelor de implementare sunt sarcini comune necesare pentru a se asigura performanța modelului în mediile de producție.

Soluțiile personalizate sunt de obicei implementate la nivel infrastructural și nu există nicio cale de a ocoli: expertiza este definitiv necesară. În funcție de mărimea companiei și de obiectivele proiectului, pot fi necesare echipe multidisciplinare pentru a menține sistemele de producție. Oameni de știință din domeniul datelor, ingineri de machine learning și analiști de business lucrează împreună pentru a face sens din rezultatele inferenței și pentru a menține modelele de producție.

Ce ar trebui să utilizați: un model de învățare automată off-the-shelf sau unul personalizat?

O soluție de machine learning va fi construită din multe componente și servicii individuale care trebuie să se combine într-o soluție coerentă. Nu este niciodată vorba de a merge 100% personalizat sau de a merge 100% off-the-shelf, deoarece diferitele probleme de business necesită soluții diferite. Mai mult decât atât, soluțiile bazate pe machine learning sunt adesea construite printr-o combinație a celor două: servicii off-the-shelf pentru a extrage insight-uri generale, combinate cu modele personalizate pentru a crește precizia și a modela cunoștințele specifice domeniului.

Trucul constă în a ști când să implementeze soluții personalizate de la zero și care părți ale proiectului pot beneficia de avantajele serviciilor off-the-shelf. Acest lucru depinde foarte mult de tipul de problemă abordată, de cerințele de business, de datele disponibile și de constrângerile mediului de dezvoltare.

Pentru mai multe informații despre inteligența artificială și tendințele tehnologice, consultați Josh Miramant, CEO al Blue Orange Digital, care oferă soluții bazate pe date pentru lanțul de aprovizionare, automatizarea documentelor medicale și alte domenii.

Vă puteți interesa și de:

Utilizați NLP pentru a clasifica comentariile de pe rețelele sociale

Cum este îmbunătățită prelucrarea limbajului prin modelul BERT open source al Google (GOOGL )