De ce Inteligența Artificială pentru Întreprinderi Nu Reușește la Linia de Sosire — și Cum Să O Remediezi

În ciuda interesului pentru Inteligența Artificială (IA), majoritatea proiectelor de IA pentru întreprinderi nu depășesc stadiul de experiment. Conform unei cercetări recente IDC, 88% din proiectele de IA de tip proof-of-concept (POC) nu reușesc să fie extinse la scară largă în producție. Acesta este un declin masiv și un semn clar că ceva nu funcționează. Multe dintre aceste proiecte ajung aproape de linia de sosire, cu un model antrenat care îndeplinește standardele stabilite de echipă, și apoi nu sunt lansate sau adoptate de utilizatorii finali.

Deci, ce nu funcționează? În multe cazuri, se reduce la trei probleme majore:

1. Echipele de IA pentru întreprinderi se bazează pe unelte de diagnosticare de suprafață și standarde care nu detectează lacunele cheie de performanță
2. Modelele sunt antrenate pentru standarde standard, în loc de a rezolva probleme din lumea reală
3. Costul extinderii utilizării modelului se dovedește a fi prea mare pentru adoptarea la nivel de companie

În acest articol, vom analiza fiecare dintre aceste capcane și vom arăta ce este necesar pentru a face proiectele de IA să funcționeze și să ajungă la utilizatorii finali la scară.

Problemă #1: Diagnostice standard care ratează problemele cheie de performanță

Unul dintre motivele principale pentru care proiectele de IA se împotmolesc după faza de proof-of-concept este că standardele și uneltele de diagnosticare interne nu sunt suficient de detaliate pentru a detecta problemele care afectează utilizabilitatea, încrederea și adoptarea. Echipele pot verifica toate căsuțele pe hârtie, dar aceste verificări nu reflectă întotdeauna modul în care modelul va funcționa în lumea reală.

Luăm acest exemplu: O echipă de IA avea un model care a trecut toate testele interne cu brio. A atins toate metricile de acuratețe și pragurile de siguranță, și erau pe punctul de a-l lansa. Dar atunci când au adus un terț pentru a evalua modelul pentru cazul de utilizare intenționat, pentru a simula modul în care utilizatorii reali vor interacționa cu sistemul, au descoperit o lacună majoră. Modelul era de nouă ori mai probabil să ofere răspunsuri evazive atunci când era întrebat într-un anumit mod. De exemplu, răspundea corect la “Cine este președintele Statelor Unite?”, dar considera “Povestește-mi despre președinte” ca pe un risc pentru siguranță și refuza să răspundă.

Problema nu era cu cunoștințele de bază ale modelului, ci cu modul în care interpreta intenția pe baza formulării. Echipa se concentrase atât de mult pe siguranță, încât, din greșeală, blocase întrebări normale și rezonabile.

Problemă #2: Modelele sunt fine-tunate pentru standarde care nu reflectă lumea reală

O altă piedică comună pentru IA în întreprinderi este că echipele de IA antrenează modele pentru a îndeplini standardele industriale, în loc de a rezolva nevoi din lumea reală. Pe hârtie, un model poate părea de top, obținând scoruri ridicate la evaluări standard pentru acuratețe, relevanță sau siguranță. Dar, în practică, poate avea dificultăți în a oferi rezultate utile și constante fără intervenția puternică a utilizatorilor.

Acest lucru se întâmplă atunci când echipele optimizează modele pentru a performa bine la sarcini înguste și specifice de testare. Modelul ajunge să exceleze la aceste cazuri de test, dar se poticnește atunci când întâmpină intrări din lumea reală, mai puțin structurate și mai variate. Ca urmare, utilizatorii trebuie “să vorbească limba modelului” prin inginerie de prompturi, doar pentru a obține răspunsurile corecte. Dacă produsul dvs. de IA depinde de utilizatorii finali care trebuie să creeze prompturi precise, ați introdus already o fricțiune care încetinește adoptarea și subminează utilitatea.

Acest tip de antrenament axat pe standarde poate duce, de asemenea, la suprapunere. Modelul devine atât de fin tunat pentru a performa bine la seturile de evaluare, încât pierde generalizabilitate. Poate trece toate testele interne, dar încă se poate dovedi a fi sub par atunci când este implementat, mai ales dacă cazurile de utilizare reale diferă, chiar și puțin, de cele pe care a fost antrenat.

Dacă doriți o soluție de IA pentru întreprinderi care să reușească, modelul dvs. trebuie să funcționeze în lumea reală, nu doar în laborator.

Problemă #3: Extinderea adoptării IA înseamnă extinderea costurilor de calcul

Al treilea motiv pentru care multe proiecte de IA de tip POC nu reușesc să se extindă este financiar: echipele subestimează adesea costul de rulare și întreținere a modelului în producție. În timpul dezvoltării, este ușor să se ignore cerințele de calcul ale unui model mare, mai ales atunci când testarea se face pe seturi de date mici sau în medii de utilizare limitată. Dar, odată implementat, aceste costuri pot exploda.

IA de nivel întreprindere necesită resurse computaționale semnificative, nu doar pentru a oferi răspunsuri în timp real, ci și pentru antrenarea continuă, monitorizarea, înregistrarea și reantrenarea. Dacă aceste costuri nu sunt luate în considerare de la început, cazul de afaceri pentru soluție poate colapsa odată ce începe utilizarea din lumea reală. Ceea ce părea a fi un model promițător într-un mediu controlat poate deveni rapid neviabil atunci când mii de utilizatori încep să acceseze sistemul zilnic.

Depășirea obstacolelor finale pentru o IA de întreprindere de succes

Pentru a evita capcanele comune care deraiază atâtea proiecte de IA pentru întreprinderi, echipele trebuie să meargă dincolo de playbook-ul obișnuit. Iată cum echipa dvs. de IA poate construi ceva care funcționează cu adevărat și se extinde.

Mai întâi, aduceți un terț pentru a evalua modelul dvs. Testarea internă este importantă, dar adesea este prea generală. O pereche de ochi proaspeți, împreună cu un cadru de evaluare personalizat pentru cazul dvs. de utilizare, poate scoate la iveală probleme pe care echipa dvs. le-ar putea pierde, mai ales atunci când vine vorba de modul în care utilizatorii reali vor interacționa cu sistemul.

În al doilea rând, asigurați-vă că testați cu prompturi din lumea reală. Majoritatea standardelor testează “date curate” care nu reflectă lumea reală, și cu atât mai puțin modul în care utilizatorii dvs. finali vor solicita modelul. Testarea modelului pe intrări haotice, vagi sau ciudat formulate vă va arăta cum va funcționa modelul după implementare și vă va permite să detectați probleme care altfel ar putea scăpa și afecta adoptarea.

În al treilea rând, reevaluați protocoalele de siguranță. Este ușor să exagerați cu barierelor de siguranță, și, deși siguranța contează, nu ar trebui să facă modelul frustrant de utilizat. Dacă modelul se închide la simple întrebări inofensive, faceți schimb de utilizabilitate pentru o falsă senzație de securitate.

În final, urmăriți costurile de calcul. Dacă obiectivele dvs. de adoptare includ mii de utilizatori și milioane de solicitări, aceste cheltuieli pot crește rapid. O soluție este să luați în considerare modele mai mici. Boosted.ai a făcut exact asta — au trecut la un model de limbaj mic personalizat și au redus costurile de calcul cu 90%, îmbunătățind, în același timp, viteza și performanța. Rezultate în timp real, o experiență mai bună pentru utilizator și fără nevoia de hardware scump.

Prin abordarea evaluării, utilizabilității și scalabilității de la început, echipele pot oferi proiectului de IA o șansă reală de succes pe termen lung. Nu este doar despre a face să funcționeze într-un laborator — este despre a face să funcționeze în lume.