Pași tactici pentru un PoC de succes GenAI

Proiectele de demonstrare a conceptului (PoC) sunt terenul de testare pentru noi tehnologii, iar Inteligența Artificială Generativă (GenAI) nu face excepție. Ce înseamnă realmente succes pentru un PoC GenAI? Simplu spus, un PoC de succes este acela care trece fără probleme în producție. Problema este că, din cauza noutății tehnologiei și a evoluției sale rapide, majoritatea proiectelor PoC GenAI se concentrează în primul rând pe fezabilitatea tehnică și pe metrici precum acuratețea și rechemarea. Această concentrare îngustă este una dintre principalele motive pentru care proiectele PoC eşuează. Un sondaj McKinsey a constatat că, în timp ce o pătrime dintre respondenți erau îngrijorați de acuratețe, mulți s-au confruntat cu aceleași dificultăți cu securitatea, explicabilitatea, gestionarea proprietății intelectuale (IP) și conformitatea regulamentară. Adăugați probleme comune, cum ar fi calitatea slabă a datelor, limitele de scalabilitate și durerile de cap ale integrării, și este ușor de înțeles de ce atâtea proiecte PoC GenAI nu reușesc să progreseze.

Dincolo de senzație: Realitatea proiectelor PoC GenAI

Adopția GenAI este în mod evident în creștere, dar rata reală de succes a proiectelor PoC rămâne neclară. Rapoartele oferă statistici variate:

• Gartner prezice că, până la sfârșitul anului 2025, cel puțin 30% dintre proiectele GenAI vor fi abandonate după etapa PoC, ceea ce implică faptul că 70% ar putea trece în producție.
• Un studiu realizat de Avanade (citat în RTInsights) a constatat că 41% dintre proiectele GenAI rămân blocate în PoC.
• Raportul Deloitte din ianuarie 2025 Starea GenAI în întreprinderi estimează că doar 10-30% dintre proiectele PoC vor ajunge la scară de producție.
• O cercetare realizată de IDC (citată în CIO.com) a constatat că, în medie, doar 5 dintre 37 de proiecte PoC (13%) ajung la producție.

Cu estimări care variază de la 10% la 70%, rata reală de succes este probabil mai aproape de limita inferioară. Acest lucru subliniază faptul că multe organizații se luptă să proiecteze proiecte PoC cu un drum clar către scalare. Rata scăzută de succes poate epuiza resursele, poate stinge entuziasmul și poate stagna inovația, ducând la ceea ce se numește adesea “oboseală PoC”, în care echipele se simt blocate în a rula piloți care nu ajung niciodată la producție.

Depășirea eforturilor irosite

GenAI se află încă în stadiile incipiente ale ciclului de adoptare, la fel ca și calculul în nor și inteligența artificială tradițională înainte. Calculul în nor a durat 15-18 ani pentru a ajunge la adoptare pe scară largă, în timp ce inteligența artificială tradițională a necesitat 8-10 ani și încă este în creștere. În mod istoric, adoptarea inteligenței artificiale a urmat un ciclu de boom-bust, în care entuziasmul inițial duce la așteptări supraestimate, urmat de o încetinire atunci când apar provocări, înainte de a se stabiliza în utilizare mainstream. Dacă istoria este orice ghid, adoptarea GenAI va avea propriile sale suișuri și coborâșuri.

Pentru a naviga eficient în acest ciclu, organizațiile trebuie să se asigure că fiecare proiect PoC este proiectat cu scalabilitatea în minte, evitând capcanele comune care duc la eforturi irosite. Recunoscând aceste provocări, firmele de tehnologie și consultanță de top au dezvoltat cadre structurate pentru a ajuta organizațiile să treacă dincolo de experimentare și să scaleze inițiativele GenAI cu succes.

Scopul acestui articol este de a completa aceste cadre și eforturi strategice prin descrierea pașilor tactici practici care pot crește semnificativ probabilitatea ca un proiect PoC GenAI să treacă de la testare la impact real în lume.

Pași tactici cheie pentru un PoC de succes GenAI

1. Selectați un caz de utilizare cu producția în minte

Mai întâi și mai presus de toate, alegeți un caz de utilizare cu un drum clar către producție. Acest lucru nu înseamnă efectuarea unei evaluări cuprinzătoare a pregătirii GenAI la nivel de întreprindere. În schimb, evaluați fiecare caz de utilizare individual pe baza factorilor precum calitatea datelor, scalabilitatea și cerințele de integrare și prioritizați cele cu cea mai mare probabilitate de a ajunge la producție.

Câteva întrebări cheie suplimentare de luat în considerare la selectarea cazului de utilizare potrivit:

• Se aliniază PoC-ul meu cu obiectivele pe termen lung ale afacerii?
• Poate fi accesat și utilizat legal datele necesare?
• Există riscuri clare care vor preveni scalarea?

2. Definiți și aliniați metricile de succes înainte de începere

Unul dintre cele mai mari motive pentru care proiectele PoC se blochează este lipsa metricilor bine definite pentru măsurarea succesului. Fără o aliniere puternică pe obiective și așteptări de rentabilitate, chiar și proiectele PoC tehnice solide pot lupta pentru a obține aprobarea pentru producție. Estimarea rentabilității nu este ușoară, dar iată câteva recomandări:

• Concepeți sau adoptați un cadru precum acesta.
• Utilizați calculatoare de cost, precum acest instrument de preț OpenAI API și calculatoare de furnizori de cloud pentru a estima cheltuielile.
• În loc de o țintă unică, dezvoltați o estimare a rentabilității bazată pe interval cu probabilități pentru a lua în considerare incertitudinea.

Iată un exemplu de modul în care echipa QueryGPT de la Uber a estimat impactul potențial al instrumentului lor GenAI text-la-SQL.

3. Permiteți experimentarea rapidă

Construirea de aplicații GenAI se referă la experimentare, necesitând iterare constantă. Atunci când selectați stiva dvs. tehnologică, arhitectura, echipa și procesele, asigurați-vă că acestea susțin abordarea iterativă. Alegerile ar trebui să permită experimentarea fără efort, de la generarea de ipoteze și rularea testelor la colectarea datelor, analizarea rezultatelor, învățarea și rafinarea.

• Luați în considerare angajarea de furnizori de servicii mici și mijlocii pentru a accelera experimentarea.
• Alegeți benchmarks, evaluări și cadre de evaluare de la început, asigurându-vă că acestea se aliniază cu cazul dvs. de utilizare și obiectivele.
• Utilizați tehnici precum LLM-as-a-judge sau LLM-as-Juries pentru a automatiza (semi-automatiza) evaluarea.

4. Încercați să obțineți soluții cu fricțiune redusă

O soluție cu fricțiune redusă necesită mai puține aprobări și, prin urmare, se confruntă cu mai puține obiecții la adoptare și scalare. Creșterea rapidă a GenAI a dus la o explozie de unelte, cadre și platforme proiectate pentru a accelera proiectele PoC și implementările de producție. Cu toate acestea, multe dintre aceste soluții funcționează ca cutii negre care necesită o examinare riguroasă din partea echipelor IT, juridice, de securitate și de gestionare a riscurilor. Pentru a aborda aceste provocări și a simplifica procesul, luați în considerare următoarele recomandări pentru construirea unei soluții cu fricțiune redusă:

• Creați o hartă rutieră dedicată pentru aprobări: Luați în considerare crearea unei hărți rutiere dedicate pentru a aborda preocupările echipei partenerilor și pentru a obține aprobări.
• Utilizați stive tehnologice preaprobate: Ori de câte ori este posibil, utilizați stive tehnologice care sunt deja aprobate și utilizate pentru a evita întârzierile în aprobare și integrare.
• Concentrați-vă asupra uneltelor esențiale: Proiectele PoC inițiale nu necesită, de obicei, reglarea fină a modelului, bucle de feedback automate sau observabilitate/SRE extinsă. În schimb, prioritizați uneltele pentru sarcini de bază, cum ar fi vectorizarea, încorporarea, recuperarea cunoștințelor, gardurile și dezvoltarea interfeței cu utilizatorul.
• Utilizați uneltele low-code/no-code cu precauție: Deși aceste unelte pot accelera termenele, natura lor de cutie neagră limitează capacitățile de personalizare și integrare. Utilizați-le cu precauție și luați în considerare implicațiile lor pe termen lung.
• Abordați preocupările de securitate de la început: Implementați tehnici precum generarea de date sintetice, mascarea datelor PII și criptarea pentru a aborda preocupările de securitate în mod proactiv.

5. Adunați o echipă subțire și antreprenorială

Ca și în orice proiect, aveți nevoie de echipa potrivită cu abilitățile esențiale pentru a reuși. Dincolo de expertiza tehnică, echipa dvs. trebuie să fie și agilă și antreprenorială.

• Luați în considerare includerea managerilor de produs și a experților în domeniu (SME) pentru a vă asigura că rezolvați problema potrivită.
• Asigurați-vă că aveți atât dezvoltatori full-stack, cât și ingineri de învățare automată în echipă.
• Evitați angajarea specifică pentru PoC sau împrumutarea de resurse interne de la proiecte pe termen lung cu prioritate mai mare. În schimb, luați în considerare angajarea de furnizori de servicii mici și mijlocii care pot aduce talentele potrivite rapid.
• Încorporați parteneri din domeniul juridic și securitate de la început.

6. Prioritizați cerințele nefuncționale, de asemenea

Pentru un PoC de succes, este esențial să stabiliți granițe clare de problemă și un set fix de cerințe funcționale. Cu toate acestea, cerințele nefuncționale nu ar trebui să fie ignorate. Deși PoC-ul ar trebui să rămână concentrat în cadrul granițelor problemei, arhitectura sa trebuie să fie proiectată pentru performanță ridicată. Mai exact, realizarea unei latențe de milisecunde poate să nu fie o necesitate imediată, cu toate acestea, PoC-ul ar trebui să poată scala fără efort pe măsură ce utilizatorii beta se extind. Optați pentru o arhitectură modulară care rămâne flexibilă și agnostică față de unelte.

7. Concepți un plan pentru a gestiona halucinațiile

Halucinațiile sunt inevitabile cu modelele de limbaj. Prin urmare, gardurile de protecție sunt esențiale pentru scalarea soluțiilor GenAI în mod responsabil. Cu toate acestea, evaluați dacă gardurile automate sunt necesare în etapa PoC și în ce măsură. În loc să ignorați sau să supraingenierizați gardurile, detectați când modelele dvs. halucinează și le semnalați utilizatorilor PoC.

8. Adoptați cele mai bune practici de gestionare a produsului și proiectului

Această ilustrație XKCD se aplică proiectelor PoC la fel ca și producției. Nu există o carte de strategii valabilă pentru toată lumea. Cu toate acestea, adoptarea celor mai bune practici din gestionarea proiectelor și a produselor poate ajuta la simplificarea și realizarea progresului.

• Utilizați metode kanban sau agile pentru planificarea tactică și execuția.
• Documentați totul.
• Organizați scrum-of-scrum pentru a colabora eficient cu echipele partenere.
• Țineți stakeholderii și conducerea informată cu privire la progres.

Concluzie

Rularea unui PoC GenAI de succes nu se referă doar la demonstrarea fezabilității tehnice, ci și la evaluarea alegerilor fundamentale pentru termen lung. Prin selectarea atentă a cazului de utilizare potrivit, alinierea metricilor de succes, permiterea experimentării rapide, minimizarea fricțiunii, adunarea echipei potrivite, abordarea cerințelor funcționale și nefuncționale și planificarea provocărilor, cum ar fi halucinațiile, organizațiile pot îmbunătăți dramatic șansele de a trece de la PoC la producție.

Cu toate acestea, pașii descriși mai sus nu sunt exhaustivi, și nu toate recomandările se vor aplica la fiecare caz de utilizare. Fiecare PoC este unic, iar cheia succesului constă în adaptarea acestor practici optime pentru a se potrivi cu obiectivele dvs. de afaceri specifice, constrângerile tehnice și peisajul regulamentar.

O viziune puternică și o strategie sunt esențiale pentru adoptarea GenAI, dar fără pașii tactici corecți, chiar și cele mai bine întocmite planuri pot stagna la etapa PoC. Execuția este locul în care ideile excelente fie reușesc, fie eşuează, iar aveți o abordare clară și structurată care asigură că inovația se traduce în impact real în lume.