De ce se sparg sistemele de inteligență artificială ale întreprinderilor după implementare – și ce puteți face în acest sens

Avertisment: Problema nu este modelul

În 2023, orașul New York a lansat chatbotul MyCity pentru a ajuta întreprinderile să navigheze prin regulamente complexe. Ideea era simplă: să facă informațiile legale mai ușor de accesat.

În practică, sistemul a produs răspunsuri care nu numai că erau greșite, dar și înșelătoare din punct de vedere legal – de la regulile de tipuri la discriminarea în domeniul locuințelor și până la legile privind plata.

O auditare ulterioară a constatat că 71,4% din feedback-ul utilizatorilor a fost negativ. În loc să corecteze problemele de bază, răspunsul a fost să adauge avertismente. Chatbotul a rămas în “beta” timp de peste doi ani înainte de a fi oprit.

Eșecul nu a fost de natură tehnică. Sistemul s-a deteriorat în producție pentru că nu a existat un mecanism pentru a asigura acuratețea, nu a existat o răspundere clară și nu a existat nicio modalitate de a interveni atunci când lucrurile au mers prost.

Acesta este modelul din spatele inteligenței artificiale pentru întreprinderi de astăzi: tehnologia funcționează, dar organizațiile nu sunt pregătite să o opereze în mod fiabil odată ce este lansată.

De la pilot la producție: Unde se sparg toate

Crearea unui pilot este relativ simplă – alegeți un caz de utilizare, alegeți un model, pregătiți datele, găsiți un sponsor. Rularea unui sistem în producție este cu totul altceva.

Diferența este ca și cum ai sări într-o piscină și ai sări din stratosferă, așa cum a făcut Felix Baumgartner în 2012. Aceeași fizică de bază, condiții complet diferite – și consecințe foarte diferite în caz de eșec.

În producție, inteligența artificială intră în fluxurile de luare a deciziilor reale, interacționează cu clienții și creează consecințe legale și operaționale. Acolo încep să apară lacune – nu în model, ci în modul în care este guvernat.

Europa face acest lucru vizibil mai devreme decât majoritatea regiunilor. Reglementările precum Actul privind inteligența artificială al UE, GDPR și NIS2 nu încetinesc adoptarea – ele expun dacă organizațiile pot opera sisteme de inteligență artificială sub constrângeri reale.

În 2025, 55% din întreprinderile mari ale UE erau deja în curs de utilizare a inteligenței artificiale. Adoptarea se desfășoară deja la scară largă. Provocarea constă în ceea ce se întâmplă după implementare.

În acel moment, încep să apară întrebări operaționale de bază. Și, adesea, nimeni nu poate răspunde la ele: Cine este responsabil pentru ieșirile și deciziile autonome ale inteligenței artificiale? Ce se întâmplă atunci când sistemul se comportă în moduri neașteptate? Și cine va detecta acest lucru înainte ca daunele să ajungă în mass-media?

Răspunderea revine companiei, nu tehnologiei. Chatbotul Air Canada a oferit unui client informații incorecte despre tarifele de deces. Clientul s-a bazat pe acestea și a fost ulterior refuzat o rambursare. Un tribunal a hotărât că compania aeraiană era responsabilă – chatbotul nu era o entitate separată.

Același problemă, dintr-un unghi diferit: sistemul McHire al companiei McDonald’s a expus date sensibile de la aproape 64.000 de solicitanți. Cauza nu a fost un atac sofisticat – contul de administrator a folosit “admin” și “123456”. Sistemul părea avansat. Eșecul a fost elementar.

Când atașați guvernarea la un sistem live, este deja prea târziu. Implementarea unui sistem este o decizie tehnică. Operarea lui în mod fiabil este o decizie organizațională. Și acea parte este cea mai subestimată de majoritatea companiilor.

Cine deține, de fapt, riscul inteligenței artificiale? Nimeni.

Acesta este nucleul problemei și, paradoxal, cel mai puțin discutat. IT gestionează infrastructura. Departamentul juridic se ocupă de conformitate. Echipele de business promovează cazurile de utilizare. Dar nimeni nu deține riscul integral al inteligenței artificiale.

Acest lucru creează două probleme imediate. Decizia de “pornire” se încetinește – pentru că nimeni nu vrea să-și asume răspunderea. Și decizia de “oprire” se încetinește la fel – pentru că nimeni nu știe cine poate.

Datele reflectă acest lucru. Mai puțin de 10% din cazurile de utilizare a inteligenței artificiale ajung de la pilot la producție, și majoritatea organizațiilor se luptă să genereze un impact comercial măsurabil. În același timp, multe deja implementează inteligență artificială – dar, conform unui studiu de maturitate a guvernării, doar 7% aveau o guvernare bine structurată și aplicată consecvent.

De ce se întâmplă acest lucru atât de consistent? Pentru că majoritatea cadrului și a politicilor corporatiste definesc ce ar trebui să se întâmple – nu cine este responsabil atunci când contează. Când un sistem începe să producă ieșiri incorecte la miezul nopții într-o vineri, întrebarea nu este teoretică. Cine acționează? Și cine are autoritatea de a decide?

Acest lucru se înrăutățește odată cu scara. Un sistem poate fi gestionat informal. Când aveți treizeci, responsabilitatea se fragmentează pe echipe, și nimeni nu are imaginea de ansamblu.

Banca Commonwealth din Australia oferă un exemplu clar. Banca a înlocuit 45 de lucrători din serviciul clienților cu roboți vocali AI, așteptându-se ca cererea să scadă. Nu a scăzut. Volumul apelurilor a crescut, managerii au intervenit pentru a gestiona surplusul, și banca a trebuit să reangajeze toți cei 45 de angajați. Când a fost contestată, nu a putut demonstra că automatizarea a redus volumul de lucru.

Nimeni nu a validat ipotezele înainte de implementare. Nimeni nu a deținut rezultatul atunci când acele ipoteze au eșuat. Acesta este ceea ce arată un vid de responsabilitate în practică.

Având reguli nu este suficient. Aveți nevoie de un mecanism

Majoritatea organizațiilor nu lipsesc politici. Lipsesc sisteme care funcționează atunci când ceva merge prost.

O politică definește ce ar trebui să se întâmple. Un mecanism determină ce se întâmplă realmente – atunci când un model produce ieșiri incorecte, atunci când un furnizor modifică ceva în fundal, sau atunci când un sistem începe să se comporte în moduri neașteptate.

Această diferență devine vizibilă în producție – atunci când deciziile trebuie luate în condiții reale.

Aceste eșecuri urmează o dinamică consistentă. În fiecare caz, aceleași lacune operaționale apar – doar în forme diferite.

Proprietatea vine primul

Fiecare sistem de inteligență artificială implementat are nevoie de un proprietar clar responsabil – o persoană, nu o echipă sau un departament, cu autoritatea de a aproba, a pune pe pauză și a opri.

Fără aceasta, nici o implementare rapidă, nici o intervenție în siguranță nu este posibilă. Așa cum s-a văzut în exemplul Băncii Commonwealth, lipsa unei proprietăți clare conduce direct la eșec operațional.

Claritatea datelor și a aspectelor legale lipsește adesea

Multe sisteme intră în funcțiune fără fluxuri de date documentate, fără o bază legală verificată sau fără claritate cu privire la obligațiile care se aplică odată ce sistemul este în producție.

Acțiunea regulatorului italian împotriva DeepSeek în 2025 ilustrează acest lucru clar. Problema nu a fost calitatea modelului – ci incapacitatea de a explica cum a fost gestionată datele cu caracter personal. Rezultatul a fost o întrerupere bruscă a serviciului pentru utilizatorii europeni.

Testarea rareori reflectă utilizarea din lumea reală

Sistemele sunt adesea evaluate pe scenarii în care funcționează bine, dar nu pe cazurile în care eșecul ar conta cel mai mult.

Chatbotul MyCity este un exemplu clar. Cazurile de bază de margine – în jurul legilor muncii, discriminării în domeniul locuințelor sau regulamentelor de plată – nu au fost detectate înainte de implementare. Odată ce au fost expuse unor utilizatori reali, aceste eșecuri au devenit publice imediat.

Testarea nu este doar despre performanță – este despre identificarea punctelor în care sistemul eșuează înainte ca utilizatorii, regulatorii sau jurnaliștii să o facă.

Intervenția este neclară sau prea lentă

Chiar și atunci când problemele sunt vizibile, adesea nu există un declanșator clar sau autoritate pentru a pune pe pauză sau a opri sistemul.

Zillow Offers demonstrează acest lucru la scară. Sistemul a folosit un algoritm pentru a prețui și a cumpăra case. Atunci când piața s-a răcit în 2021, sistemul a continuat să cumpere la prețuri inflaționate. Nu a existat un mecanism pentru a detecta deviația la timp, și nici un punct de decizie clar pentru a opri. Rezultatul a fost pierderi de peste 880 de milioane de dolari și închiderea întregii divizii.

Monitorizarea nu este proprietate

Monitorizarea este adesea redusă la tablouri de bord, dar acesta nu este ceea ce preveni eșecurile.

Ceea ce contează este responsabilitatea definită: cine urmărește semnalele, ce declanșează escaladarea, și cine este așteptat să acționeze.

Cazul Deloitte Australia arată ce se întâmplă atunci când lipsește acest lucru. Un raport guvernamental a inclus citate și referințe legale incorecte, deoarece nimeni nu a fost responsabil în mod explicit pentru verificarea ieșirilor înainte de livrare. Rezultatul a fost o rambursare parțială și daune de reputație.

Inteligența artificială agențială: Ce vine va fi și mai greu

Inteligența artificială generativă produce ieșiri. Inteligența artificială agențială ia acțiuni. Acest lucru schimbă complet riscul.

În loc de un singur răspuns de evaluat, o singură instrucțiune poate declanșa o serie de decizii pe sisteme – apeluri API, acces la date, tranzacții, actualizări – adesea fără intervenție umană la fiecare pas.

Când ceva merge prost, problema nu mai este acuratețea. Este urmărirea. Care pas a cauzat problema? Ce date au fost folosite? Cine a autorizat acțiunea? În multe cazuri, aceste întrebări sunt greu de răspuns după fapt.

Acesta este punctul în care lacunele existente devin critice. Proprietatea neclară, monitorizarea slabă și lipsa intervenției nu numai că persistă – ci se și înmulțesc. Un răspuns eronat poate fi corectat. O acțiune eronată poate crea consecințe înainte ca cineva să observe.

Semnalele timpurii indică deja în această direcție. Gartner estimează că peste 40% din proiectele de inteligență artificială agențială vor fi anulate până la sfârșitul anului 2027 – nu din cauza limitărilor modelului, ci pentru că organizațiile se luptă să controleze costurile, riscurile și rezultatele. Acesta este același model pe care îl vedem cu inteligența artificială generativă după implementare. Doar că, de data aceasta, cu riscuri mai mari.

Regulatorii răspund deja cu un principiu simplu: automatizarea nu elimină răspunderea. Pentru organizații, acest lucru creează o implicație clară: dacă proprietatea și controlul sunt neclare astăzi, trecerea la sisteme agențiale nu va rezolva problema. Va amplifica-o.

Operați-o – sau pierdeți-o

Inteligența artificială nu mai este constrângerea. Modelele sunt disponibile pe scară largă, capabile și din ce în ce mai mult comodificate. Adevăratul diferențiator nu este dacă o organizație poate construi inteligență artificială – ci dacă poate opera în mod fiabil odată ce este lansată.

Acesta este punctul în care majoritatea eșecurilor apar – în modul în care sistemele sunt operate, nu în modul în care sunt construite. Organizațiile care vor reuși nu vor fi cele cu modelele cele mai avansate. Vor fi cele cu structurile operaționale cele mai clare în jurul lor.

Acest lucru poate fi testat direct. Luați cel mai important sistem de inteligență artificială și răspundeți la trei întrebări:

• Cine poate să-l oprească?
• Cum știți când funcționează defectuos?
• Ce se întâmplă atunci când funcționează defectuos?

Dacă aceste răspunsuri sunt neclare, sistemul nu este pregătit pentru producție.

Modelul poate fi. Organizația nu.