Cele mai costisitoare patru eșecuri ale inteligenței artificiale testate inadecvat

Când companiile implementează inteligența artificială fără o supraveghere umană riguroasă, ele solicită în esență un sistem automatizat nedeterminist să se valideze singur.

Problema nu constă neapărat în faptul că inteligența artificială este slabă la testare. Inteligența artificială este excelentă la efectuarea acțiunilor care au fost făcute anterior, în special urmând regulile pe care le-ați stabilit în mod explicit. Dar eșecurile care afectează în realitate marca dvs.? Acestea trăiesc în spațiile în care judecata umană contează cel mai mult. O halucinație despre o politică de returnare. O răspuns off-brand la o plângere sensibilă. Un gard de siguranță care nu rezistă la presiune.

Cu 70% din clienți dispuși să schimbe după o singură interacțiune proastă cu inteligența artificială, pariul este ridicat. Încă, majoritatea companiilor livrează inteligență artificială validată de unelte învechite sau automate, construite pentru software determinist. Acest stivă nu a fost niciodată proiectat pentru a prinde eșecurile care îi alungă în realitate pe oameni.

De-a lungul angajamentelor pe care Teslio le-a derulat pentru echipele de întreprindere, patru moduri de eșec reprezintă majoritatea daunelor vizibile pentru clienți. Niciunul dintre ele nu este prins de testarea automată singură.

1. Garduri de siguranță și securitate care nu protejează în realitate

Un client vă întreabă chatbot-ul dvs. întrebarea potrivită în modul potrivit. Chatbot-ul oferă un articol de 1.000 de dolari pentru 10 dolari. Sau dezvăluie informații pe care nu ar trebui să le dezvăluie. Sau încalcă o regulă de bază a afacerii, deoarece nimeni nu a testat condițiile limită.

Riscul este direct. Dauna este imediată și dauna este publică.

Problema reală nu constă doar în automatizare, deși aceasta face parte din ea. Gardurile de siguranță nu sunt standardizate, ele trebuie adaptate contextului dvs. de afaceri specific. Și chiar dacă se respectă cele mai bune practici, gardurile de siguranță rămân vulnerabile. Tehnici precum “jailbreak-uri poetice” ne arată că gardurile de siguranță bine intenționate pot fi manipulate în moduri pe care creatorii lor nu le-au anticipat niciodată. Întrebarea pe care companiile trebuie să o pună nu este “urmează gardul nostru de siguranță standardele industriale?” ci mai degrabă “în ce moduri noi poate fi modelul acesta manipulat?”

Acest lucru necesită gândire adversă. Oameni creativi și curioși care înțeleg atât designul gardului de siguranță, cât și suprafața de atac. Testarea marginilor, testarea la stres, punerea întrebărilor complexe. Acesta este diferența dintre un gard de siguranță care trece testele de conformitate și un gard de siguranță care într-adevăr rezistă.

2. Eșecuri de acuratețe și logică de afaceri ascunse în halucinații

Realitatea este că inteligența artificială halucinează. Ceea ce am învățat este că atunci când aveți expertiză într-un domeniu, observați imediat halucinația. Vedeți direct prin ea.

Dar aici este defectul critic în a te baza doar pe echipa dvs. internă: au puncte oarbe. Când cunoașteți un produs în detaliu, știți exact ce întrebări să puneți pentru a obține răspunsul corect. Nu puteți găsi inexactități dacă nu le căutați. Echipele interne știu cum ar trebui să funcționeze produsul, nu cum funcționează el în realitate pentru utilizatori reali cu modele mentale diferite, contexte diferite și moduri diferite de a rupe ipotezele dvs.

Acolo intervine supravegherea din partea oamenilor care abordează sistemul proaspăt. Ei nu validează doar că inteligența artificială face ceea ce i-ați spus să facă; ei aduc la suprafață probleme care ar putea fi de interes pentru diferite departamente și evidențiază zonele de eșec din lumea reală.

Când companiile încep să construiască pe baza principalelor modele de limbaj, când adaugă propriile procese și fluxuri de lucru, cerințele de testare devin și mai critice.

3. Omisiuni de utilizabilitate și experiență a utilizatorului

Se simte corect? Arată corect? Procesarea plății durează puțin prea mult? Răspunsul are tonul potrivit pentru un client frustrat sau ritmul potrivit pentru un utilizator pentru prima dată.

Acestea sunt tipurile de întrebări pe care uneltele automate nu le pot răspunde. Și sunt tipurile de întrebări care contează enorm pentru clienți.

Există o diferență fundamentală între a trece un set de teste și a fi într-adevăr bun. O interacțiune cu inteligența artificială poate verifica toate căsuțele din criteriile dvs. de acceptare și totuși poate fi percepută ca greșită de către un utilizator. Poate fi tehnic corect, dar în mod organizatoric neîndemânatic. Poate furniza informații exacte în cadență sau ton greșit.

Aici este esențială o buclă umană. Aveți nevoie de oameni instruiți să recunoască cum eșuează inteligența artificială, testând în regiunile în care trăiesc clienții dvs., cu dispozitivele și metodele de plată pe care le folosesc în realitate. Cineva care testează pe un iPhone de top în San Francisco nu are aceeași experiență ca cineva care testează pe un Android de nivel mediu cu o conexiune de date nesigură la Jakarta. Fără diversitate în ceea ce privește cei care testează și unde, obțineți rezultate simulate care vor eșua în momentul în care produsul dvs. va întâlni realitatea.

Trebuie să aveți pe cineva care să utilizeze într-adevăr produsul, să gândească într-adevăr la ce înseamnă experiența, să se opună într-adevăr atunci când ceva nu se simte corect.

4. Iluzia expertizei validate

Acesta este cel mai subtil eșec și, poate, cel mai periculos. Când companiile implementează inteligența artificială fără testare adecvată, ele pariază adesea că inteligența artificială a absorbit suficientă cunoaștere pentru a gestiona domeniul în mod corespunzător. Ei presupun că, deoarece inteligența artificială poate suna încrezătoare în legătură cu ceva, probabil știe despre ce vorbește.

Dar există o altă dimensiune a acestui risc. Majoritatea oamenilor care utilizează funcții de inteligență artificială fac aceeași presupunere. Ei nu pun la îndoială ieșirea. Dacă sună autoritar și nu este evident greșit, ei au încredere în ea. Sfaturi medicale proaste. Îndrumări juridice incorecte. Recomandări financiare defecte. Consecințele se acumulează atunci când utilizatorii presupun că inteligența artificială este corectă și nu au niciun motiv să o pună la îndoială.

Inteligența artificială este foarte bună la cunoașterea a ceea ce s-a făcut. Nu este bună la cunoașterea a ceea ce ar trebui făcut în situații noi. Fiecare afacere are situații noi. Fiecare produs are cazuri limită. Fiecare călătorie a clientului are un moment în care răspunsul corect este acela pe care inteligența artificială nu a fost antrenată să-l ofere.

Redefinirea pregătirii pentru lansare

O strategie matură de lansare a inteligenței artificiale necesită depășirea mentalității bazate doar pe automatizare. Implică construirea unui cadru structurat de expertiză umană în buclă.

• Inginerie: Acesta ar trebui să dețină integritatea sistemului, definind ce înseamnă eșecul la nivelul modelului și infrastructurii și unde gardurile de siguranță trebuie să stea.
• Produs: Liderii ar trebui să dețină granițele deciziilor, judecând care decizii sunt luate în mod autonom de inteligența artificială, care necesită aprobare umană și care nu ar trebui să fie atinse deloc.
• Design și Asigurare Calității: Acești profesioniști ar trebui să dețină experiența utilizatorului, dacă utilizatorii înțeleg ce face inteligența artificială, pot recunoaște când este greșită și au recursuri semnificative atunci când este.

Trebuie să acceptăm că, deși inteligența artificială poate crea experiențe incredibile pentru clienții noștri, ea nu-și poate fi propriul judecător și juriu. Responsabilitatea pentru calitatea inteligenței artificiale este una organizațională, distribuită între echipe, ancorată în expertiza umană și bazată pe testarea din lumea reală.