Orice agent AI poate vorbi. Puțini pot fi încredințați

Nevoia de agenți AI în sănătate este urgentă. În întreaga industrie, echipele supraîncărcate de muncă sunt copleșite de sarcini care consumă timp și întârzie îngrijirea pacienților. Clinicienii sunt extenuați, centrele de apel ale plătitorilor sunt supraaglomerate, iar pacienții sunt lăsați să aștepte răspunsuri la preocupările lor imediate.

Agenții AI pot ajuta prin umplerea unor goluri profunde, extinderea disponibilității personalului clinic și administrativ și reducerea epuizării personalului și a pacienților. Dar înainte de a putea face acest lucru, avem nevoie de o bază solidă pentru a construi încrederea în agenții AI. Această încredere nu vine din tonul cald al vocii sau din fluența conversației. Vine din inginerie.

Chiar și atunci când interesul pentru agenții AI explodează și titlurile anunță promisiunea AI-ului agențial, liderii din sănătate – responsabili față de pacienții și comunitățile lor – rămân ezitanți în a implementa această tehnologie la scară largă. Start-up-urile promovează capacități agențiale care variază de la automatizarea unor sarcini banale, cum ar fi programarea întâlnirilor, până la comunicarea și îngrijirea pacienților. Cu toate acestea, majoritatea lor nu au demonstrat încă că aceste interacțiuni sunt sigure.

Mulți dintre ei nu vor reuși niciodată.

Realitatea este că oricine poate crea un agent vocal alimentat de un model de limbaj mare (LLM), să-i dea un ton compătimitor și să scrie un scenariu de conversație care sună convingător. Există multe platforme care oferă astfel de agenți în fiecare industrie. Agenții lor pot arăta și suna diferit, dar toți se comportă la fel – sunt predispuși la halucinații, nu pot verifica fapte critice și lipsesc mecanismele care asigură responsabilitatea.

Această abordare – construirea unui înveliș subțire în jurul unui model LLM fundamental – poate funcționa în industrii precum retail sau ospitalitate, dar va eșua în sănătate. Modelele fundamentale sunt unelte extraordinare, dar sunt în mare parte cu scop general; nu au fost antrenate în mod specific pe protocoale clinice, politici ale plătitorilor sau standarde regulatorii. Chiar și cei mai elocvenți agenți construiți pe aceste modele pot aluneca în teritoriul halucinator, răspunzând la întrebări pe care nu ar trebui să le răspundă, inventând fapte sau neglijând să recunoască atunci când un om trebuie adus în buclă.

Consecințele acestor comportamente nu sunt teoretice. Ele pot confunda pacienții, interfere cu îngrijirea și duce la o re lucru uman costisitor. Acesta nu este un problemă de inteligență. Este o problemă de infrastructură.

Pentru a opera în siguranță, eficient și fiabil în sănătate, agenții AI trebuie să fie mai mult decât doar voci autonome la capătul telefonului. Ei trebuie să fie operați de sisteme proiectate în mod special pentru control, context și responsabilitate. Din experiența mea de a construi astfel de sisteme, iată cum arată acest lucru în practică.

Controlul răspunsului poate halucinațiile să dispară

Agenții AI în sănătate nu pot doar genera răspunsuri plauzibile. Ei trebuie să ofere răspunsuri corecte, de fiecare dată. Acest lucru necesită un spațiu de acțiune controlabil – un mecanism care permite AI-ului să înțeleagă și să faciliteze conversația naturală, dar să asigure că fiecare răspuns posibil este limitat de logica predefinită și aprobată.

Cu parametrii de control ai răspunsului integrați, agenții pot face referire doar la protocoale verificate, proceduri de operare predefinite și standarde regulatorii. Creativitatea modelului este canalizată pentru a ghida interacțiunile, mai degrabă decât pentru a improviza fapte. Acesta este modul în care liderii din sănătate pot asigura că riscul de halucinație este eliminat complet – nu prin testare într-un pilot sau un singur grup focal, ci prin proiectarea riscului de la început.

Grafurile de cunoaștere specializate pot asigura schimburi de încredere

Contextul fiecărei conversații din sănătate este profund personal. Două persoane cu diabet de tip 2 pot locui în același cartier și pot încadra în același profil de risc. Eligibilitatea lor pentru un anumit medicament va varia în funcție de istoricul medical, de ghidul de tratament al medicului, de planul de asigurare și de regulile formularului.

Agenții AI nu numai că au nevoie de acces la acest context, dar au nevoie și să poată raționa cu el în timp real. Un graf de cunoaștere specializat oferă această capacitate. Este o modalitate structurată de reprezentare a informațiilor din multiple surse de încredere care permite agenților să verifice ceea ce aud și să asigure că informațiile pe care le oferă sunt atât precise, cât și personalizate. Agenții fără acest strat ar putea suna informativi, dar sunt de fapt doar urmăriți de fluxuri de lucru rigide și completând spațiile goale.

Sistemele de revizuire robuste pot evalua acuratețea

Un pacient poate închide conversația cu un agent AI și se poate simți satisfăcut, dar munca agentului este departe de a fi terminată. Organizațiile din sănătate au nevoie de asigurarea că agentul nu numai că a produs informații corecte, dar a și înțeles și a documentat interacțiunea. Acolo intervin sistemele automate de post-procesare.

Un sistem de revizuire robust ar trebui să evalueze fiecare și fiecare conversație cu același nivel de atenție pe care l-ar avea un supraveghetor uman cu tot timpul din lume. Ar trebui să poată identifica dacă răspunsul a fost corect, să asigure că informațiile corecte au fost capturate și să determine dacă este necesară o urmărire. Dacă ceva nu este în regulă, agentul ar trebui să poată escalada la un om, dar dacă totul pare în ordine, sarcina poate fi bifată cu încredere.

Dincolo de aceste trei elemente fundamentale necesare pentru a inginia încrederea, orice infrastructură de AI agențială are nevoie de un cadru robust de securitate și conformitate care protejează datele pacienților și asigură că agenții operează în limitele reglementate. Acest cadru ar trebui să includă respectarea strictă a standardelor industriale comune, cum ar fi SOC 2 și HIPAA, dar ar trebui să aibă, de asemenea, procese integrate pentru testarea prejudecăților, redactarea informațiilor de sănătate protejate și reținerea datelor.

Aceste garanții de securitate nu doar verifică cutiile de conformitate. Ele formează coloana vertebrală a unui sistem de încredere care poate asigura că fiecare interacțiune este gestionată la nivelul pe care îl așteaptă pacienții și furnizorii.

Industria sănătății nu are nevoie de mai multă propagandă AI. Are nevoie de o infrastructură de AI fiabilă. În cazul AI-ului agențial, încrederea nu va fi câștigată atât de mult pe cât va fi inginerită.