Orice agent AI poate vorbi. Puțini pot fi încrediñați

Necesitatea agenților AI în sănătate este urgentă. În întreaga industrie, echipele suprasolicitate sunt copleșite de sarcini care consumă mult timp și care întârzie îngrijirea pacienților. Clinicienii sunt extenuați, centrele de apel ale plătitorilor sunt copleșite, iar pacienții sunt lăsați să aștepte răspunsuri la preocupările lor imediate.

Agenții AI pot ajuta prin umplerea unor lacune profunde, extinderea sferei de acțiune și a disponibilității personalului clinic și administrativ și reducerea epuizării personalului medical și a pacienților. Dar înainte de a putea face acest lucru, avem nevoie de o bază solidă pentru a construi încrederea în agenții AI. Această încredere nu vine din tonul cald al vocii sau din fluența conversației. Vine din inginerie.

Chiar și atunci când interesul pentru agenții AI explodează și titlurile de știri proclamă promisiunea AI-ului agențial, liderii din sănătate – responsabili față de pacienții și comunitățile lor – rămân ezitanți în a implementa această tehnologie la scară largă. Start-up-urile promovează capacități agențiale care variază de la automatizarea unor sarcini banale, cum ar fi programarea întâlnirilor, până la comunicarea și îngrijirea pacienților cu atenție ridicată. Cu toate acestea, majoritatea nu au reușit încă să demonstreze că aceste interacțiuni sunt sigure.

Mulți dintre ei nu vor reuși niciodată.

Realitatea este că oricine poate crea un agent vocal alimentat de un model de limbaj mare (LLM), să-i dea un ton compătimitor și să-i scrie un scenariu de conversație care sună convingător. Există multe platforme de acest fel care-și promovează agenții în toate industriile. Agenții lor pot arăta și suna diferit, dar toți se comportă la fel – sunt predispuși la halucinații, nu pot verifica fapte critice și lipsesc mecanismele care asigură răspunderea.

Această abordare – construirea unui ambalaj subțire în jurul unui model de bază LLM – poate funcționa în industrii precum retail sau ospitalitate, dar va eșua în sănătate. Modelele de bază sunt instrumente extraordinare, dar sunt în mare parte general-purpose; nu au fost antrenate în mod specific pe protocoale clinice, politici de plată sau standarde regulatorii. Chiar și cei mai elocvenți agenți construiți pe aceste modele pot aluneca în teritoriul halucinator, răspunzând la întrebări pe care nu ar trebui, inventând fapte sau neglijând să recunoască atunci când este nevoie de implicarea unui om.

Consecințele acestor comportamente nu sunt teoretice. Pot confunda pacienții, pot interfera cu îngrijirea și pot duce la o re lucru uman costisitor. Acesta nu este un problema de inteligență. Este o problemă de infrastructură.

Pentru a funcționa în siguranță, eficient și fiabil în sănătate, agenții AI trebuie să fie mai mult decât doar voci autonome la celălalt capăt al telefonului. Ei trebuie să fie operați de sisteme proiectate în mod special pentru control, context și răspundere. Din experiența mea de a construi aceste sisteme, iată cum arată acest lucru în practică.

Controlul răspunsului poate face ca halucinațiile să devină inexistente

Agenții AI în sănătate nu pot doar genera răspunsuri plauzibile. Ei trebuie să ofere răspunsuri corecte, de fiecare dată. Acest lucru necesită un spațiu de acțiune controlabil – un mecanism care permite AI-ului să înțeleagă și să faciliteze conversația naturală, dar să asigure că fiecare răspuns posibil este limitat de logica predefinită și aprobată.

Cu parametrii de control ai răspunsului integrați, agenții pot face referire doar la protocoale verificate, proceduri de operare predefinite și standarde regulatorii. Creativitatea modelului este canalizată pentru a ghida interacțiunile, mai degrabă decât pentru a improviza fapte. Acesta este modul în care liderii din sănătate pot asigura că riscul de halucinație este eliminat în întregime – nu prin testare într-un pilot sau într-un singur grup focal, ci prin proiectarea riscului de la bun început.

Grafurile de cunoaștere specializate pot asigura schimburi de încredere

Contextul fiecărei conversații de sănătate este profund personal. Două persoane cu diabet de tip 2 pot locui în același cartier și pot avea același profil de risc. Eligibilitatea lor pentru un anumit medicament va varia în funcție de istoricul medical, de ghidul de tratament al medicului, de planul de asigurare și de regulile formularului.

Agenții AI nu numai că au nevoie de acces la acest context, dar au nevoie și să poată raționa cu el în timp real. Un graf de cunoaștere specializat oferă această capacitate. Este o modalitate structurată de reprezentare a informațiilor din multiple surse de încredere care permite agenților să verifice ceea ce aud și să asigure că informațiile pe care le oferă sunt atât precise, cât și personalizate. Agenții fără acest strat pot suna informativi, dar de fapt urmează doar fluxuri de lucru rigide și completează spațiile goale.

Sistemele robuste de examinare pot evalua acuratețea

Un pacient poate închide conversația cu un agent AI și se poate simți satisfăcut, dar lucrul agentului este departe de a fi terminat. Organizațiile de sănătate au nevoie de asigurarea că agentul nu numai că a produs informații corecte, dar a înțeles și a documentat interacțiunea. Acolo intervin sistemele automate de post-procesare.

Un sistem robust de examinare trebuie să evalueze fiecare și fiecare conversație cu același nivel de atenție pe care l-ar avea un supraveghetor uman cu toată lumea din lume. Trebuie să poată identifica dacă răspunsul a fost corect, să asigure că informațiile corecte au fost capturate și să determine dacă este necesară o urmărire. Dacă ceva nu este în regulă, agentul trebuie să poată escalada la un om, dar dacă totul este în ordine, sarcina poate fi bifată cu încredere.

Dincolo de aceste trei elemente fundamentale necesare pentru a proiecta încrederea, fiecare infrastructură de AI agențială are nevoie de un cadru robust de securitate și conformitate care protejează datele pacienților și asigură că agenții funcționează în limitele reglementate. Acest cadru trebuie să includă respectarea strictă a standardelor industriale comune, cum ar fi SOC 2 și HIPAA, dar trebuie să aibă, de asemenea, procese integrate pentru testarea prejudecăților, redactarea informațiilor de sănătate protejate și reținerea datelor.

Aceste măsuri de securitate nu doar verifică cutiile de conformitate. Ele formează coloana vertebrală a unui sistem de încredere care poate asigura că fiecare interacțiune este gestionată la nivelul pe care îl așteaptă pacienții și furnizorii.

Industria sănătății nu are nevoie de mai multă propagandă AI. Are nevoie de o infrastructură de AI fiabilă. În cazul AI-ului agențial, încrederea nu va fi câștigată atât de mult pe cât va fi proiectată.