Protege lansează teste independente pentru IA în domeniul sănătății, în timp ce Disease Odyssey scoate la iveală lacunele de diagnostic

Protege lansează evaluări independente ale IA în domeniul sănătății, supunând modelele unor teste bazate pe cazuri de pacienți pe care nu le-au mai întâlnit. Primul său etalon de evaluare, Disease Odyssey, oferă o primă indicație a importanței acestui demers: potrivit companiei, modelele de top au identificat afecțiuni precum apneea în somn și anemia în numai 53%–69% dintre cazuri, pe baza istoricului medical al pacienților.

Lansarea din 21 octombrie include și evaluări realizate împreună cu Xlue AI și Standard Model Biomedicine. Împreună, rezultatele răspund la două întrebări importante pentru spitale și dezvoltatori: dacă un model poate extrage semnale clinice utile din dosare reale și cât costă generarea acestor predicții.

Propunerea Protege este să mute o parte mai mare a acestei evaluări în afara organizațiilor care construiesc modelele. Compania concepe, desfășoară și evaluează teste folosind dosare medicale protejate pentru a asigura confidențialitatea și răspunsuri verificate de medici, oferindu-le dezvoltatorilor o modalitate de a identifica punctele slabe înainte de a face afirmații mai ample despre performanță.

Un test diferit de cel al întrebărilor din examenele medicale

O întrebare medicală la care diagnosticul este formulat clar diferă de istoricul unui pacient, consemnat de-a lungul mai multor consultații. Simptomele se dezvoltă în timp, dosarele pot fi incomplete, iar indiciul decisiv se poate pierde printre informații mai puțin relevante. Disease Odyssey se concentrează pe recunoașterea bolii înainte de stabilirea diagnosticului, pe baza acestor istorice medicale longitudinale.

Intervalul raportat de 53%–69% se referă la cazurile și afecțiunile testate, nu la IA din domeniul sănătății în ansamblu. Anunțul Protege nu oferă suficiente detalii despre dimensiunea eșantioanelor, modelele exacte folosite pentru comparație sau incertitudinea rezultatelor, astfel încât să susțină o ierarhizare mai amplă. Totuși, arată că, în cadrul primului etalon de evaluare al companiei, există încă mult loc pentru îmbunătățiri.

„IA în domeniul sănătății avansează rapid, dar metodele de evaluare nu au ținut pasul”, a declarat Bobby Samuels, cofondator și director general al Protege, în anunț.

Cum separă Protege testarea de dezvoltare

Protege își descrie procesul ca fiind dublu-orb: dezvoltatorii modelelor nu văd în prealabil datele sau întrebările despre pacienți, iar Protege evaluează sistemele fără să știe cum au fost construite. În acest context, termenul descrie modul de organizare a evaluării, nu un studiu clinic randomizat.

Este important ca materialele de testare să nu fie folosite în procesul de dezvoltare, deoarece expunerea la întrebările dintr-un etalon de evaluare poate umfla performanța aparentă. Un model care a întâlnit un răspuns în timpul antrenării poate părea mai capabil decât este atunci când se confruntă cu un caz cu adevărat nou.

Platforma de evaluare a IA în domeniul sănătății a companiei adaugă mai multe mecanisme practice de control. Aceasta descrie cazuri de testare protejate și păstrate separat, sarcini și criterii de evaluare versionate, precum și analiza tiparelor de eșec și a populațiilor afectate. Versionarea face comparațiile dintre versiunile succesive ale unui model mai relevante: un scor mai mare este mai ușor de interpretat atunci când sarcina și regulile de evaluare nu s-au schimbat pe nesimțite.

Platforma folosește informații corelate, printre care dosare electronice de sănătate, note clinice, imagistică, rezultate anatomopatologice, cereri de decontare și rezultate clinice. Data Lab transformă întrebările clinice în sarcini de evaluare și răspunsuri de referință. Această combinație urmărește să testeze modul în care modelele folosesc contextul clinic, nu doar dacă reproduc fapte medicale izolate.

Modelele specializate concurează atât la performanță, cât și la cost

Evaluările asociate examinează sarcini diferite, așa că rezultatele lor trebuie analizate separat de cele ale Disease Odyssey.

Într-o colaborare cu Standard Model Biomedicine, Protege a evaluat predicții privind supraviețuirea în cazul cancerului de sân și al cancerului pulmonar, precum și timpul până la următorul tratament al pacientului. Compania afirmă că modelul specializat a avut rezultate competitive față de sistemele de top, la un cost de 36–170 de ori mai mic pentru fiecare predicție.

O evaluare separată a modelului HealthSAW de la Xlue AI a analizat riscuri viitoare legate de cancer, boli cardiovasculare și afecțiuni neurologice. Potrivit Protege, HealthSAW a depășit modelele de top la 14 dintre cele 16 teste, la un cost per pacient mai mic de 0,1% din costul acestora.

Acestea sunt comparații specifice anumitor sarcini, raportate de Protege, și nu demonstrează că un singur model este cel mai bun în orice context clinic. Anunțul nu detaliază metodologia completă de calculare a costurilor. Costurile mai mici ale predicțiilor ar putea face mai practice screeningul repetat sau analiza la scară largă, însă costurile implementării depind și de integrare, supraveghere și de volumul de muncă generat de rezultatele incorecte.

Evaluarea trebuie să țină pasul cu actualizările modelelor

Activitatea mai amplă a Protege include furnizarea de date pentru dezvoltarea IA, astfel că separarea datelor de dezvoltare de cele de evaluare este o componentă importantă a abordării sale. Materialele companiei pun accentul pe proveniență, acces controlat și actualizarea cazurilor de pacienți, ca modalități de a menține utilitatea testării în timp.

Compania intenționează să extindă evaluările în domenii precum anatomia patologică, dermatologia, oncologia și fluxurile de lucru administrative. Scopul său este să creeze un proces repetabil, care poate fi reluat pe măsură ce modelele se schimbă, în locul unui singur scor asociat permanent unui produs.

Acest lucru este util atât pentru cumpărători, cât și pentru cei care dezvoltă modelele. Un spital trebuie să știe dacă un model actualizat funcționează în continuare pentru populația de pacienți pe care o deservește și în fluxul său de lucru. Un dezvoltator are nevoie de mai mult decât un scor mediu: trebuie să înțeleagă în ce cazuri eșuează modelul și dacă o îmbunătățire într-un domeniu generează puncte slabe în altul.

Testarea independentă poate face aceste discuții mai concrete, însă performanța retrospectivă la testele de referință nu echivalează cu un beneficiu demonstrat în practica clinică. Studiile prospective, performanța în diferite grupuri de pacienți, ratele rezultatelor fals pozitive și fals negative, precum și efectele asupra volumului de muncă al personalului clinic rămân componente importante ale dovezilor.

Lansarea serviciului Protege pune o întrebare mai incisivă în fața companiilor din domeniul IA în sănătate: cum se comportă sistemul când cazurile nu îi sunt familiare și altcineva stabilește testul? Valoarea noului serviciu va depinde de măsura în care metodele și rezultatele sale ajută organizațiile să răspundă clar la această întrebare — și de consecvența cu care testele scot la iveală problemele pe care demonstrațiile atent pregătite nu le evidențiază.