Revoluționarea sănătății: explorarea impactului și viitorului modelelor de limbaj mari în medicină

Integrarea și aplicarea modelelor de limbaj mari (LLM) în medicină și sănătate a fost un subiect de interes și dezvoltare semnificativ.

După cum s-a remarcat la Conferința globală a Societății de Informatică și Management în Sănătate și alte evenimente notabile, companii precum Google (GOOGL ) conduc încărcătura în explorarea potențialului inteligenței artificiale generative în sănătate. Inițiativele lor, cum ar fi Med-PaLM 2, evidențiază evoluția peisajului soluțiilor de sănătate conduse de IA, în special în domenii precum diagnostice, îngrijirea pacienților și eficiența administrativă.

Med-PaLM 2 al Google, un model de limbaj mare pionier în domeniul sănătății, a demonstrat capacități impresionante, obținând în mod remarcabil un nivel “expert” la întrebări de tip examen medical din SUA. Acest model și altele similare promit să revoluționeze modul în care profesioniștii din sănătate accesează și utilizează informații, potențial îmbunătățind acuratețea diagnostică și eficiența îngrijirii pacienților.

Însă, alături de aceste progrese, s-au ridicat preocupări cu privire la fezabilitatea și siguranța acestor tehnologii în medii clinice. De exemplu, dependența de surse vaste de date de internet pentru antrenarea modelului, deși benefică în anumite contexte, nu este întotdeauna adecvată sau fiabilă pentru scopuri medicale. Așa cum subliniază Nigam Shah, PhD, MBBS, șeful departamentului de știință a datelor pentru Stanford Health Care, întrebările cheie pe care trebuie să le punem sunt despre performanța acestor modele în medii medicale reale și impactul lor real asupra îngrijirii pacienților și eficienței sănătății.

Perspectiva dr. Shah subliniază nevoia unei abordări mai personalizate pentru utilizarea modelelor de limbaj mari în medicină. În loc de modele cu scop general, antrenate pe date de internet largi, el sugerează o strategie mai focalizată, în care modelele sunt antrenate pe date medicale specifice și relevante. Această abordare se aseamănă cu antrenarea unui intern medical – oferindu-le sarcini specifice, supraveghind performanța lor și permănându-le gradual mai multă autonomie pe măsură ce demonstrează competență.

În linie cu aceasta, dezvoltarea Meditron de către cercetătorii de la EPFL prezintă o evoluție interesantă în domeniu. Meditron, un model de limbaj mare cu sursă deschisă, special conceput pentru aplicații medicale, reprezintă un pas semnificativ înainte. Antrenat pe date medicale curate din surse reputabile, cum ar fi PubMed și ghiduri clinice, Meditron oferă un instrument mai focalizat și, posibil, mai fiabil pentru practicienii medicali. Natura sa cu sursă deschisă nu numai că promovează transparența și colaborarea, dar permite și îmbunătățirea și testarea continuă de către comunitatea de cercetare mai largă.

MEDITRON-70B-achieves-an-accuracy-of-70.2-on-USMLE-style-questions-in-the-MedQA-4-options-dataset

Dezvoltarea unor instrumente precum Meditron, Med-PaLM 2 și altele reflectă o recunoaștere crescândă a cerințelor unice ale sectorului sănătății în ceea ce privește aplicațiile de IA. Accentul pe antrenarea acestor modele pe date medicale relevante și de înaltă calitate, precum și asigurarea siguranței și fiabilității lor în medii clinice, este foarte crucial.

Mai mult, includerea unor seturi de date diverse, cum ar fi cele din contexte umanitare, precum Comitetul Internațional al Crucii Roșii, demonstrează o sensibilitate față de nevoile și provocările variate din sănătatea globală. Această abordare se aliniază cu misiunea mai largă a multor centre de cercetare IA, care urmăresc să creeze instrumente de IA care nu numai că sunt avansate tehnologic, dar și social responsabile și benefice.

Articolul intitulat “Modelele de limbaj mari încorporează cunoașterea clinică” publicat recent în Nature, explorează modul în care modelele de limbaj mari (LLM) pot fi utilizate eficient în medii clinice. Cercetarea prezintă perspective și metode inovatoare, oferind lumină asupra capacităților și limitărilor LLM în domeniul medical.

Domeniul medical se caracterizează prin complexitate, cu o gamă vastă de simptome, boli și tratamente care evoluează constant. Modelele de limbaj mari nu numai că trebuie să înțeleagă această complexitate, dar și să țină pasul cu cunoașterea medicală cea mai recentă și cu ghidurile medicale.

Esența acestei cercetări se învârte în jurul unui nou benchmark curat numit MultiMedQA. Acest benchmark combină șase seturi de date existente de întrebări și răspunsuri medicale cu un nou set de date, HealthSearchQA, care cuprinde întrebări medicale frecvent căutate online. Această abordare cuprinzătoare urmărește să evalueze LLM în diverse dimensiuni, incluzând factualitate, înțelegere, raționament, posibilă vătămare și prejudecată, abordând astfel limitările evaluărilor automate anterioare care s-au bazat pe benchmarke-uri limitate.

MultiMedQA, un benchmark pentru răspunsuri la întrebări medicale care acoperă examene medicale

Cheia studiului o reprezintă evaluarea modelului Pathways Language Model (PaLM), un LLM cu 540 de miliarde de parametri, și a variantei sale de instruire, Flan-PaLM, pe MultiMedQA. Remarcabil, Flan-PaLM atinge o acuratețe fără precedent pe toate seturile de date multiple alese din MultiMedQA, incluzând o acuratețe de 67,6% pe MedQA, care cuprinde întrebări de tip examen medical din SUA. Această performanță marchează o îmbunătățire semnificativă față de modelele anterioare, depășind precedentul nivel de performanță cu peste 17%.

MedQA

Format: întrebare și răspuns (Q + A), multiple choice, domeniu deschis.

Exemplu de întrebare: Un bărbat de 65 de ani cu hipertensiune vine la medic pentru un examen medical de rutină. Medicamentele actuale includ atenolol, lisinopril și atorvastatin. Pulsul lui este de 86 bătăi pe minut, respirațiile sunt de 18 pe minut, iar tensiunea arterială este de 145/95 mmHg. Examenul cardiac revelează un murmur diastolic. Care dintre următoarele este cea mai probabilă cauză a acestui examen fizic?

Răspunsuri (răspuns corect în bold): (A) Scăderea complianței ventriculului stâng, (B) Degenerarea mixomatoasă a valvei mitrale (C) Inflamația pericardului (D) Dilatarea rădăcinii aortice (E) Îngroșarea foilor valvei mitrale.

Studiul identifică, de asemenea, lacune critice în performanța modelului, în special în răspunsurile la întrebări medicale ale consumatorilor. Pentru a aborda aceste probleme, cercetătorii introduc o metodă numită ajustare a instrucțiunilor. Această tehnică aliniază eficient LLM cu noi domenii utilizând câteva exemple, rezultând crearea Med-PaLM. Modelul Med-PaLM, deși prezintă o performanță încurajatoare și arată îmbunătățiri în înțelegere, memorie și raționament, totuși rămâne în urma clinicienilor.

Un aspect notabil al acestei cercetări este cadrul de evaluare umană detaliat. Acest cadru evaluează răspunsurile modelului pentru acord cu consensul științific și rezultate potențial dăunătoare. De exemplu, în timp ce doar 61,9% din răspunsurile lungi ale lui Flan-PaLM s-au aliniat cu consensul științific, această cifră a crescut la 92,6% pentru Med-PaLM, comparabil cu răspunsurile generate de clinicieni. Similar, potențialul de a provoca rezultate dăunătoare a fost semnificativ redus în răspunsurile lui Med-PaLM comparativ cu Flan-PaLM.

Evaluarea umană a răspunsurilor lui Med-PaLM a subliniat competența sa în mai multe domenii, aliniindu-se strâns cu răspunsurile generate de clinicieni. Acest lucru subliniază potențialul lui Med-PaLM ca instrument de sprijin în medii clinice.

Cercetarea discutată mai sus se adâncește în complexitățile îmbunătățirii Modelelor de Limbaj Mare (LLM) pentru aplicații medicale. Tehnicile și observațiile din acest studiu pot fi generalizate pentru a îmbunătăți capacitățile LLM în diverse domenii. Să explorăm aceste aspecte cheie:

Ajustarea instrucțiunilor îmbunătățește performanța

• Apllicare generalizată: Ajustarea instrucțiunilor, care implică ajustarea LLM cu instrucțiuni sau ghiduri specifice, a demonstrat o îmbunătățire semnificativă a performanței în diverse domenii. Această tehnică poate fi aplicată și în alte domenii, cum ar fi cel juridic, financiar sau educațional, pentru a îmbunătăți acuratețea și relevanța ieșirilor LLM.

Scară de dimensiune a modelului

• Implicații mai largi: Observația că scara dimensiunii modelului îmbunătățește performanța nu este limitată la răspunsurile la întrebări medicale. Modelele mai mari, cu mai mulți parametri, au capacitatea de a procesa și genera răspunsuri mai nuanțate și complexe. Această scalare poate fi benefică în domenii precum serviciul clienți, scrierea creativă și suportul tehnic, unde înțelegerea și generarea de răspunsuri nuanțate sunt cruciale.

Provocarea lanțului de gândire (COT)

• Utilizare în diverse domenii: Utilizarea COT, deși nu întotdeauna îmbunătățește performanța în seturile de date medicale, poate fi valoroasă în alte domenii unde se necesită rezolvarea de probleme complexe. De exemplu, în scenarii de depanare tehnică sau luare de decizii complexe, COT poate ghida LLM să proceseze informația pas cu pas, ducând la ieșiri mai precise și mai bine argumentate.

Consistență pentru acuratețe îmbunătățită

• Apllicări mai largi: Tehnica consistenței, în care se generează mai multe ieșiri și se selectează răspunsul cel mai consistent, poate îmbunătăți semnificativ performanța în diverse domenii. În domenii precum finanțele sau cele juridice, unde acuratețea este esențială, această metodă poate fi utilizată pentru a verifica și a îmbunătăți fiabilitatea ieșirilor generate.

Incertitudine și predicție selectivă

• Relevanță transversală: Comunicarea estimărilor de incertitudine este crucială în domenii unde informația inexactă poate avea consecințe grave, cum ar fi sănătatea și dreptul. Utilizarea capacității LLM de a exprima incertitudine și de a selecta predicțiile atunci când încrederea este scăzută poate fi un instrument crucial în aceste domenii pentru a preveni răspândirea informației inexacte.

Aplicarea reală a acestor modele se extinde dincolo de răspunsurile la întrebări. Ele pot fi utilizate pentru educația pacienților, asistență în procesele de diagnosticare și chiar în instruirea studenților la medicină. Cu toate acestea, implementarea lor trebuie gestionată cu atenție pentru a evita dependența de IA fără supraveghere umană corespunzătoare.

Pe măsură ce cunoașterea medicală evoluează, modelele de limbaj mari trebuie să se adapteze și să învețe. Acest lucru necesită mecanisme de învățare și actualizare continuă, asigurând că modelele rămân relevante și precise în timp.