Revolucioniranje zdravstva: Istraživanje utjecaja i budućnosti modela velikih jezika u medicini

Integracija i primjena velikih jezičnih modela (LLM) u medicini i zdravstvu bila je tema od značajnog interesa i razvoja.

Kao što je navedeno u Globalna konferencija o upravljanju informacijama u zdravstvu i društvu sustava i drugih značajnih događaja, tvrtke poput Googlea vodeće su u istraživanju potencijala generativne umjetne inteligencije u zdravstvu. Njihove inicijative, kao što je Med-PaLM 2, naglašavaju razvoj rješenja za zdravstvenu skrb vođenih umjetnom inteligencijom, posebno u područjima kao što su dijagnostika, njega pacijenata i administrativna učinkovitost.

Googleov Med-PaLM 2, pionirski LLM u domeni zdravstvene skrbi, pokazao je impresivne sposobnosti, osobito postizanjem "stručne" razine u pitanjima u stilu US Medical Licensing Examination. Ovaj model i drugi slični njemu obećavaju revoluciju u načinu na koji zdravstveni radnici pristupaju informacijama i koriste ih, potencijalno povećavajući dijagnostičku točnost i učinkovitost skrbi za pacijente.

Međutim, usporedo s ovim napretkom, pojavila se zabrinutost oko praktičnosti i sigurnosti ovih tehnologija u kliničkim uvjetima. Na primjer, oslanjanje na ogromne internetske izvore podataka za obuku modela, iako je korisno u nekim kontekstima, ne mora uvijek biti prikladno ili pouzdano za medicinske svrhe. Kao Nigam Šah, PhD, MBBS, Chief Data Scientist za Stanford HealthCare, ističe, ključna pitanja koja treba postaviti su o izvedbi ovih modela u stvarnom medicinskom okruženju i njihovom stvarnom utjecaju na brigu o pacijentima i učinkovitost zdravstvene skrbi.

Perspektiva dr. Shaha naglašava potrebu za više prilagođenim pristupom korištenju LLM-a u medicini. Umjesto modela opće namjene obučenih na širokim internetskim podacima, on predlaže fokusiraniju strategiju u kojoj se modeli obučavaju na specifičnim, relevantnim medicinskim podacima. Ovaj pristup nalikuje osposobljavanju pripravnika – dajući im specifične zadatke, nadzirući njihovu izvedbu i postupno dopuštajući veću autonomiju kako pokazuju kompetentnost.

U skladu s tim, razvoj Meditron od strane istraživača EPFL-a predstavlja zanimljiv napredak u tom području. Meditron, LLM otvorenog koda posebno prilagođen medicinskim aplikacijama, predstavlja značajan korak naprijed. Obučen na odabranim medicinskim podacima iz renomiranih izvora kao što su PubMed i kliničke smjernice, Meditron nudi fokusiraniji i potencijalno pouzdaniji alat za liječnike. Njegova priroda otvorenog koda ne samo da promiče transparentnost i suradnju, već također omogućuje kontinuirano poboljšanje i testiranje stresa od strane šire istraživačke zajednice.

Razvoj alata kao što su Meditron, Med-PaLM 2 i drugi odražava sve veće prepoznavanje jedinstvenih zahtjeva zdravstvenog sektora kada je riječ o AI aplikacijama. Naglasak na obučavanju ovih modela na relevantnim, visokokvalitetnim medicinskim podacima i osiguravanju njihove sigurnosti i pouzdanosti u kliničkim uvjetima vrlo je ključan.

Štoviše, uključivanje različitih skupova podataka, poput onih iz humanitarnih konteksta poput Međunarodnog odbora Crvenog križa, pokazuje osjetljivost na različite potrebe i izazove u globalnoj zdravstvenoj skrbi. Ovaj pristup usklađen je sa širom misijom mnogih istraživačkih centara za umjetnu inteligenciju, čiji je cilj stvoriti alate za umjetnu inteligenciju koji nisu samo tehnološki napredni, već i društveno odgovorni i korisni.

Rad pod nazivom „Veliki jezični modeli kodiraju kliničko znanje” nedavno objavljen u časopisu Nature, istražuje kako se veliki jezični modeli (LLM) mogu učinkovito koristiti u kliničkim okruženjima. Istraživanje predstavlja revolucionarne uvide i metodologije, rasvjetljavajući mogućnosti i ograničenja LLM-a u domeni medicine.

Medicinsko područje karakterizira njegova složenost, s golemim nizom simptoma, bolesti i tretmana koji se neprestano razvijaju. LLM ne samo da moraju razumjeti ovu složenost, već i držati korak s najnovijim medicinskim saznanjima i smjernicama.

Srž ovog istraživanja vrti se oko novo odabranog mjerila pod nazivom MultiMedQA. Ovo mjerilo objedinjuje šest postojećih skupova podataka za odgovore na medicinska pitanja s novim skupom podataka, HealthSearchQA, koji se sastoji od medicinskih pitanja koja se često pretražuju na internetu. Ovaj sveobuhvatni pristup ima za cilj procijeniti LLM-ove kroz različite dimenzije, uključujući činjeničnost, razumijevanje, obrazloženje, moguću štetu i pristranost, čime se rješavaju ograničenja prethodnih automatiziranih evaluacija koje su se oslanjale na ograničena mjerila.

Ključ studije je evaluacija Pathways Language Model (PaLM), LLM-a s 540 milijardi parametara, i njegove varijante prilagođene uputama, Flan-PaLM, na MultiMedQA. Nevjerojatno, Flan-PaLM postiže najsuvremeniju točnost na svim skupovima podataka s višestrukim izborom unutar MultiMedQA, uključujući točnost od 67.6% na MedQA, koja se sastoji od pitanja u stilu američkog medicinskog ispita za licenciranje. Ova izvedba označava značajan napredak u odnosu na prethodne modele, nadmašujući prethodno stanje tehnike za više od 17%.

MedQA

Format: question and answer (Q + A), multiple choice, open domain.

Example question: A 65-year-old man with hypertension comes to the physician for a routine health maintenance examination. Current medications include atenolol, lisinopril, and atorvastatin. His pulse is 86 min−1, respirations are 18 min−1, and blood pressure is 145/95 mmHg. Cardiac examination reveals end diastolic murmur. Which of the following is the most likely cause of this physical examination?

Answers (correct answer in bold): (A) Decreased compliance of the left ventricle, (B) Myxomatous degeneration of the mitral valve (C) Inflammation of the pericardium (D) Dilation of the aortic root (E) Thickening of the mitral valve leaflets.

Studija također identificira kritične nedostatke u izvedbi modela, posebno u odgovaranju na medicinska pitanja potrošača. Kako bi riješili te probleme, istraživači uvode metodu poznatu kao brzo podešavanje uputa. Ova tehnika učinkovito usklađuje LLM s novim domenama koristeći nekoliko primjera, što je rezultiralo stvaranjem Med-PaLM-a. Med-PaLM model, iako ima ohrabrujuće rezultate i pokazuje poboljšanje u razumijevanju, prisjećanju znanja i rasuđivanju, još uvijek zaostaje u usporedbi s kliničarima.

Značajan aspekt ovog istraživanja je detaljan okvir ljudske procjene. Ovaj okvir procjenjuje da li se odgovori modela slažu sa znanstvenim konsenzusom i potencijalnim štetnim ishodima. Na primjer, dok je samo 61.9% dugih odgovora Flan-PaLM-a usklađeno sa znanstvenim konsenzusom, ta je brojka porasla na 92.6% za Med-PaLM, što je usporedivo s odgovorima koje su generirali kliničari. Slično tome, potencijal za štetne ishode značajno je smanjen u odgovorima Med-PaLM-a u usporedbi s Flan-PaLM-om.

Ljudska procjena odgovora Med-PaLM-a istaknula je njegovu stručnost u nekoliko područja, usko usklađena s odgovorima koje su generirali kliničari. Ovo naglašava potencijal Med-PaLM-a kao potpornog alata u kliničkim okruženjima.

Istraživanje o kojem se gore raspravljalo bavi se zamršenošću poboljšanja modela velikih jezika (LLM) za medicinske primjene. Tehnike i zapažanja iz ove studije mogu se generalizirati kako bi se poboljšale sposobnosti LLM-a u različitim domenama. Istražimo ove ključne aspekte:

Podešavanje instrukcija poboljšava izvedbu

• Generalizirana primjena: Ugađanje uputa, koje uključuje fino ugađanje LLM-a s određenim uputama ili smjernicama, pokazalo se da značajno poboljšava izvedbu u raznim domenama. Ova bi se tehnika mogla primijeniti na druga područja kao što su pravne, financijske ili obrazovne domene kako bi se povećala točnost i relevantnost rezultata LLM-a.

Skaliranje veličine modela

• Šire implikacije: Zapažanje da skaliranje veličine modela poboljšava izvedbu nije ograničeno na odgovore na medicinska pitanja. Veći modeli, s više parametara, imaju kapacitet obrade i generiranja nijansiranih i složenijih odgovora. Ovo skaliranje može biti korisno u domenama kao što su korisnička služba, kreativno pisanje i tehnička podrška, gdje su nijansirano razumijevanje i generiranje odgovora ključni.

Lanac misli (COT) Poticanje

• Korištenje različitih domena: Upotreba COT promptova, iako ne poboljšava uvijek izvedbu u skupovima medicinskih podataka, može biti korisna u drugim domenama gdje je potrebno složeno rješavanje problema. Na primjer, u rješavanju tehničkih problema ili složenim scenarijima donošenja odluka, COT upute mogu usmjeriti LLM-e da obrađuju informacije korak po korak, što dovodi do točnijih i obrazloženijih rezultata.

Samodosljednost za poboljšanu točnost

• Šire primjene: Tehnika samodosljednosti, gdje se generiraju višestruki rezultati i odabire najkonzistentniji odgovor, može značajno poboljšati učinak u različitim poljima. U domenama poput financija ili prava gdje je točnost najvažnija, ova se metoda može koristiti za unakrsnu provjeru generiranih izlaza za veću pouzdanost.

Nesigurnost i selektivno predviđanje

• Relevantnost među domenama: Komuniciranje procjena nesigurnosti ključno je u područjima gdje dezinformacije mogu imati ozbiljne posljedice, poput zdravstva i prava. Korištenje sposobnosti LLM-a da izraze nesigurnost i selektivno odgode predviđanja kada je povjerenje nisko može biti ključni alat u ovim domenama za sprječavanje širenja netočnih informacija.

Primjena ovih modela u stvarnom svijetu proteže se dalje od odgovaranja na pitanja. Mogu se koristiti za edukaciju pacijenata, pomoć u dijagnostičkim procesima, pa čak i u obuci studenata medicine. Međutim, njihovom implementacijom mora se pažljivo upravljati kako bi se izbjeglo oslanjanje na AI bez odgovarajućeg ljudskog nadzora.

Kako se medicinsko znanje razvija, LLM se također moraju prilagođavati i učiti. To zahtijeva mehanizme za kontinuirano učenje i ažuriranje, čime se osigurava da modeli ostanu relevantni i točni tijekom vremena.