Η Protege ξεκινά ανεξάρτητες δοκιμές τεχνητής νοημοσύνης στην υγεία, καθώς το Disease Odyssey αποκαλύπτει διαγνωστικά κενά

Η Protege ξεκινά ανεξάρτητες αξιολογήσεις τεχνητής νοημοσύνης στην υγεία, υποβάλλοντας μοντέλα σε δοκιμές με περιστατικά ασθενών που δεν έχουν συναντήσει στο παρελθόν. Το πρώτο της σημείο αναφοράς, το Disease Odyssey, δίνει μια πρώτη ένδειξη για το γιατί αυτό έχει σημασία: σύμφωνα με την εταιρεία, κορυφαία μοντέλα εντόπισαν παθήσεις όπως η υπνική άπνοια και η αναιμία μόνο στο 53%–69% των περιπτώσεων, όταν βασίστηκαν στο ιστορικό ασθενών.

Η παρουσίαση, στις 21 Οκτωβρίου, περιλαμβάνει επίσης αξιολογήσεις με τις Xlue AI και Standard Model Biomedicine. Συνολικά, τα αποτελέσματα απαντούν σε δύο σημαντικά ερωτήματα για τα νοσοκομεία και τους προγραμματιστές: αν ένα μοντέλο μπορεί να αντλήσει χρήσιμες κλινικές ενδείξεις από πραγματικά αρχεία και πόσο κοστίζει η παραγωγή αυτών των προβλέψεων.

Η πρόταση της Protege είναι να μεταφέρει μεγαλύτερο μέρος αυτής της αξιολόγησης εκτός των οργανισμών που αναπτύσσουν τα μοντέλα. Σχεδιάζει, διεξάγει και βαθμολογεί αξιολογήσεις με βάση αρχεία ασθενών που προστατεύουν την ιδιωτικότητά τους και απαντήσεις επαληθευμένες από κλινικούς, προσφέροντας στους προγραμματιστές έναν τρόπο να εντοπίζουν αδυναμίες πριν προβούν σε ευρύτερους ισχυρισμούς για τις επιδόσεις.

Μια διαφορετική δοκιμή από τις ερωτήσεις ιατρικών εξετάσεων

Μια ιατρική ερώτηση με σαφώς διατυπωμένη διάγνωση διαφέρει από το ιστορικό ενός ασθενούς που εκτείνεται σε πολλές επισκέψεις. Τα συμπτώματα εξελίσσονται με την πάροδο του χρόνου, τα αρχεία μπορεί να είναι ελλιπή και η καθοριστική ένδειξη ενδέχεται να είναι θαμμένη ανάμεσα σε λιγότερο σχετικές πληροφορίες. Το Disease Odyssey εστιάζει στην αναγνώριση της νόσου πριν από τη διάγνωση, με βάση αυτά τα διαχρονικά ιστορικά.

Το αναφερόμενο εύρος 53%–69% αφορά τα περιστατικά και τις παθήσεις που δοκιμάστηκαν και όχι την τεχνητή νοημοσύνη στην υγεία συνολικά. Η ανακοίνωση της Protege δεν παρέχει αρκετές λεπτομέρειες σχετικά με τα μεγέθη των δειγμάτων, τα ακριβή μοντέλα σύγκρισης ή την αβεβαιότητα των αποτελεσμάτων, ώστε να δικαιολογείται μια ευρύτερη κατάταξη. Αυτό που δείχνει είναι ότι υπάρχει ακόμη σημαντικό περιθώριο βελτίωσης στο αρχικό σημείο αναφοράς της εταιρείας.

«Η τεχνητή νοημοσύνη στον τομέα της υγείας εξελίσσεται γρήγορα, αλλά ο τρόπος με τον οποίο την αξιολογούμε δεν έχει συμβαδίσει», δήλωσε στην ανακοίνωση ο Bobby Samuels, συνιδρυτής και διευθύνων σύμβουλος της Protege.

Πώς η Protege διαχωρίζει τις δοκιμές από την ανάπτυξη

Η Protege περιγράφει τη διαδικασία της ως διπλά τυφλή: οι δημιουργοί των μοντέλων δεν βλέπουν εκ των προτέρων τα δεδομένα των ασθενών ή τις ερωτήσεις, ενώ η Protege αξιολογεί τα συστήματα χωρίς να γνωρίζει πώς κατασκευάστηκαν. Εδώ, ο όρος περιγράφει τη διαδικασία αξιολόγησης και όχι μια τυχαιοποιημένη κλινική δοκιμή.

Είναι σημαντικό το υλικό των δοκιμών να μένει εκτός της διαδικασίας ανάπτυξης, επειδή η έκθεση στις ερωτήσεις ενός σημείου αναφοράς μπορεί να διογκώσει τις φαινομενικές επιδόσεις. Ένα μοντέλο που έχει συναντήσει μια απάντηση κατά την εκπαίδευσή του μπορεί να φαίνεται ικανότερο απ’ ό,τι είναι όταν έρχεται αντιμέτωπο με ένα πραγματικά νέο περιστατικό.

Η πλατφόρμα αξιολόγησης της τεχνητής νοημοσύνης στον τομέα της υγείας της εταιρείας προσθέτει αρκετούς πρακτικούς μηχανισμούς ελέγχου. Περιλαμβάνει προστατευμένα περιστατικά δοκιμών που δεν έχουν χρησιμοποιηθεί στην εκπαίδευση, εργασίες με εκδόσεις και βαθμολόγηση, καθώς και ανάλυση των μοτίβων αποτυχίας και των πληθυσμών που επηρεάζονται. Η διαχείριση εκδόσεων καθιστά πιο ουσιαστική τη σύγκριση μεταξύ διαφορετικών εκδόσεων ενός μοντέλου: μια υψηλότερη βαθμολογία ερμηνεύεται ευκολότερα όταν η εργασία και οι κανόνες βαθμολόγησης δεν έχουν αλλάξει ανεπαίσθητα.

Η πλατφόρμα αξιοποιεί διασυνδεδεμένες πληροφορίες, όπως ηλεκτρονικούς φακέλους υγείας, κλινικές σημειώσεις, απεικονιστικά δεδομένα, στοιχεία παθολογοανατομικών εξετάσεων, ασφαλιστικές απαιτήσεις και εκβάσεις. Το Data Lab της μετατρέπει τα κλινικά ερωτήματα σε εργασίες αξιολόγησης και απαντήσεις αναφοράς. Αυτός ο συνδυασμός αποσκοπεί στον έλεγχο του τρόπου με τον οποίο τα μοντέλα αξιοποιούν το κλινικό πλαίσιο, και όχι απλώς στο αν αναπαράγουν μεμονωμένα ιατρικά δεδομένα.

Εξειδικευμένα μοντέλα ανταγωνίζονται ως προς τις επιδόσεις και το κόστος

Οι συνοδευτικές αξιολογήσεις εξετάζουν διαφορετικές εργασίες, επομένως τα αποτελέσματά τους πρέπει να διαβάζονται χωριστά από εκείνα του Disease Odyssey.

Στο πλαίσιο της συνεργασίας με την Standard Model Biomedicine, η Protege αξιολόγησε προβλέψεις σχετικά με την επιβίωση σε περιπτώσεις καρκίνου του μαστού και του πνεύμονα, καθώς και με τον χρόνο μέχρι την επόμενη θεραπεία ενός ασθενούς. Η εταιρεία αναφέρει ότι το εξειδικευμένο μοντέλο είχε ανταγωνιστικές επιδόσεις σε σύγκριση με κορυφαία συστήματα, ενώ το κόστος ανά πρόβλεψη ήταν 36–170 φορές χαμηλότερο.

Σε ξεχωριστή αξιολόγηση του μοντέλου HealthSAW της Xlue AI, εξετάστηκαν μελλοντικοί κίνδυνοι που σχετίζονται με τον καρκίνο, τα καρδιαγγειακά νοσήματα και τις νευρολογικές παθήσεις. Η Protege αναφέρει ότι το HealthSAW ξεπέρασε τα κορυφαία μοντέλα σε 14 από τις 16 δοκιμές, με κόστος ανά ασθενή μικρότερο από το 0,1% του δικού τους.

Πρόκειται για συγκρίσεις που αφορούν συγκεκριμένες εργασίες και αναφέρονται από την Protege, όχι για απόδειξη ότι ένα μοντέλο είναι το καλύτερο σε κάθε κλινικό περιβάλλον. Η ανακοίνωση δεν περιγράφει λεπτομερώς τη μεθοδολογία υπολογισμού του συνολικού κόστους. Το χαμηλότερο κόστος προβλέψεων θα μπορούσε να καταστήσει πιο πρακτικούς τους επαναλαμβανόμενους ελέγχους ή τις αναλύσεις μεγάλης κλίμακας, αλλά το κόστος εφαρμογής εξαρτάται επίσης από την ενσωμάτωση, την εποπτεία και τον φόρτο εργασίας που δημιουργούν τα λανθασμένα αποτελέσματα.

Η αξιολόγηση πρέπει να συμβαδίζει με τις αναβαθμίσεις των μοντέλων

Η ευρύτερη επιχειρηματική δραστηριότητα της Protege περιλαμβάνει την παροχή δεδομένων για την ανάπτυξη τεχνητής νοημοσύνης, γεγονός που καθιστά τον διαχωρισμό των δεδομένων ανάπτυξης από τα δεδομένα αξιολόγησης σημαντικό μέρος της προσέγγισής της. Το υλικό της εταιρείας υπογραμμίζει την προέλευση των δεδομένων, την ελεγχόμενη πρόσβαση και την ανανέωση των περιστατικών ασθενών ως τρόπους διατήρησης της χρησιμότητας των δοκιμών με την πάροδο του χρόνου.

Η εταιρεία σχεδιάζει να επεκτείνει τις αξιολογήσεις σε τομείς όπως η παθολογοανατομία, η δερματολογία, η ογκολογία και οι διοικητικές ροές εργασίας. Στόχος της είναι μια επαναλήψιμη διαδικασία που θα μπορεί να επαναλαμβάνεται καθώς αλλάζουν τα μοντέλα, αντί για μια μοναδική βαθμολογία που αποδίδεται μόνιμα σε ένα προϊόν.

Αυτό είναι χρήσιμο τόσο για τους αγοραστές όσο και για τους δημιουργούς. Ένα νοσοκομείο χρειάζεται να γνωρίζει αν ένα ενημερωμένο μοντέλο εξακολουθεί να λειτουργεί για τον πληθυσμό που εξυπηρετεί και στο πλαίσιο των ροών εργασίας του. Ένας προγραμματιστής χρειάζεται περισσότερα από μια μέση βαθμολογία: πρέπει να κατανοεί ποιες περιπτώσεις αποτυγχάνουν και αν μια βελτίωση σε έναν τομέα δημιουργεί αδυναμίες αλλού.

Οι ανεξάρτητες δοκιμές μπορούν να κάνουν αυτές τις συζητήσεις πιο συγκεκριμένες, όμως οι επιδόσεις σε αναδρομικές δοκιμές αναφοράς δεν ισοδυναμούν με αποδεδειγμένο όφελος στην κλινική πράξη. Οι προοπτικές μελέτες, οι επιδόσεις σε διαφορετικές ομάδες ασθενών, τα ποσοστά ψευδώς θετικών και ψευδώς αρνητικών αποτελεσμάτων και οι επιπτώσεις στον φόρτο εργασίας των κλινικών επαγγελματιών παραμένουν σημαντικά στοιχεία της τεκμηρίωσης.

Το λανσάρισμα της Protege θέτει ένα πιο επιτακτικό ερώτημα στις εταιρείες τεχνητής νοημοσύνης στον τομέα της υγείας: πώς αποδίδει το σύστημα όταν οι περιπτώσεις είναι άγνωστες και κάποιος άλλος καθορίζει τη δοκιμή; Η αξία της νέας υπηρεσίας θα εξαρτηθεί από το πόσο ξεκάθαρα οι μέθοδοι και τα αποτελέσματά της βοηθούν τους οργανισμούς να απαντήσουν σε αυτό το ερώτημα — και από το πόσο σταθερά οι δοκιμές αποκαλύπτουν προβλήματα που δεν εντοπίζονται στις καλοστημένες επιδείξεις.