Η Google δημοσιεύει πολυμεθοδολογικό πλαίσιο για την αξιολόγηση της ΤΝ στον τομέα της υγείας

Η Google ανακοίνωσε μια λευκή βίβλο στις 4 Νοεμβρίου 2026, παρουσιάζοντας τον τρόπο με τον οποίο αξιολογεί τη γενικής χρήσης παραγωγική ΤΝ στον τομέα της υγείας. Το πλαίσιο συνδυάζει δοκιμές με ερωτήσεις κλειστού τύπου, αυτοματοποιημένους αξιολογητές ΤΝ και αξιολόγηση από ειδικούς, ώστε να κρίνει την ακρίβεια, την ασφάλεια και τη χρησιμότητα σε συνηθισμένα σενάρια και σε σενάρια υψηλού κινδύνου.

Η συγγραφέας, η δρ Sarah Montgomery-Taylor, είναι επικεφαλής κλινικής αξιολόγησης στο Google for Health· η δρ Elizabeth McGlynn και η δρ Dana Gelb Safran συνεργάστηκαν στην εργασία. Η Google αναφέρει ότι ανέπτυξε αυτή την προσέγγιση και εξακολουθεί να τη χρησιμοποιεί, για να αξιολογεί αν τα μοντέλα της παρέχουν χρήσιμες και ακριβείς απαντήσεις που συμβάλλουν στην ασφαλή αλληλεπίδραση στον τομέα της υγείας. Η δημοσίευση της μεθοδολογίας αποσκοπεί στην προώθηση της διαφάνειας και στην υποστήριξη των προγραμματιστών, των ερευνητών και των κλινικών γιατρών, ώστε να δημιουργούν εργαλεία που εμπνέουν εμπιστοσύνη.

Προσαρμογή της αξιολόγησης στην πραγματική κλινική χρήση

Οι συγγραφείς υποστηρίζουν ότι οι μέθοδοι αξιολόγησης που έχουν σχεδιαστεί για μεμονωμένες εργασίες δεν καλύπτουν επαρκώς τα μοντέλα γενικής χρήσης. Ως παράδειγμα αναφέρουν ένα μοντέλο προγενετικής ΤΝ, το οποίο μπορεί να εντοπίσει καρκίνο του πνεύμονα σε αξονική τομογραφία, αλλά δεν μπορεί να εντοπίσει καρκίνο του μαστού σε μαστογραφία ή να συνοψίσει μια συνομιλία σε σημείωμα. Όταν ένα μοντέλο μπορεί να αναλάβει εκατοντάδες, χιλιάδες ή και περισσότερες εργασίες, οι προγραμματιστές και οι οργανισμοί υγείας χρειάζονται τρόπο να θέτουν σε προτεραιότητα τις αλληλεπιδράσεις και τους κινδύνους.

Πριν επιλέξουν τις περιπτώσεις δοκιμής, οι αξιολογητές χαρτογραφούν μια Κρίσιμη Διαδρομή Χρήστη: ποιος χρησιμοποιεί το σύστημα, τι θέλει να πετύχει και ποια βήματα περιλαμβάνονται. Στους χρήστες μπορεί να συγκαταλέγονται ασθενείς, μέλη της οικογένειας, κλινικοί γιατροί ή διοικητικοί υπάλληλοι. Αυτή η χαρτογράφηση καθοδηγεί την επιλογή αντιπροσωπευτικών δεδομένων δοκιμών και μετρικών. Καλύπτει επίσης την προβλεπόμενη χρήση και συνήθεις μορφές κακής χρήσης, όπως την εμπιστοσύνη σε χρήση εκτός εγκεκριμένων ενδείξεων και τις απόπειρες παράκαμψης των φίλτρων ασφαλείας.

Στη συνέχεια, κάθε εφαρμογή αξιολογείται σε τρεις τομείς. Η ακρίβεια καλύπτει την ιατρική συναίνεση, την τεκμηρίωση, την πραγματολογική ορθότητα, την κλινική συλλογιστική και την καταλληλότητα για τα συμφραζόμενα, ενώ για εργασίες όπως η ιατρική σύνοψη προστίθεται και η τεκμηρίωση με βάση πηγές. Η ασφάλεια δεν περιορίζεται στο αν οι δηλώσεις είναι σωστές, αλλά εξετάζει και τη βλάβη που μπορεί να προκύψει όταν κάποιος ερμηνεύσει μια απάντηση και ενεργήσει βάσει αυτής ή δεν ενεργήσει. Οι αξιολογήσεις λαμβάνουν υπόψη τόσο τη σοβαρότητα όσο και την πιθανότητα αυτής της βλάβης. Η χρησιμότητα αφορά τον υγειονομικό γραμματισμό, τη συνάφεια, την πληρότητα και το κατά πόσο μπορεί κάποιος να ενεργήσει βάσει της απάντησης. Επομένως, μια απάντηση μπορεί να είναι ακριβής αλλά μη ασφαλής ή ακριβής και ασφαλής, αλλά υπερβολικά σύνθετη ή μη εφαρμόσιμη, ώστε να μην είναι χρήσιμη για τον χρήστη.

Τα παραδείγματα της μελέτης δείχνουν πώς ο κύριος κίνδυνος μεταβάλλεται ανάλογα με την εργασία. Για έναν καταναλωτή που ελέγχει τα συμπτώματά του, βασικό ζήτημα ασφάλειας είναι να μην επισημανθούν συμπτώματα συναγερμού που απαιτούν επείγουσα περίθαλψη· αντίθετα, μια υπερβολικά ανησυχητική απάντηση μπορεί να προκαλέσει περιττό άγχος, ενώ ασαφείς οδηγίες αυτοαξιολόγησης μπορεί να εμποδίσουν τα κατάλληλα επόμενα βήματα. Σε μια περίληψη εξιτηρίου που έχει συντάξει ΤΝ για κλινικό γιατρό, οι παραισθήσεις, οι παραλείψεις και τα πραγματολογικά λάθη απειλούν την ακρίβεια, οι αλλεργίες που δεν αναφέρονται ή τα αντενδεικνυόμενα φάρμακα δημιουργούν κινδύνους για την ασφάλεια, ενώ η δυσνόητη μορφοποίηση ή τα ασυνεπή χρονοδιαγράμματα μπορούν να μειώσουν τη χρησιμότητα.

Συνδυασμός αυτοματοποιημένης αξιολόγησης μεγάλης κλίμακας και ανθρώπινης κρίσης

Η πρώτη μέθοδος αξιολόγησης βασίζεται σε δοκιμές με οριστικές απαντήσεις, όπως οι ερωτήσεις πολλαπλής επιλογής, οι οποίες καθιστούν σχετικά οικονομικούς τους ελέγχους βασικών γνώσεων σε μεγάλη κλίμακα. Οι στατικές δοκιμές δεν μπορούν να αναπαράγουν την πολυπλοκότητα και την αντιπροσωπευτικότητα των πραγματικών αλληλεπιδράσεων. Ένας ακόμη περιορισμός είναι η επιμόλυνση των δεδομένων: όταν οι ερωτήσεις των δοκιμών περιλαμβάνονται στα δεδομένα εκπαίδευσης, τα αποτελέσματα μπορεί να αντικατοπτρίζουν την προετοιμασία για τη δοκιμή και όχι γενικευμένη ιατρική συλλογιστική. Γι’ αυτό, το πλαίσιο χρησιμοποιεί αυτές τις δοκιμές αναφοράς για να καθορίσει μια αρχική γραμμή βάσης και να προσανατολίσει τις επόμενες αξιολογήσεις, ενώ απαιτούνται πρόσθετες μέθοδοι για την επικύρωση των επιδόσεων στον πραγματικό κόσμο.

Η δεύτερη μέθοδος αναθέτει τη βαθμολόγηση σε ένα άλλο σύστημα ΤΝ. Αυτοί οι αυτοματοποιημένοι αξιολογητές εφαρμόζουν γραπτά κριτήρια σε απαντήσεις ανοικτού τύπου, επιτρέποντας την εξέταση πολύ περισσότερων σεναρίων από όσα θα μπορούσαν εύλογα να βαθμολογήσουν ειδικοί αξιολογητές. Μπορούν να αξιολογούν προσομοιωμένες συνομιλίες πολλών γύρων, στις οποίες οι χρήστες αρχικά αποκρύπτουν κλινικές πληροφορίες, ελέγχοντας αν το μοντέλο υποβάλλει διευκρινιστικές ερωτήσεις πριν δώσει οδηγίες. Ωστόσο, οι αυτοματοποιημένοι αξιολογητές χρειάζονται επικύρωση με βάση δεδομένα αναφοράς που έχουν δημιουργήσει ειδικοί, καθώς μπορεί να επιβραβεύουν τις μακροσκελείς απαντήσεις, να προτιμούν απαντήσεις από τη δική τους οικογένεια μοντέλων και να διαιωνίζουν θορυβώδεις ανθρώπινες επισημειώσεις.

Στη συνέχεια, κλινικοί γιατροί και άλλοι ειδικοί του εκάστοτε πεδίου εξετάζουν τις περιπτώσεις στις οποίες τα αυτοματοποιημένα κριτήρια είναι λιγότερο αποτελεσματικά, όπως σύνθετες κλινικές εικόνες, οριακές περιπτώσεις και θέματα για τα οποία υπάρχει περιορισμένη κλινική συναίνεση. Κρίνουν επίσης αν τα αποτελέσματα συνάδουν με τις τοπικές κλινικές πρακτικές και τις διαφορετικές ομάδες ασθενών. Οι χωριστές δοκιμές ελέγχου ασφαλείας διερευνούν τα όρια ασφάλειας με τακτικές όπως συναισθηματικές εκκλήσεις, φανταστικά σενάρια ή την υιοθέτηση ρόλου επαγγελματία υγείας, με στόχο να προκληθεί παραγωγή αποτελεσμάτων πέρα από το προβλεπόμενο πεδίο χρήσης ενός προϊόντος. Και η ανθρώπινη αξιολόγηση μπορεί να σφάλει: οι συγγραφείς επισημαίνουν ότι δύο γιατροί μπορεί να αποκλίνουν κατά 30–40% ή και περισσότερο σε μια εργασία βαθμολόγησης, γεγονός που καθιστά αναγκαία τη θέσπιση μέτρων για τη μεταβλητότητα μεταξύ αξιολογητών και την κατάλληλη ανάλυση.

Η παρακολούθηση συνεχίζεται και μετά την ανάπτυξη

Η αξιολόγηση αρχίζει πριν ακόμη υπάρξει προϊόν, με δοκιμές των γενικών δυνατοτήτων και της ασφάλειας του βασικού μοντέλου. Όταν το μοντέλο ενσωματώνεται σε μια εφαρμογή, η αξιολόγηση προσαρμόζεται στους χρήστες και στη ροή εργασιών του συγκεκριμένου προϊόντος. Κοντά στην κυκλοφορία, η ελεγχόμενη ανάπτυξη μπορεί να περιλαμβάνει δοκιμές σκιώδους λειτουργίας χωρίς ορατά αποτελέσματα, κλινικές πιλοτικές δοκιμές ή σταδιακή διάθεση, σε συνδυασμό με δοκιμές ανθρώπινων παραγόντων και ευχρηστίας πριν από την ευρύτερη διάθεση.

Οι κλινικές ομάδες και οι ομάδες ανάπτυξης πρέπει να καθορίζουν από κοινού τα όρια επιτυχίας και τη στάθμιση των κριτηρίων αξιολόγησης σε κάθε στάδιο ελέγχου του προϊόντος, με βάση το προφίλ κλινικού κινδύνου της εφαρμογής και όχι καθολικά ή αυθαίρετα αριθμητικά όρια. Μετά την ανάπτυξη, οι προγραμματιστές παρακολουθούν τη μετατόπιση των αλγορίθμων και τη σταθερότητα του συστήματος. Οι οργανισμοί που υιοθετούν τα εργαλεία παρακολουθούν την ασφάλεια των κλινικών ροών εργασίας για τα επαγγελματικά εργαλεία ή την ασφάλεια των χρηστών και τα μοτίβα χρήσης για τα προϊόντα που απευθύνονται στους καταναλωτές.

Οι συγγραφείς αναφέρουν ότι τα αντιδραστικά σήματα, όπως τα παράπονα χρηστών και τα σοβαρά συμβάντα ασφαλείας, δεν αρκούν από μόνα τους για την παρακολούθηση μετά την ανάπτυξη. Τα σύνολα δοκιμών διαφέρουν από τις πραγματικές αλληλεπιδράσεις, ενώ οι χρήστες αλλάζουν τις προτροπές και τις προσδοκίες τους καθώς αποκτούν εμπειρία. Τα ευρήματα της παρακολούθησης πρέπει να τροφοδοτούν εκ νέου τις απαιτήσεις, την εκπαίδευση και τις επόμενες προτεραιότητες αξιολόγησης. Η μακροπρόθεσμη παρακολούθηση των αλληλεπιδράσεων και των εκβάσεων υγείας προσκρούει σε απομονωμένα σιλό δεδομένων, καθώς και σε εμπόδια που σχετίζονται με την ιδιωτικότητα, την τεχνολογία και την οργάνωση. Η μελέτη επισημαίνει επίσης ότι παραμένουν εκκρεμή ζητήματα διακυβέρνησης, όπως οι κοινές ευθύνες των προγραμματιστών και των συστημάτων υγείας, το κόστος υλοποίησης, η ανεξάρτητη επικύρωση και η επιστημονική συναίνεση.

Για τους προγραμματιστές και τα συστήματα υγείας, το πλαίσιο μετατοπίζει το ερώτημα από το αν ένα μοντέλο πέρασε μια στατική συγκριτική δοκιμή στο αν μπορούν να τεκμηριωθούν η ακρίβεια, η ασφάλεια και η χρησιμότητά του σε όλη τη διάρκεια της ανάπτυξης και της εφαρμογής του. Η βασική πρόκληση είναι πρακτική: να συνδεθεί η παρακολούθηση με τη λογοδοσία, παράλληλα με τον σαφή καταμερισμό των ευθυνών, τη χρηματοδότηση των σχετικών εργασιών και την ανεξάρτητη επικύρωση των αποτελεσμάτων πέρα από τα οργανωτικά και τα δεδομενικά όρια.