Πού πρέπει να σταματά το γλωσσικό μοντέλο: Σχεδιάζοντας ΤΝ για τη μισθοδοσία, τις εισαγωγές σε πανεπιστήμια και άλλους τομείς όπου τα λάθη έχουν κόστος

Τα τελευταία χρόνια έχω αφιερώσει πολύ χρόνο στην ενσωμάτωση της ΤΝ σε προϊόντα όπου μια λανθασμένη απάντηση έχει κόστος: σε μια πλατφόρμα συμμόρφωσης με τη νομοθεσία περί μισθοδοσίας, με τεχνητή νοημοσύνη, για την αυστραλιανή αγορά, όπου ένα λάθος καταλήγει στον τραπεζικό λογαριασμό κάποιου, και σε ένα προϊόν για τις εισαγωγές σε πανεπιστήμια, όπου μια ακατάλληλη επιλογή μπορεί να καθορίσει τα επόμενα τέσσερα χρόνια της ζωής ενός φοιτητή. Και στις δύο περιπτώσεις, το ίδιο ερώτημα καθόρισε την αρχιτεκτονική: Πόσο μακριά πρέπει να επιτρέπεται να φτάσει το γλωσσικό μοντέλο προτού αναλάβει κάτι ντετερμινιστικό;

Μία στις πέντε μισθοδοσίες στις ΗΠΑ περιέχει σφάλμα, με μέσο κόστος 291 δολάρια για καθεμία, προτού συνυπολογιστούν οι δικαστικές διαμάχες. Η Πράξη της ΕΕ για την ΤΝ κατατάσσει στις κατηγορίες υψηλού κινδύνου τη χρήση της ΤΝ για αποφάσεις σχετικά με τις εισαγωγές και για τη διαχείριση της απασχόλησης.

Αφήστε τους κανόνες να καθορίζουν τα ποσά

Οι ντετερμινιστικοί κανόνες καθορίζουν οτιδήποτε συνδέεται με χρηματικό ποσό ή νομική συνέπεια, ενώ το μοντέλο ερμηνεύει και εξηγεί βάσει αυτών των κανόνων — και τίποτε περισσότερο.

Στην πλατφόρμα μισθοδοσίας, στόχος μας ήταν να ορίσουμε σαφή όρια ανάμεσα στους κανόνες μισθοδοσίας και την ΤΝ. Οι ειδικοί στη μισθοδοσία ορίζουν πρώτα τους κανόνες αμοιβών σε δομημένη μορφή. Στη συνέχεια, το σύστημα επεξεργάζεται αυτούς τους κανόνες και δημιουργεί κάθε πιθανό σενάριο που μπορεί να προκύψει από αυτούς. Το πλήρες σύνολο των σεναρίων αποτελεί την πηγή αλήθειας του μοντέλου. Το μοντέλο δεν μπορεί να δημιουργεί νέους κανόνες, να αλλάζει τους υπάρχοντες ή να αποφασίζει ποιες πηγές θα χρησιμοποιήσει. Μπορεί μόνο να ανακτά το σχετικό σύνολο κανόνων, να ανατρέχει στους πίνακες συντελεστών και να παραπέμπει στο σενάριο που χρησιμοποίησε. Η δημιουργία κανόνων, η παραγωγή σεναρίων και η επιλογή πηγών παραμένουν εξ ολοκλήρου έξω από το επίπεδο της ΤΝ.

Το προϊόν για τις εισαγωγές ακολουθεί την ίδια λογική: οι απαιτήσεις ως προς την τοποθεσία, τα όρια του προϋπολογισμού, η κατάσταση του εκπαιδευτικού ιδρύματος και τα κατώτατα όρια επιλεξιμότητας εφαρμόζονται ως κανόνες προτού το μοντέλο επηρεάσει την κατάταξη. Αν ένας φοιτητής δηλώσει ότι πρέπει να φοιτήσει σε πανεπιστήμιο στην Καλιφόρνια, ένα ίδρυμα εκτός πολιτείας δεν μπορεί να παρακάμψει αυτή την απαίτηση επειδή το μοντέλο έκρινε ότι κατά τα άλλα ταίριαζε πολύ καλά. Το μοντέλο διαχειρίζεται τις λιγότερο αυστηρές προτιμήσεις και τις εξηγήσεις, ενώ η ντετερμινιστική λογική λειτουργεί ως δικλίδα ασφαλείας όπου το «περίπου σωστό» δεν είναι αποδεκτό.

Η ανάκτηση θεμελιώνει τις απαντήσεις του μοντέλου — μέχρι ενός σημείου

Η παραγωγή με ενισχυμένη ανάκτηση (RAG) συνδέει τις απαντήσεις με τις πολιτικές του ίδιου του οργανισμού, αντί με οτιδήποτε έχει αφομοιώσει το μοντέλο κατά την εκπαίδευσή του. Ωστόσο, οι δυνατότητές της υπερτονίζονται. Όταν το RegLab του Stanford δοκίμασε εμπορικά εργαλεία νομικής έρευνας που βασίζονται στο RAG, αυτά εξακολουθούσαν να παράγουν ψευδείς πληροφορίες στο 17% έως 33% των περιπτώσεων. Η ανάκτηση περιορίζει όσα μπορεί να πει το μοντέλο, αλλά και πάλι μπορεί να κάνει λάθος.

Το διαπίστωσα στην πράξη. Στην πλατφόρμα μισθοδοσίας, το σύστημα εντόπισε κάποτε τη σωστή κλαδική μισθολογική ρύθμιση για μια υπόθεση, αλλά το μοντέλο εξακολούθησε να ερμηνεύει λανθασμένα τους κανόνες για τις υπερωρίες. Είχε ανακτηθεί η σωστή πηγή, αλλά η απάντηση ήταν λανθασμένη. Έτσι, στη συνέχεια γίναμε πολύ πιο αυστηροί ως προς το τι μπορούσε να αποφασίζει το μοντέλο από μόνο του. Ενσωματώσαμε σημαντικούς κανόνες μισθοδοσίας σε ρητή επιχειρησιακή λογική, απαιτήσαμε κάθε απάντηση να τεκμηριώνεται από πηγές και προσθέσαμε δοκιμές βασισμένες στην υπόθεση που είχε αποτύχει. Η πρόσβαση στις σωστές πληροφορίες βοηθά μόνο αν ελέγχεις επίσης τον τρόπο με τον οποίο τις χρησιμοποιεί το μοντέλο.

Κάντε κάθε απάντηση ανιχνεύσιμη

Πριν δημιουργηθεί μια απάντηση, το σύστημα καταγράφει ακριβώς ποιο εγχειρίδιο κανόνων και ποια έκδοσή του χρησιμοποιήθηκαν, μαζί με το μοντέλο και άλλες λεπτομέρειες του αιτήματος. Είναι δύσκολο να επαληθεύσει κανείς τον ισχυρισμό ότι μια απάντηση ΤΝ βασίστηκε στην πολιτική της εταιρείας. Πολύ ισχυρότερη τεκμηρίωση είναι να δηλώνεται ότι δημιουργήθηκε με βάση την έκδοση 7 μιας συγκεκριμένης συμφωνίας, η οποία έχει διατηρηθεί και μπορεί να συγκριθεί με άλλες εκδόσεις. Παρακολουθούμε επίσης κάθε κλήση μοντέλου και εργαλείου: τι ζήτησε ο χρήστης, τι ανακτήθηκε, ποια εργαλεία εκτελέστηκαν, τι επέστρεψε το μοντέλο και ποια σφάλματα προέκυψαν στην πορεία. Όταν υποβάλλεται ένα αίτημα υποστήριξης, μπορούμε να δούμε ακριβώς από πού προήλθε μια λανθασμένη απάντηση. Η απόφαση του 2024 για την Air Canada, με την οποία δικαστήριο υποχρέωσε την αεροπορική εταιρεία να τηρήσει μια έκπτωση που είχε επινοήσει το chatbot της, δείχνει το κόστος της εναλλακτικής λύσης.

Τοποθετήστε ανθρώπους εκεί όπου υπάρχουν συνέπειες

Το Προφίλ Παραγωγικής ΤΝ του NIST αντιμετωπίζει το όριο ανάμεσα σε όσα κάνει αυτόνομα ένα σύστημα και σε όσα απαιτούν ανθρώπινη παρέμβαση ως απόφαση διακυβέρνησης. Παραπέμπουμε μια υπόθεση σε άνθρωπο όταν το σύστημα δεν είναι βέβαιο, όταν οι πληροφορίες αντικρούονται ή όταν η απόφαση θα μπορούσε να επηρεάσει ουσιαστικά τον χρήστη. Στις εισαγωγές, ένα ασυνήθιστο προφίλ φοιτητή ή μια σύσταση που δεν πληροί σαφώς τις απαράβατες απαιτήσεις του φοιτητή επισημαίνεται για έλεγχο από σύμβουλο. Αυτό το βήμα έχει εντοπίσει συστάσεις που έμοιαζαν εύλογες εκ πρώτης όψεως, αλλά παρέβλεπαν έναν περιορισμό στο προφίλ του φοιτητή, και κάθε τέτοια περίπτωση τροφοδότησε ξανά το σύστημα. Κανένα από τα δύο προϊόντα δεν οριστικοποιεί τίποτα αυτόνομα. Απαιτείται η συμβολή συμβούλου προτού βασιστεί κανείς σε μια σύσταση, ενώ κάθε εκκαθαριστικό που δημιουργεί το σύστημα μισθοδοσίας επισημαίνεται για έγκριση προτού αποσταλεί. Ο ανθρώπινος έλεγχος δεν προορίζεται για κάθε αίτημα. Στόχος είναι να αυτοματοποιούνται με σιγουριά οι συνήθεις περιπτώσεις και να συμμετέχει άνθρωπος όταν το σύστημα έχει βάσιμο λόγο να μην είναι βέβαιο.

Καθορίζοντας τι μπορεί να αναλαμβάνει σήμερα το μοντέλο

Υπάρχει ένα πρακτικό κριτήριο που εφαρμόζω σε κάθε ροή εργασιών. Αν ένα λανθασμένο αποτέλεσμα μπορεί να εντοπιστεί και να διορθωθεί προτού φτάσει σε κάποιον άνθρωπο, το μοντέλο μπορεί να αναλάβει αυτό το βήμα. Αν η απάντηση μπορεί να ελεγχθεί με βάση κάποιον κανόνα, τον έλεγχο αναλαμβάνει ο κανόνας και το μοντέλο τον εξηγεί. Αν ένα λανθασμένο αποτέλεσμα θα έφτανε σε κάποιον πριν το αντιληφθεί κανείς — σε μια πληρωμή μισθού ή σε μια απόφαση για αίτηση —, αυτό το βήμα δεν είναι ακόμη έτοιμο.

Τα γλωσσικά μοντέλα είναι οι καλύτεροι ερμηνευτές που έχουμε βάλει ποτέ μπροστά σε ένα εγχειρίδιο κανόνων. Σε τομείς όπου τα λάθη τιμωρούνται, η ερμηνεία είναι το σημείο όπου πρέπει να σταματούν.