Ποιος μπορεί να ελέγξει την AI Ακμής; Η Έλλειψη Ορισμού στη Συμφωνία της Λευκής Οικίας

Αυτή την εβδομάδα, ηγέτες των Google, OpenAI, Anthropic, Meta, xAI και Nvidia υπέγραψαν τη Συμφωνία της Λευκής Οικίας για την Υπέρ-Νοημοσύνη. Οι εταιρείες δεσμεύτηκαν σε τέσσερα επίπεδα εποπτείας για τα μοντέλα ακμής: εσωτερικούς ελέγχους, μια εσωτερική ομάδα που τα επαληθεύει, έναν ανεξάρτητο εξωτερικό ελεγκτή ή αξιολογητή, και μια ανεξάρτητη επιτροπή διοικητικού συμβουλίου. Οι δεσμεύσεις είναι εθελοντικές προς το παρόν, και η συμφωνία λέει ότι θα μπορούσαν ενδεχομένως να ενσωματωθούν σε νόμο.

Από τα τέσσερα επίπεδα, η εξωτερική αξιολόγηση έχει τη μεγαλύτερη βαρύτητα. Είναι το μόνο επίπεδο που θέτει κάποιον εκτός της εταιρείας σε θέση να αποφασίσει αν τα μέτρα ασφαλείας λειτουργούν. Έχει επίσης τον λιγότερο ορισμό. Η συμφωνία δεν καθορίζει ποιος πληροί τα κριτήρια για ανεξάρτητο αξιολογητή, ποιο πρότυπο χρησιμοποιείται, πόση πρόσβαση του παρέχεται, ή πώς διατηρείται η ανεξαρτησία όταν ένας αξιολογητής επίσης πουλά υπηρεσίες στην εταιρεία που αξιολογεί. Κάθε εταιρεία επιλέγει τον δικό της αξιολογητή.

Με αυτούς τους όρους, δύο εταιρείες μπορούν και οι δύο να αναγγείλουν ότι πέρασαν ανεξάρτητη αξιολόγηση και να εννοούν πολύ διαφορετικά πράγματα. Η γεφύρωση αυτού του κενών θα απαιτήσει απαντήσεις σε τρεις ερωτήσεις.

Τι Πρέπει Να Καθορίσει Ποιος Πληροί Τα Κριτήρια

Μια αξιόπιστη ορισμός ανεξάρτητου αξιολογητή AI πρέπει να καλύπτει τουλάχιστον τέσσερα στοιχεία.

Ανεξαρτησία. Ένας αξιολογητής δεν πρέπει να ελέγχει μέτρα ασφαλείας που συνέβαλε στο σχεδιασμό τους, και δεν πρέπει να πουλά υπηρεσίες αποκατάστασης ή συμβουλευτικές στην ίδια εταιρεία που αξιολογεί. Οι ώριμα πεδία ελέγχου παρακολουθούν επίσης την εξάρτηση από αμοιβές. Όταν ένας πελάτης αποτελεί μεγάλο ποσοστό των εσόδων του αξιολογητή, ο αξιολογητής έχει κίνητρο να είναι λιγότερο αυστηρός.

Ικανότητα προσαρμοσμένη στη δουλειά. Το «Έλεγχος» περιλαμβάνει διάφορες δραστηριότητες στην AI. Η δοκιμή ενός μοντέλου για επικίνδυνες δυνατότητες, όπως η βοήθεια σε κυβερνοεπίθεση ή βιολογικό όπλο, απαιτεί ερευνητές μηχανικής μάθησης και ειδικούς τομέα. Η επαλήθευση του αν τα μέτρα ασφαλείας μιας εταιρείας είναι καλά σχεδιασμένα και λειτουργούν στην πράξη απαιτεί έμπειρους ελεγκτές ελέγχων. Ένας αξιολογητής που είναι κατάλληλος για το ένα δεν είναι αυτόματα κατάλληλος για το άλλο, και η έκθεση αξιολόγησης πρέπει να δηλώνει ποιο εκτελέστηκε.

Πρόσβαση και εμβέλεια. Ένας αξιολογητής που βλέπει μόνο τεκμηρίωση μπορεί να επιβεβαιώσει ότι ένα μέτρο ασφαλείας υπάρχει στο χαρτί. Η επιβεβαίωση ότι λειτουργεί απαιτεί πρόσβαση σε συστήματα, αρχεία καταγραφής, έγγραφα έγκρισης και άτομα για μια χρονική περίοδο. Τα μοντέλα ακμής αλλάζουν μεταξύ των εκπαιδευτικών εκτελέσεων και των εκδόσεων, έτσι ο αξιολογητής χρειάζεται επίσης σαυτό κανόνα για το πότε μια αλλαγή απαιτεί νέα αξιολόγηση.

Εποπτεία του αξιολογητή. Κάποιος πρέπει να ελέγχει τους ελεγκτές. Στις καθιερωμένες αγορές ελέγχου, τα σώματα διαπίστευσης ελέγχουν τη δουλειά των αξιολογητών και μπορούν να αφαιρέσουν την αναγνώρισή τους όταν δεν ανταποκρίνονται. Αυτό το «backstop» είναι αυτό που δίνει βαρύτητα στα συμπεράσματα μιας αξιολόγησης.

Η Υποδομή Που Υπάρχει Ήδη

 Τίποτα από αυτό δεν χρειάζεται να εφευρεθεί από το μηδέν. Το ISO 42001, το διεθνές πρότυπο για συστήματα διαχείρισης AI, παρέχει στις οργανώσεις ένα πλαίσιο διακυβέρνησης της AI, με τεκμηριωμένα μέτρα, σαφείς υπεύθυνους και συνεχή βελτίωση. Το συνοδευτικό του πρότυπο, ISO 42006, θέτει απαιτήσεις για τα σώματα που ελέγχουν και πιστοποιούν σύμφωνα με το ISO 42001, συμπεριλαμβανομένης της ικανότητας που πρέπει να αποδείξουν οι ελεγκτές και των κανόνων αμεροληψίας που πρέπει να ακολουθούν. Επειδή τα σώματα πιστοποίησης λειτουργούν υπό διαπίστευση, ένα τρίτο μέρος εποπτεύει τους ίδιους τους ελεγκτές.

Στο τεχνικό μέρος των δοκιμών, νεότερα πλαίσια συμπληρώνουν το κενό. AIUC-1 πιστοποιεί συγκεκριμένους πράκτορες AI σε συγκεκριμένες υλοποιήσεις, με επαναλαμβανόμενες δοκιμές τρίτων για προβλήματα όπως ψευδαισθήσεις, παραβιάσεις ασφαλείας και μη ασφαλή χρήση εργαλείων, και βασίζεται στα μέτρα του ISO 42001.

Οι πολιτείες επίσης δοκιμάζουν μοντέλα για άμεση εποπτεία των αξιολογητών. Η Connecticut πέρασε φέτος νόμο που δημιουργεί ένα πρόγραμμα πιλοτικής δοκιμής, που ξεκινά τον Ιούλιο 2027, στο οποίο το Τμήμα Προστασίας Καταναλωτών της πολιτείας θα εγκρίνει έως πέντε ανεξάρτητους οργανισμούς επαλήθευσης. Κάθε ένας πρέπει να υπογράψει μια κρατικά εποπτευόμενη συμφωνία που ορίζει το πεδίο εφαρμογής, τις μεθόδους, τις υποχρεώσεις αναφοράς και τη διακυβέρνηση. Αυτή η δομή απαντά σε αρκετές από τις ανοιχτές ερωτήσεις της συμφωνίας: ποιος εγκρίνει τους αξιολογητές, σε τι υποβάλλονται και ποιος τους εποπτεύει.

Αυτά τα στοιχεία δεν δημιουργήθηκαν για αξιολόγηση μοντέλων ακμής, και δεν πρέπει να παρουσιαστούν ως πλήρης λύση. Η επόμενη εργασία είναι η σύνδεσή τους, ώστε η διασφάλιση του συστήματος διαχείρισης, οι τεχνικές δοκιμές μοντέλων και η εποπτεία των αξιολογητών να ενσωματωθούν υπό έναν ενιαίο αξιόπιστο ορισμό ανεξαρτησίας.

Γιατί οι Κανόνες Πρέπει Να Εισαχθούν Πρώτα

Οι δεσμεύσεις της συμφωνίας είναι εθελοντικές σήμερα. Αν γίνουν νόμος, οι κανόνες για το ποιος μπορεί να λειτουργήσει ως αξιολογητής πρέπει να ισχύουν πριν ενεργοποιηθεί η εντολή, για τρεις λόγους.

Πρώτον, η πρώιμη πρακτική γίνεται προδιάθεση. Μόλις οι υπογράφοντες αρχίσουν να ονομάζουν αξιολογητές και να δημοσιεύουν αποτελέσματα, η αγορά θα σταθεροποιήσει λειτουργικούς ορισμούς του «ανεξάρτητου» και του «κατάλληλου». Οι ορισμοί που καθορίζονται χωρίς εξωτερική πίεση τείνουν να ευνοούν την ευκολία. Οι νομοθέτες που θα έρθουν αργότερα θα βρουν αυτούς τους ορισμούς ήδη ενσωματωμένους σε συμβόλαια και προσδοκίες.

Δεύτερον, η εξειδικευμένη ικανότητα απαιτεί χρόνο για να αναπτυχθεί. Η πιστοποίηση οργανισμών αξιολόγησης, η εκπαίδευση αξιολογητών που κατανοούν τόσο τα μοντέλα αιχμής όσο και τις δοκιμές ελέγχων, καθώς και η ανάπτυξη κοινών μεθόδων απαιτούν όλα χρόνια. Μια εντολή που έρχεται πριν υπάρξει αυτή η ικανότητα θα αντιμετωπιστεί από όποιον είναι διαθέσιμος.

Τρίτον, μια απαίτηση χωρίς μια αγορά εξειδικευμένων αξιολογητών πίσω της οδηγεί σε απλή τήρηση τυπικών ελέγχων. Οι εταιρείες θα ικανοποιούν το γράμμα του κανόνα, οι ρυθμιστές θα έχουν λίγα εδάφια για να αμφισβητήσουν αδύναμες αξιολογήσεις, και το κοινό θα βλέπει την εμφάνιση εποπτείας χωρίς ουσιαστικό περιεχόμενο.

Κάποιοι υποστηρίζουν ότι είναι πολύ νωρίς να θεσπιστούν αυτοί οι κανόνες επειδή η επιστήμη της αξιολόγησης μοντέλων αιχμής είναι ακόμη νεαρή. Είναι μια δίκαιη ανησυχία σχετικά με τις μεθόδους δοκιμών, οι οποίες πρέπει να εξελίσσονται συνεχώς όπως και τα μοντέλα. Οι ερωτήσεις που τίθενται εδώ αφορούν τον αξιολογητή: εάν είναι αδιάφορος από συγκρούσεις συμφερόντων, κατάλληλα καταρτισμένος για τη δουλειά, διαθέτει επαρκή πρόσβαση και υπόκειται σε εποπτεία. Αυτές οι ερωτήσεις έχουν σταθερές απαντήσεις, και άλλοι τομείς διασφάλισης τις απαντούν εδώ και δεκαετίες.

Τι Μπορούν Να Κάνουν Τώρα Οι Οργανισμοί

Οι εταιρείες που αναπτύσσουν ή χρησιμοποιούν προχωρημένη τεχνητή νοημοσύνη δεν χρειάζεται να περιμένουν μια εντολή. Κατά την επιλογή ενός αξιολογητή, μπορούν να ρωτήσουν ποιες άλλες υπηρεσίες προσφέρει η εταιρεία, ποιες πιστοποιήσεις διαθέτει η ομάδα της για τον συγκεκριμένο τύπο αξιολόγησης, πόσο πρόσβαση περιλαμβάνει η συνεργασία και ποιος επιβλέπει το έργο της εταιρείας. Η δημιουργία ενός συστήματος διαχείρισης AI τώρα παρέχει επίσης σε οποιονδήποτε μελλοντικό αξιολογητή κάτι σαφές και τεκμηριωμένο για αξιολόγηση.

Η συμφωνία δημιουργεί μια ισχυρή δομή για τη λογοδοσία στην τεχνητή νοημοσύνη. Η αξία της θα εξαρτηθεί από το ποιος θα αναλάβει το ρόλο του αξιολογητή και σε τι θα υποχρεωθεί, και ο χρόνος για τον ορισμό αυτού είναι πριν απαιτηθεί από οποιονδήποτε να το χρησιμοποιήσει.