Ξεπερνώντας την αντίληψη ότι «η ΤΝ είναι μαγεία»: Γιατί η κατανόηση του τρόπου λειτουργίας των μοντέλων ΤΝ πρέπει να αποτελεί προτεραιότητα για ολόκληρη την εταιρεία

Ενώ πληθαίνουν οι προειδοποιήσεις για ανεξέλεγκτους πράκτορες ΤΝ, ένας προγραμματιστής έδωσε πρόσφατα σε έναν πράκτορα προγραμματισμού πλήρη ελευθερία δράσης σε ένα μηχάνημα χωρίς απομακρυσμένο αντίγραφο ασφαλείας. Διέγραψε 48.000 αρχεία σε λιγότερο από δύο λεπτά.

Τέτοια περιστατικά υπενθυμίζουν με σαφήνεια ότι η ανάπτυξη πρακτόρων ΤΝ ενέχει κινδύνους· δεν αρκεί να προσθέσουμε έναν άνθρωπο για έλεγχο κάπου σε μια σύνθετη διαδικασία και να θεωρήσουμε ότι είναι ασφαλής. Ορισμένες διαδικασίες δεν απαιτούν παρέμβαση, ενώ άλλες χρειάζονται πολύ αυστηρότερους ελέγχους. Είναι σαφές ότι η διόρθωση ενός τυπογραφικού λάθους και η διαγραφή χιλιάδων αρχείων δεν ενέχουν τον ίδιο βαθμό κινδύνου, επομένως η εποπτεία πρέπει να ανταποκρίνεται σε όσα πραγματικά διακυβεύονται.

Οι οργανισμοί πρέπει να γίνουν καλύτεροι στον εντοπισμό των στιγμών κατά τις οποίες η ανθρώπινη κρίση έχει πραγματικά σημασία, ιδίως όταν μια ενέργεια έχει σημαντικές επιπτώσεις ή είναι δύσκολο να αναστραφεί. Και όταν οι πράκτορες κάνουν λάθη, το περιβάλλον πρέπει να περιορίζει την έκταση της ζημιάς.

Η ΤΝ δεν είναι ντετερμινιστική· είναι πιθανοκρατική

Πρώτα απ’ όλα, είναι απαραίτητο κάθε εργαζόμενος που ασχολείται άμεσα ή έμμεσα με την ανάπτυξη λογισμικού να αποκτήσει βασική κατανόηση του τρόπου με τον οποίο τα μοντέλα ΤΝ επεξεργάζονται τις πληροφορίες. Αυτό δεν είναι εύκολο εγχείρημα· απαιτεί αφοσίωση στην εκπαίδευση των ομάδων και, τελικά, πρέπει να γίνει στόχος για ολόκληρη την εταιρεία.

Όταν κάποιος αρχίζει να αλληλεπιδρά με την ΤΝ, νιώθει σαν να πρόκειται για μαγεία. Πληκτρολογείς μια πρόταση και ξαφνικά συνομιλείς. Η βασική κατανόηση του τρόπου με τον οποίο λειτουργούν στην πράξη τα μοντέλα και η εκπαίδευσή τους στο παρασκήνιο είναι σημαντική για τη διαμόρφωση εταιρικής πολιτικής για την ΤΝ όσον αφορά την ασφάλεια και την παραγωγικότητα. Το νευρωνικό δίκτυο, η διακριτοποίηση σε διακριτά στοιχεία (tokenization), η στατιστική ανάλυση που γίνεται στο παρασκήνιο και ο τρόπος με τον οποίο όλα αυτά οδηγούν στην παραγωγή αποτελεσμάτων αποτελούν βασικό πεδίο εκπαίδευσης για όλους τους εργαζομένους της επιχείρησης.

Τα μεγάλα γλωσσικά μοντέλα δεν πρόκειται ποτέ να παράγουν ντετερμινιστικά αποτελέσματα. Η έξοδος είναι πιθανοκρατική. Στο συνηθισμένο λογισμικό, όταν δίνεις μια είσοδο, έχεις κάποιες προσδοκίες για το αποτέλεσμα —ας πούμε Α, Β ή Γ. Με την ΤΝ, όμως, μπορεί να λάβεις ένα Ζ, ένα & ή μια περιγραφή μιας γάτας που φοράει γυαλιά ηλίου.

Όταν κάτι είναι πιθανοκρατικό, δεν μπορείς να το δοκιμάσεις με τον συνηθισμένο τρόπο. Χρειάζεσαι μια μέθοδο δοκιμών που να σου επιτρέπει να προσαρμόζεις, να συλλογίζεσαι, να κατανοείς και να ανακτάς γρήγορα το σχετικό πλαίσιο, ώστε να εντοπίζεις τα πιθανοκρατικά στοιχεία και να αναγνωρίζεις τα προβλήματα που ενδέχεται να προκαλέσουν. Ανάλογα με το μέγεθος και τον κίνδυνο, αυτού του είδους οι δοκιμές μπορούν να διεξάγονται είτε από την ΤΝ είτε από έναν άνθρωπο με σχετική εξειδίκευση. Η συμμετοχή ενός ανθρώπου στη διαδικασία είναι πιο χρήσιμη στην αρχή, ώστε να καθοριστεί το πλαίσιο με βάση το πρόβλημα που πρέπει να λυθεί, και στη συνέχεια στο τέλος, για την επανεξέταση των αποτελεσμάτων.

Επειδή οι προγραμματιστές βρίσκονται στην καλύτερη θέση να παρατηρούν τις μεταβλητές και τις συνήθεις πρακτικές που καθορίζουν τον τρόπο με τον οποίο η εσωτερική ΤΝ του οργανισμού τους διαμορφώνει απαντήσεις με βάση τις εισόδους, μπορούν να συμβάλουν ουσιαστικά στη διαμόρφωση της εκπαίδευσης γύρω από την ΤΝ στις εταιρείες τους και να διασφαλίσουν ότι όλοι κατανοούν αυτή τη διαφορά ανάμεσα στον ντετερμινισμό και τον πιθανοκρατισμό στην ΤΝ, καθώς και τη σημασία της. Στόχος είναι να περιοριστεί η αντίληψη ότι η χρήση της ΤΝ είναι σαν μαγεία και ότι αρκεί να είμαστε ικανοποιημένοι με οποιοδήποτε αποτέλεσμα λάβουμε. Αντίθετα, οι οργανισμοί πρέπει να επιδιώξουν να απομυθοποιήσουν και να παρουσιάσουν τα μοντέλα που χρησιμοποιεί η επιχείρηση, τον τρόπο χρήσης τους, τα προβλήματα που μπορεί να προκύψουν, τον τρόπο ελέγχου τους και τα αποτελέσματα αυτής της διαδικασίας.

Οι δικλίδες ασφαλείας ανήκουν στις υποδομές, όχι στο μοντέλο

Μόλις καταρριφθεί ο «μύθος» της μαγείας της ΤΝ και ξεκινήσει ένα έργο με επικεφαλής την ΤΝ, είναι ζωτικής σημασίας να υπάρχει διαφανής πολιτική ελέγχου, ώστε να διασφαλίζεται ότι όλα προχωρούν σύμφωνα με την αναμενόμενη πορεία. Έτσι, αν το έργο παράγει αποτέλεσμα που είναι «κακό» ή δεν ανταποκρίνεται στις απαιτήσεις, ο υπεύθυνος μπορεί να ελέγξει τα βήματα που εκτελέστηκαν και να αποτρέψει την επανάληψη του προβλήματος. Αυτό είναι επίσης χρήσιμο όταν τα αποτελέσματα είναι καλύτερα από τα αναμενόμενα, καθώς τα ίδια βήματα μπορούν να επαναληφθούν και να κοινοποιηθούν σε άλλα έργα ή ομάδες.

Η συστηματοποίηση αυτής της διαδικασίας είναι ιδιαίτερα σημαντική για τις μεγαλύτερες εταιρείες, όπου μπορεί να υπάρχουν δεκάδες προγραμματιστές σε κάθε ομάδα και εκατοντάδες προγραμματιστές να εργάζονται με κώδικα κατά τη διάρκεια της ημέρας. Η ΤΝ μπορεί να κάνει πολλά πράγματα πολύ γρήγορα και, αν κάτι πάει στραβά, πρέπει να υπάρχει ένα σύστημα που να εντοπίζει με ακρίβεια σε ποιο βήμα παρουσιάστηκε το πρόβλημα. Δείτε τους πράκτορες της OpenAI που παραβίασαν την ασφάλεια του Hugging Face αυτό το καλοκαίρι. Η OpenAI δοκίμαζε πόσο καλά μπορούσαν τα μοντέλα της να εκμεταλλευτούν ευπάθειες λογισμικού, χρησιμοποιώντας ένα σημείο αναφοράς που ονομάζεται ExploitGym. Για τη δοκιμή, χαλάρωσε σκόπιμα τους περιορισμούς άρνησης των μοντέλων σε σχέση με επιθετικές κυβερνοεπιχειρήσεις. Η μόνη διέξοδος από το περιβάλλον απομόνωσης ήταν ένας διακομιστής μεσολάβησης πακέτων. Τα μοντέλα εντόπισαν ένα άγνωστο ελάττωμα σε αυτόν τον διακομιστή, διέφυγαν από το περιβάλλον απομόνωσης και πέρασαν περισσότερες από δύο ημέρες μέσα στα συστήματα παραγωγής του Hugging Face αναζητώντας τις απαντήσεις της δοκιμής.

Οι τίτλοι των ειδήσεων το αποκάλεσαν ανεξέλεγκτη ΤΝ. Εγώ θα το αποκαλούσα ντετερμινιστική ρύθμιση γύρω από ένα πιθανοκρατικό σύστημα. Η OpenAI είπε στα μοντέλα να κάνουν κυβερνοεπιθέσεις και στη συνέχεια βασίστηκε στην υπόθεση ότι θα ακολουθούσαν την αναμενόμενη πορεία. Ο δημιουργός του σημείου αναφοράς λέει ότι τα μοντέλα είχαν εξαπατήσει και στο παρελθόν στη δοκιμή, αλλά πάντα μέσα στο περιβάλλον απομόνωσης. Αυτή τη φορά, ένα μοντέλο δεν έμεινε εκεί. Οι συνήθεις δικλίδες ασφαλείας προϋποθέτουν συνήθη συμπεριφορά, αλλά η ΤΝ δεν είναι υποχρεωμένη να ακολουθεί κανόνες.

Γι’ αυτό, η ασφάλεια της ΤΝ εξαρτάται από την πρόσβαση και τους ελέγχους, που επιβάλλονται από το περιβάλλον και όχι από την καλή συμπεριφορά του μοντέλου. Θεωρήστε δεδομένο ότι ο πράκτορας θα δοκιμάσει κάθε πόρτα και αφήστε ανοιχτές μόνο όσες χρειάζεται. Στον πράκτορα που διέγραψε 48.000 αρχεία είχαν δώσει εντολή να εργαστεί σε αντίγραφα και να αφήσει ανέπαφα τα πρωτότυπα. Κι όμως, διέγραψε τα πρωτότυπα. Οι οδηγίες δεν είναι έλεγχοι.

Η διαχείριση των δικαιωμάτων πρόσβασης ενός πράκτορα μοιάζει με την ένταξη ενός νέου, junior προγραμματιστή στην ομάδα. Δεν θα του δίνατε από την πρώτη μέρα πρόσβαση root στο περιβάλλον παραγωγής. Αν το κάνατε και διέγραφε τη βάση δεδομένων σας, δεν θα αποδίδατε το γεγονός στο ότι είναι ιδιοφυής χάκερ. Σε περιστατικά ασφάλειας οποιασδήποτε κλίμακας, είναι απαραίτητο να εντοπιστεί η βασική αιτία. Φταίει το μοντέλο; Η εταιρεία που το δημιούργησε; Η εταιρεία που του έδωσε πρόσβαση; Όποια κι αν είναι η αιτία, τελικά την ευθύνη φέρει ένας άνθρωπος.

Τέλος, ένα σημαντικό ζήτημα που πρέπει να αντιμετωπιστεί σήμερα είναι όσα συμβαίνουν στα κρυφά στον φορητό υπολογιστή ενός προγραμματιστή. Στο παρελθόν, η ροή εργασιών ήταν πιο εύκολο να ιχνηλατηθεί. Οι προγραμματιστές έγραφαν κώδικα, τον έλεγχαν και τον παρέδιδαν, οπότε υπήρχε σαφής διαδρομή που οδηγούσε πίσω στη στιγμή που κάτι πήγε στραβά. Τώρα, ένας προγραμματιστής μπορεί να έδωσε σε έναν πράκτορα το αίτημα και να του είπε «διόρθωσέ το». Αν αυτή η εργασία γίνεται χωρίς να είναι ορατή, δεν υπάρχει τίποτα που να μπορεί να ιχνηλατηθεί. Χρειάζεται πλήρες αρχείο καταγραφής για κάθε βήμα: ποιος πράκτορας εκτελέστηκε, ποιο μοντέλο χρησιμοποίησε, ποιες προτροπές τού δόθηκαν, ποια εργαλεία κάλεσε και ποια δικαιώματα πρόσβασης είχε εκείνη τη στιγμή. Ένας τρόπος για να επιτευχθεί αυτό είναι η κεντρική εκτέλεση των πρακτόρων αντί για την εκτέλεσή τους σε μεμονωμένους φορητούς υπολογιστές. Το σημαντικό είναι να υπάρχει αυτό το αρχείο καταγραφής.

Στο τέλος της ημέρας, αν συμβεί κάποιο περιστατικό, κάθε εταιρεία πρέπει να προστατεύσει τον εαυτό της. Το αρχείο καταγραφής πρέπει να περιέχει αρκετές πληροφορίες, ώστε να γίνει ανάλυση της βασικής αιτίας και να εντοπιστούν το βήμα και ο κώδικας που προκάλεσαν το πρόβλημα.

Η ΤΝ έχει αλλάξει ριζικά τον κόσμο και οι επιχειρηματικές διαδικασίες πρέπει να προσαρμοστούν. Για να προσδιοριστούν οι κατάλληλες δικλίδες ασφαλείας, απαιτείται καλύτερη κατανόηση των διαδικασιών ΤΝ, των δοκιμών, των κύκλων αναθεώρησης και των κύκλων ελέγχου, τόσο στις ομάδες ανάπτυξης όσο και σε ολόκληρη την εταιρεία.