Ερευνητές του MIT Αναπτύσσουν Μοντέλο AI με Ιδιότητα Ευ curiosities για τη Βελτίωση της Ασφάλειας των Chatbot

Περιορισμοί των Τρεχουσών Μεθόδων Δοκιμών Ασφαλείας Chatbot

Προς το παρόν, η κύρια μέθοδος για τη δοκιμή της ασφάλειας των AI chatbot είναι μια διαδικασία που ονομάζεται red-teaming. Αυτό περιλαμβάνει ανθρώπινους δοκιμαστές που δημιουργούν προτροπές που σχεδιάζονται για να προκαλέσουν ασφαλείς ή τοξικές απαντήσεις από το chatbot. Εκθέτοντας το μοντέλο σε ένα ευρύ φάσμα πιθανών προβληματικών εισαγωγών, οι développers στοχεύουν να ανακαλύψουν και να αντιμετωπίσουν τυχόν ευπάθειες ή ανεπιθύμητες συμπεριφορές. Ωστόσο, αυτή η ανθρώπινη προσέγγιση έχει τους περιορισμούς της.

Δεδομένου του τεράστιου πλήθους των πιθανών εισαγωγών του χρήστη, είναι σχεδόν αδύνατο για τους ανθρώπινους δοκιμαστές να καλύψουν όλες τις πιθανές σενάρια. Ακόμη και με εκτεταμένες δοκιμές, μπορεί να υπάρχουν κενά στις προτροπές που χρησιμοποιούνται, αφήνοντας το chatbot ευάλωτο στην παραγωγή ασφαλών απαντήσεων όταν αντιμετωπίζει νέες ή απροσδόκητες εισαγωγές. Επιπλέον, η χειροκίνητη φύση του red-teaming το καθιστά μια χρονοβόρα και πόρων-εντατική διαδικασία, ιδιαίτερα καθώς τα γλωσσικά μοντέλα συνεχίζουν να μεγαλώνουν σε μέγεθος και πολυπλοκότητα.

Για να αντιμετωπίσουν αυτούς τους περιορισμούς, οι ερευνητές έχουν στρέψει την προσοχή τους στην αυτοματοποίηση και τις τεχνικές μηχανικής μάθησης για να βελτιώσουν την αποτελεσματικότητα και την αποτελεσματικότητα της δοκιμής ασφαλείας chatbot. Εκμεταλλευόμενοι τη δύναμη του AI, στοχεύουν να αναπτύξουν πιο ολοκληρωμένες και κλιμακωτές μεθόδους για την αναγνώριση και την μείωση των πιθανών κινδύνων που συνδέονται με τα μεγάλα γλωσσικά μοντέλα.

Προσέγγιση Μηχανικής Μάθησης με Ευ curiosities για το Red-Teaming

Ερευνητές από το Improbable AI Lab στο MIT και το MIT-IBM Watson AI Lab ανέπτυξαν μια καινοτόμο προσέγγιση για τη βελτίωση της διαδικασίας red-teaming χρησιμοποιώντας μηχανική μάθηση. Η μέθοδός τους περιλαμβάνει την εκπαίδευση ενός ξεχωριστού red-team μεγάλου γλωσσικού μοντέλου για να αυτόματα παράγει ποικίλες προτροπές που μπορούν να προκαλέσουν ένα ευρύ φάσμα ανεπιθύμητων απαντήσεων από το chatbot που δοκιμάζεται.

Το κλειδί σε αυτήν την προσέγγιση βρίσκεται στη διέγερση ενός αισθήματος ευ curiosities στο μοντέλο red-team. Ενθαρρύνοντας το μοντέλο να εξερευνήσει νέες προτροπές και να επικεντρωθεί στην παραγωγή εισαγωγών που προκαλούν τοξικές απαντήσεις, οι ερευνητές στοχεύουν να ανακαλύψουν ένα ευρύ φάσμα πιθανών ευπαθειών. Αυτή η εξερεύνηση με ευ curiosities επιτυγχάνεται μέσω μιας συνδυασμής τεχνικών ενισχυτικής μάθησης και τροποποιημένων σημάτων ανταμοιβής.

Το μοντέλο με ευ curiosities ενσωματώνει ένα bonus εντροπίας, το οποίο ενθαρρύνει το μοντέλο red-team να παράγει πιο τυχαίες και ποικίλες προτροπές. Επιπλέον, εισαγωγές καινοτομίας προστίθενται για να ενθαρρύνουν το μοντέλο να δημιουργήσει προτροπές που είναι σεμαντικά και λεξικά διαφορετικές από αυτές που παράγονται προηγουμένως. Με την προτεραιότητα της καινοτομίας και της ποικιλίας, το μοντέλο ωθείται να εξερευνήσει ανεξερεύνητες περιοχές και να ανακαλύψει κρυφούς κινδύνους.

Για να διασφαλιστεί ότι οι παραγόμενοι προτροπές παραμένουν συνεπείς και φυσιολογικές, οι ερευνητές περιλαμβάνουν επίσης ένα bonus γλώσσας στο αντικείμενο εκπαίδευσης. Αυτό το bonus βοηθά να αποτρέψει το μοντέλο red-team από την παραγωγή ανοητών ή άσχετων κειμένων που θα μπορούσαν να εξαπατήσουν τον ταξινομητή τοξικότητας να ανατεθεί υψηλές βαθμολογίες.

Η προσέγγιση με ευ curiosities έχει επιδείξει αξιοσημείωτη επιτυχία στην υπέρβαση τόσο των ανθρώπινων δοκιμαστών όσο και των άλλων αυτοματοποιημένων μεθόδων. Παρασκευάζει μεγαλύτερη ποικιλία διαφορετικών προτροπών και προκαλεί ολοένα και πιο τοξικές απαντήσεις από τα chatbot που δοκιμάζονται. Ιδιαίτερα, αυτή η μέθοδος έχει ακόμη και能够 να εκθέσει ευπάθειες σε chatbot που είχαν υποβληθεί σε εκτεταμένες ανθρώπινες προστασίες, υπογραμμίζοντας την αποτελεσματικότητά της στην ανακάλυψη πιθανών κινδύνων.