Πόσο καιρό θα περάσει μέχρι μια πραγματική καταστολή της αποσιώπησης μοντέλων AI;

Αν είστε αρκετά μεγάλοι για να θυμάστε τη σκηνή του warez περίπου 1995–2010, όταν τεράστιες συλλογές cracked λογισμικού και κλεμμένων ταινιών (αγορασμένες χονδρικά από το δρόμο ή συναρμολογημένες από περιστασιακούς πειρατές όταν το υψηλής ταχύτητας broadband έκανε εφικτές τεράστιες και μεγάλου όγκου λήψεις) συσσωρεύονταν σε πολλαπλές, βαρύπαστες συλλογές DVD, η αναδυόμενη σκηνή για «αποσιωπημένα» ανοιχτού κώδικα μοντέλα AI μπορεί να προκαλέσει κάποιες οικείες νότες.

Από την ‘χρυσή εποχή’ του περιστασιακού εμπορίου στο δρόμο λογισμικού και ταινιών. Πίστωση – Shankar.s. ‘Pirated DVDs at PP street market’ – Source / License

Τότε, πριν η ενοικίαση λογισμικού γίνει κοινό καταναλωτικό μοντέλο, μια μικρή αλλά ελίτ ομάδα «σκηνής» ενθουσιωδών λογισμικού εμφανίστηκε για να σπάσει εφαρμογές, οι οποίες στη συνέχεια κυκλοφορούσαν στις άγριες νέες ομάδες «warez» και, αργότερα, στις ομάδες torrent. Αυτοί οι περιορισμοί μπορούσαν να είναι βαρετοί ή ασήμαντοι για να παραβιαστούν, αλλά οι παραβιάσεις ήταν συνήθως ανεξίτηλες μόλις κυκλοφορούσαν στο άγριο.

Αυτό συμβαίνει τώρα με τα ανοιχτού κώδικα Μεγάλα Γλωσσικά Μοντέλα (LLMs), τα οποία τακτικά και σε μεγάλη κλίμακα αφαιρούνται από τα ενσωματωμένα φίλτρα ασφαλείας, μετά από τα οποία αυτά τα αποσιωπημένα μοντέλα διανέμονται σε τόσες πολλές τοποθεσίες που ακόμη και η διακοπή της πηγής του «σπάθου» δεν επηρεάζει τη διαθεσιμότητα των μοντέλων.

Δωρητής ή Κακοποιός

Το ερώτημα είναι: με ποιο φως θέλετε να δείτε αυτές τις δραστηριότητες; Σε αντίθεση με τη σκηνή του warez, κανείς δεν στερείται τόσο ρητά εισοδήματος όσο οι μικρότεροι παραγωγοί λογισμικού ενδεχομένως ήταν πριν 20–30 χρόνια.

Σίγουρα, οι αρχικοί όροι άδειας παραβιάζονται συχνά, σε τέτοιες περιπτώσεις*· ωστόσο, σε αντίθεση με τις κυκλοφορίες μερικών βαρών των παραγωγών μοντέλων genAI όπως η Black Forest Labs, οι αρχικοί διανομείς δεν αντιμετωπίζουν τις «χαμηλότερης ποιότητας» εκδόσεις ως μονοπάτια upsell προς πιο ικανά μοντέλα μόνο-API· απλώς κυκλοφορούν τα πλήρη μοντέλα άμεσα.

Στις περισσότερες περιπτώσεις, σχεδόν κανείς δεν μπορεί να τρέξει αυτές τις αρχικές κυκλοφορίες τοπικά, επειδή είναι απλώς πολύ μεγάλες σε παραμέτρους ακόμη και για καλά εξοπλισμένες κάρτες GPU όπως 16–24 GB VRAM.

Έτσι, οι αρχικές κυκλοφορίες μετατρέπονται γρήγορα σε ελαφρύτερες εκδόσεις ικανές να τρέξουν σε καταναλωτικό υλικό, μέσω ποσοτικοποίησης μοντέλου και μετατροπής βαρών σε πιο ελαφριές εκδόσεις όπως GGUF, AWQ, PTQ, EXL2 ή η Apple‑κεντρική MLX.

Αν και αυτά δεν είναι τόσο αποδοτικά όσο τα αρχικά πλήρη μοντέλα (που συνήθως εξυπηρετούνται εμπορικά από διάφορα GPU‑farm), βρίσκονται τουλάχιστον υπό τον έλεγχο του χρήστη και μπορούν να προσαρμοστούν σε αυτόν με τρόπους που το «καλύτερο» μοντέλο δεν μπορεί.

Κάντε το όπως θέλετε

Μερικοί από αυτούς τους τρόπους είναι απολύτως νόμιμοι και συνήθως εντός του πλαισίου της αρχικής άδειας, όπως η λεπτομερή εκπαίδευση (fine‑tuning), ώστε τα βάρη του μοντέλου να κατευθύνονται ειδικά προς έναν στόχο ή τομέα που ο χρήστης έχει ενσωματώσει. Σε τέτοια περίπτωση, εφόσον υπάρχει χώρος στον σκληρό δίσκο, μπορεί κανείς ακόμη και να κάνει fine‑tuning σε πολλαπλά αντίτυπα ενός ανοιχτού μοντέλου για ποικίλες εργασίες, όπως μια σειρά αφιερωμένων, παραδοσιακών εργαλείων – αντί του «σουβέρ‑σουβέρ» ενός αρχικού πλήρους μοντέλου.

Επιπλέον, μοντέλα με συμβατές ρυθμίσεις αλλά διαφορετικά δεδομένα εκπαίδευσης μπορούν να συγχωνευτούν· ή, εναλλακτικά, επιπλέον δυνατότητες μπορούν να επικάθονται σε ένα μοντέλο μέσω ελαφρών φίλτρων LoRA, χωρίς να διακινδυνεύει η υποβάθμιση των αρχικών δυνατοτήτων του μοντέλου μέσω fine‑tuning.

Ωστόσο, η τροποποίηση που ενδιαφέρει τους περισσότερους χρήστες, και η οποία έχει γίνει πιο εύκολη από οποιαδήποτε από τις παραπάνω μεθόδους, είναι η αφαίρεση των προαναφερθέντων φίλτρων ασφαλείας ή «guardrails».

Αν και αυτό, πράγματι, επιτρέπει σε μοντέλα που θα παράγουν πορνογραφικό περιεχόμενο και ανάπτυξη κακόβουλου λογισμικού, αφαιρεί επίσης αυτό που πολλοί χρήστες αντιλαμβάνονται ως υπερβολικά περιοριστικό (και συχνά επιρρεπές σε σφάλματα) σύνολο περιορισμών.

Ένα από τα πολλά αστεία παραδείγματα του Llama-2-7b-chat που αρνείται λογικά αιτήματα για λόγους ασφαλείας, διαθέσιμο στη διεύθυνση URL προέλευσης. Source

Heretic

Στην περίπτωση του Heretic, του λογισμικού που πρόσφατα επανάσταση στην αποσιώπηση μοντέλων, είναι ακόμη δυνατό να μειωθεί το επίπεδο «αργκό» και πολυλογιστικής γραφής που τείνουν να χρησιμοποιούν τα μοντέλα.

Το Heretic ξεκινά την αποσιώπηση του gpt‑oss, αν και ειλικρινά σε ένα πολύ ισχυρό μηχάνημα που είναι απίθανο να βρεθεί σε σπίτι μέσου καταναλωτή – αν και μπορεί να νοικιαστεί φθηνά online για τη διάρκεια που απαιτείται στη διαδικασία. Source

Πιο σημαντικό, το Heretic – που αναζητά αυτόματα μια αφαίρεση (abliteration) που καταστέλλει τις αρνήσεις, ελαχιστοποιώντας ταυτόχρονα τη ζημιά στη αρχική συμπεριφορά του μοντέλου – φέρνει τη σχετικά δύσκολη εργασία της αποσιώπησης σε μια ενιαία εντολή από την άποψη του τελικού χρήστη.

Όπως φαίνεται από το στιγμιότυπο παραπάνω, το Heretic τείνει να ωφελείται από ένα πιο δυνατό GPU από ό,τι πιθανότατα θα βρεθεί σε σπίτι καταναλωτή· ωστόσο, οι χρήστες δεν χρειάζεται να το τρέξουν σε οικιακό υλικό, όπως δεν χρειάστηκε να σπάσουν λογισμικό το 2002· όπως και στις μέρες του warez, οι προμηθευτές της σκηνής (περιστασιακοί, συνήθως μη‑εμπορικοί ενθουσιώδεις) με πρόσβαση σε τέτοιο υλικό ή πρόθυμοι να δαπανήσουν κάποιους πόρους, εκτελούν το jailbreak και κυκλοφορούν το αποσιωπημένο μοντέλο στη σκηνή.

Στο Στόχο

Όταν μια «αμφισβητήσιμη» ψηφιακή ενέργεια σταματά να είναι δύσκολη, συνήθως συμβαίνει μέσω ενός νυχτερινού άλματος ικανότητας (σκεφτείτε το Napster ή το PopCornTime) που ξαφνικά κλιμακώνει τόσο τη δραστηριότητα όσο και το επίπεδο «επίσημου» ενδιαφέροντος για περιορισμό της.

Σε συνδυασμό με τη διαρκώς αυξανόμενη δημοτικότητα και ευκολία χρήσης πλατφορμών όπως το Ollama, το Heretic αρχίζει να φέρνει την πρόσβαση σε αποσιωπημένα μοντέλα εντός εμβέλειας του μη‑τεχνικού χρήστη, ακόμη κι αν μια πραγματικά «απαραβίαστη» μέθοδος δεν είναι ακόμη διαθέσιμη.

Και αυτό με επιστρέφει στην αρχική μου ερώτηση, αν αυτή η δραστηριότητα αποτελεί «πρόβλημα». Ένα άρθρο που εμφανίστηκε στο Arxiv χθες μου υποδεικνύει, βάσει πρόσφατων τάσεων περιορισμού και καταστολής ελευθεριών των καταναλωτών τεχνολογίας, ότι η αποσιώπηση πιθανότατα θα κερδίσει αυξανόμενη προσοχή, οδηγώντας σε περισσότερες περιπτώσεις προγραφικής νομοθεσίας παγκοσμίως.

Το νέο άρθρο, μια έκθεση από την 10a Labs, παρουσιάζει το κίνημα αποσιώπησης με αρνητικό φωτισμό και παρέχει τα συνήθη μειοψηφικά παραδείγματα κατάχρησης που, όπως δείχνει η ιστορία και προβλέπουν οι τρέχουσες τάσεις, θα οδηγήσουν σε περιορισμούς.

Η μελέτη παρακολουθεί τι συμβαίνει μετά την κυκλοφορία και επαναδιανομή των αποσιωπημένων μοντέλων, και εντόπισε 1.643 εφαρμογές στο GitHub που ενσωματώνουν, προτείνουν ή προεπιλέγουν ανοιχτά μοντέλα.

Τα μοντέλα κυμαίνονται από γενικού σκοπού chatbots και εργαλεία επεξεργασίας εγγράφων, μέχρι ρόλους NSFW και αφηγήσεις· υπηρεσίες περιεχομένου άσκησης, εργαλεία hacking και επιθετικής ασφάλειας· και εφαρμογές απάτης και γεννήτριες malware, με το 25 % των κυκλοφοριών να ταξινομείται από τη μελέτη ως «ρητά κακόβουλες»:

Ανάλυση του πώς χρησιμοποιούνται τα ανοιχτά μοντέλα AI μετά την κυκλοφορία τους. Η μελέτη εντόπισε 1.643 εφαρμογές στο GitHub που ενσωματώνουν, προτείνουν ή προεπιλέγουν μοντέλα των οποίων οι περιορισμοί ασφαλείας έχουν αφαιρεθεί, διαπιστώνοντας ότι το 37 % ήταν γενικού σκοπού ανοιχτά chatbots, ενώ τα εργαλεία κυβερνοασφάλειας και επεξεργασίας εγγράφων αντιπροσώπευαν το 16 % το καθένα, μαζί με μικρότερες κατηγορίες όπως βοηθοί φωνής, ρόλοι NSFW, δημιουργική γραφή, προγραμματισμός και άλλες χρήσεις. Η μελέτη διαπίστωσε ότι περίπου το 25 % των εντοπισμένων εφαρμογών θα μπορούσαν να χαρακτηριστούν ως «ρητά κακόβουλες». Source

Στο φως των πρόσφατα επιβληθέντων περιορισμών του Ηνωμένου Βασιλείου στην πρόσβαση στο διαδίκτυο (και της τώρα αναβληθείσας πρόθεσής του να περιορίσει επίσης την πρόσβαση VPN που τα παρακάμπτει); της απαίτησης της Καλιφόρνιας το 2027 για τα περισσότερα λειτουργικά συστήματα να συλλέγουν τις ηλικιακές ομάδες των χρηστών και να τις παρέχουν στις εφαρμογές· του σχήματος της ΕΕ για επαλήθευση ηλικίας για πρόσβαση σε ενήριο διαδικτυακό περιεχόμενο· και του περιορισμού της Αυστραλίας στα λογαριασμούς κοινωνικών μέσων για άτομα κάτω των 16 ετών· το νέο άρθρο φαίνεται να ταιριάζει στο μοτίβο όπου η αυξημένη προσοχή τελικά οδηγεί σε αυξημένη εποπτεία, ρύθμιση και ενδεχομένως επιλεκτικούς ή πλήρεις απαγορεύσεις.

Δεν θα μπορούσε να συμβεί εδώ

Όχι, μπορεί σίγουρα να συμβεί εδώ, εν μέρει λόγω του υψηλού ποσοστού κακόβουλης χρήσης, όπως εκτιμούν οι συγγραφείς της νέας μελέτης· και, ενδεχομένως, επειδή οι έλεγχοι θα επιβάλουν πρόσθετους περιορισμούς στην αυξανόμενη τάση προς AI που τρέχει τοπικά, η οποία μπορεί να θεωρηθεί απειλή από κυβερνήσεις και θεσμούς – ειδικά όταν τα μοντέλα ελευθερώνονται από τα δεσμά τους.

Με το να παρουσιάζονται οι δραστηριότητες αποσιώπησης ως «διευκόλυνση» εξόδου NSFW και κακόβουλου hacking, είναι δυνατόν να παρουσιαστεί η αποσιώπηση ως ψευδώς δυαδική πρόταση: επειδή μπορεί να χρησιμοποιηθεί για κακές πράξεις, πρέπει να υποταχθεί σε ρύθμιση. Σε πρακτικούς όρους, δεν φαίνεται ρεαλιστικός τρόπος να ρυθμιστεί μια τέτοια λειτουργία καθόλου, εκτός από την πλήρη απαγόρευσή της, δεδομένου του μεγάλου αριθμού πιθανών περιπτώσεων χρήσης.

Επιπλέον, σε περιπτώσεις όπου η αποσιώπηση ενός LLM θα μπορούσε να επιτρέψει σε ένα μοντέλο να δημιουργήσει (για παράδειγμα) φανταστικό περιεχόμενο CSAM, η περιοριστική ρύθμιση φαίνεται αδιαμφισβήτητη, καθώς όποιος την αντιτίθεται μπορεί να χαρακτηριστεί αθόρυβα ως «υποστηρικτής» των κακόβουλων χρήσεων ενός αποσιωπημένου μοντέλου, αντί για τις λογικές του χρήσεις.

Αυτό αγνοεί το γεγονός ότι ένα μοντέλο που έχει υποβληθεί σε fine‑tuning ή επηρεαστεί από LoRA μπορεί να παράγει πολύ πιο αποτελεσματικά οποιοδήποτε συγκεκριμένο τομέα που ο χρήστης επιθυμεί, καθώς τα βασικά βάρη του μοντέλου παραμορφώνονται τόσο προς την εργασία ώστε να υποσκάπτουν εντελώς τυχόν ενσωματωμένες προστασίες.

Τα πάντα για την ευκολία

Η ευκολία χρήσης είναι αυτό που προκαλεί μαζική υιοθέτηση, και η μαζική υιοθέτηση είναι αυτό που ασκεί πίεση στις κυβερνήσεις να νομοθετήσουν (είτε από ομάδες δημόσιας πίεσης, βιομηχανικούς λομπίστους, είτε μέσω διακυβερνητικής πίεσης).

Ενώ το fine‑tuning και τα LoRA μπορούν σχεδόν σίγουρα να αποδώσουν πιο στοχευμένα αποτελέσματα από το απλό ξεκλείδωμα ενός FOSS μοντέλου βάσης, αυτές οι μέθοδοι απαιτούν κάποιο επίπεδο πειθαρχίας και προσπάθειας για την υλοποίηση.

Μόλις η εκτέλεση ενός αποσιωπημένου/ποσοτικοποιημένου μοντέλου τοπικά γίνει πραγματικά θέμα μερικών κλικ (εφόσον ο χρήστης θα κατεβάζει σχεδόν σίγουρα ένα «προ‑απελευθερωμένο» μοντέλο αντί να το σπάσει ο ίδιος με το Heretic), η δραστηριότητα βγαίνει από την αδιαφάνεια του geekdom και μπαίνει στο δημόσιο πεδίο, όπου οι καταχρήσεις του πιθανότατα θα γίνουν πολιτικό θέμα.

Αυτό το καλοκαίρι η NVIDIA ηγήθηκε μιας ομάδας βαρύβαρων τεχνολογικών συνεργατών στην προετοιμασία κυβερνητικών περιορισμών σε ανοιχτά μοντέλα, σε μια ανοιχτή επιστολή που ξανά υποστηρίζει ότι οι μειοψηφικές καταχρήσεις μιας τεχνολογίας δεν πρέπει να θέτουν σε κίνδυνο το γενικό όφελος της. Ωστόσο, αυτή η θέση αποδείχθηκε αδημοσίευτη τα τελευταία χρόνια.

* Είτε οι δημιουργοί μοντέλων είναι ειλικρινείς στην επιθυμία τους να περιορίσουν τη δραστηριότητα των χρηστών συχνά αμφισβητείται, με τις προστασίες guardrail ακόμη και απορρίπτονται ως «θέατρο».