Ληφθέντα δεδομένα από το ιστό για τη διέγερση της τεχνητής νοημοσύνης και προβλήματα ιδιωτικότητας: Γιατί η CommonPool αξίζει μια ματιά

Η Τεχνητή Νοημοσύνη (ΤΝ) έχει γίνει μέρος της καθημερινής ζωής. Είναι ορατή στα ιατρικά chatbots που οδηγούν τους ασθενείς και στα γεννητικά εργαλεία που βοηθούν τους καλλιτέχνες, τους συγγραφείς και τους προγραμματιστές. Αυτά τα συστήματα φαίνονται προηγμένα, αλλά εξαρτώνται από ένα seul απαραίτητο πόρο: τα δεδομένα.

Τα περισσότερα δεδομένα που χρησιμοποιούνται για την εκπαίδευση των συστημάτων ΤΝ προέρχονται από το δημόσιο διαδίκτυο. Αυτοματοποιημένα προγράμματα συλλέγουν μεγάλους όγκους κειμένου, εικόνων και ήχου από διαδικτυακές πλατφόρμες. Αυτές οι συλλογές αποτελούν τη βάση για γνωστά μοντέλα όπως το GPT-4, το Stable Diffusion και πολλά άλλα. Αυτή η τεράστια συλλογή, ωστόσο, δημιουργεί ανεπίλυτα προβλήματα σχετικά με την ιδιωτικότητα, την ιδιοκτησία και τη συναίνεση.

Η αγορά για datasets εκπαίδευσης αντανακλά το μέγεθος αυτής της δραστηριότητας. Μέχρι τώρα, η παγκόσμια αξία των datasets ΤΝ εκτιμάται σε 3,2 δισεκατομμύρια δολάρια. Σύμφωνα με προβλέψεις, μπορεί να φτάσει τα 16,3 δισεκατομμύρια δολάρια μέχρι το 2034, με ετήσιο ρυθμό αύξησης 20,5%. Πίσω από αυτές τις προβλέψεις κρύβεται một σημαντικό πρόκληση. Ένα σημαντικό μέρος του συλλεγμένου υλικού λαμβάνεται χωρίς ρητή άδεια. Συχνά περιέχει προσωπικά δεδομένα, πνευματικά δικαιώματα και άλλα ευαίσθητα περιεχόμενα που δεν είχαν προορισμό για συστήματα μηχανικής μάθησης.

Ως απάντηση σε αυτά τα ζητήματα, εξερευνώνται εναλλακτικές προσεγγίσεις για τη διακυβέρνηση των δεδομένων. Ένα παράδειγμα είναι η CommonPool, που κυκλοφόρησε τον Απρίλιο του 2023 ως μέρος του DataComp benchmark. Είναι μια μεγάλη βάση δεδομένων 12,8 δισεκατομμυρίων ζευγών εικόνας-κειμένου, σχεδιασμένη για έρευνα πολυτροπικής ΤΝ. Σε αντίθεση με τις παραδοσιακές προσπάθειες λήψης δεδομένων, εφαρμόζει μεθόδους φιλτραρίσματος, τονίζει τη διαφάνεια και περιλαμβάνει συμμετοχή της κοινότητας στη διαδικασία ανάπτυξής της. Αν και παραμένει θέμα συζήτησης, η CommonPool υποδεικνύει μια προσπάθεια να δημιουργηθούν πιο υπεύθυνες και ελέγξιμες πρακτικές για τα δεδομένα εκπαίδευσης ΤΝ. Τέτοιες πρωτοβουλίες υπογραμμίζουν την ανάγκη για ηθικά πρότυπα στο μέλλον της τεχνητής νοημοσύνης.

Ο ρόλος των ληφθέντων δεδομένων από το διαδίκτυο στην προώθηση της τεχνητής νοημοσύνης

Τα δεδομένα είναι κεντρικά για την ΤΝ, με την απόδοση του συστήματος να συνδέεται στενά με την ποσότητα και την ποικιλία των διαθέσιμων πληροφοριών για εκπαίδευση. Τα τελευταία χρόνια, η λήψη δεδομένων από το διαδίκτυο έχει γίνει μια τυποποιημένη μέθοδος για τη συλλογή μεγάλων datasets. Συλλέγοντας δημόσια προσβάσιμο διαδικτυακό περιεχόμενο, ερευνητές και προγραμματιστές έχουν αποκτήσει τεράστιους και διαφοροποιημένους πόρους δεδομένων.

Ένα δημοφιλές παράδειγμα είναι η Common Crawl, η οποία μέχρι το 2025 έχει αποθηκεύσει πετάβایت κειμένου που συλλέχθηκαν μέσω μηνιαίων crawls που ξεπερνούν τα 250 terabytes. Αυτή η βάση δεδομένων χρησιμοποιείται ευρέως για την εκπαίδευση μοντέλων ΤΝ που βασίζονται σε κείμενο. Ένα άλλο παράδειγμα είναι η LAION-5B, η οποία περιέχει περίπου 5,85 δισεκατομμύρια ζεύγη εικόνας-κειμένου. Έχει महतτική σημασία για εφαρμογές όπως η Stable Diffusion, η οποία μπορεί να δημιουργήσει ρεαλιστικές εικόνες από γραπτές προτροπές.

Αυτές οι βάσεις δεδομένων είναι πολύτιμες επειδή αυξάνουν την ακρίβεια του μοντέλου, βελτιώνουν την γενίκευση μέσω της ποικιλίας του περιεχομένου και επιτρέπουν σε μικρότερες ομάδες, συμπεριλαμβανομένων πανεπιστημίων, να συμμετάσχουν στην ανάπτυξη ΤΝ. Ο δείκτης ΤΝ του Stanford 2025 δείχνει ότι τα περισσότερα προηγμένα μοντέλα εξακολουθούν να βασίζονται σε ληφθέντα δεδομένα, με τις βάσεις δεδομένων να μεγαλώνουν γρήγορα σε μέγεθος. Αυτή η ζήτηση έχει οδηγήσει επίσης σε σημαντικές επενδύσεις, φτάνοντας πάνω από 57 δισεκατομμύρια δολάρια το 2024 για κέντρα δεδομένων και υπολογιστική ισχύ.

Ταυτόχρονα, η λήψη δεδομένων από το διαδίκτυο δεν είναι ελεύθερη από προκλήσεις. Θέτει ερωτήματα σχετικά με την ιδιωτικότητα, την ιδιοκτησία και τα νομικά δικαιώματα,既然 πολλά από τα συλλεγμένα περιεχόμενα δεν δημιουργήθηκαν αρχικά για χρήση από μηχανές. Νομικές υποθέσεις και συζητήσεις πολιτικής δείχνουν ότι αυτές οι προκλήσεις γίνονται ολοένα και πιο επείγουσες. Το μέλλον της συλλογής δεδομένων ΤΝ θα εξαρτηθεί από την εύρεση μιας ισορροπίας μεταξύ προόδου και ηθικής ευθύνης.

Το πρόβλημα ιδιωτικότητας με τα ληφθέντα δεδομένα

Τα εργαλεία λήψης δεδομένων από το διαδίκτυο συλλέγουν πληροφορίες χωρίς σαφή διάκριση μεταξύ γενικού περιεχομένου και ευαίσθητων λεπτομερειών. Μαζί με το κείμενο και τις εικόνες, συχνά συλλαμβάνουν Προσωπικά Αναγνωριστικά Δεδομένα (ΠΑΔ) όπως ονόματα, διευθύνσεις email και φωτογραφίες προσώπων.

Μια εμπειρογνωστική της βάσης δεδομένων CommonPool τον Ιούλιο του 2025 αποκάλυψε ότι ακόμη και μετά το φιλτράρισμα, το 0,1% των δειγμάτων vẫn περιείχε αναγνωρίσιμα πρόσωπα, κυβερνητικά ταυτότητα και έγγραφα όπως βιογραφικά και διαβατήρια. Αν και το ποσοστό φαίνεται μικρό, στην κλίμακα δισεκατομμυρίων εγγραφών, μεταφράζεται σε εκατοντάδες εκατομμύρια προσώπων. Κριτικές και ασφαλείς ελέγχοι επιβεβαιώνουν ότι η παρουσία τέτοιου υλικού δεν είναι ασυνήθιστη, και τα рисks περιλαμβάνουν κλοπή ταυτότητας, στοχευμένη παρενόχληση και την αθέλητη έκθεση προσωπικών δεδομένων.

Νομικές διαμάχες αυξάνονται επίσης, καθώς οι ανησυχίες σχετικά με την ιδιοκτησία δεδομένων και την δίκαιη χρήση μεταφέρονται στα δικαστήρια. Μεταξύ 2023 και 2024, εταιρείες όπως η OpenAI και η Stability AI αντιμετώπισαν αγωγές για τη χρήση προσωπικών και πνευματικών δικαιωμάτων χωρίς συναίνεση. Τον Φεβρουάριο του 2025, ένα ομοσπονδιακό δικαστήριο των ΗΠΑ ruled ότι η εκπαίδευση ΤΝ με μη αδειοδοτημένα προσωπικά δεδομένα συνιστά παραβίαση. Αυτή η απόφαση έχει ενθαρρύνει περισσότερες αγωγές. Το πνευματικό δικαίωμα είναι ένα άλλο σημαντικό ζήτημα. Πολλές ληφθείσες βάσεις δεδομένων περιέχουν βιβλία, άρθρα, τέχνη και κώδικα. Συγγραφείς και καλλιτέχνες επιχειρηματολογούν ότι το έργο τους χρησιμοποιείται χωρίς έγκριση ή αμοιβή. Η συνεχιζόμενη υπόθεση New York Times v. OpenAI αμφισβητεί εάν τα συστήματα ΤΝ αναπαράγουν προστατευμένο περιεχόμενο παράνομα. Οπτικοί καλλιτέχνες έχουν υποβάλει παρόμοιες καταγγελίες, ισχυριζόμενοι ότι η ΤΝ αντιγράφει το ατομικό στυλ τους. Τον Ιούνιο του 2025, ένα δικαστήριο των ΗΠΑ υποστήριξε μια εταιρεία ΤΝ υπό την αιγίδα της δίκαιης χρήσης, αλλά οι ειδικοί λένε ότι οι αποφάσεις παραμένουν ασυνεπείς και το νομικό πλαίσιο είναι ακόμη ασαφές.

Η έλλειψη συναίνεσης στην εκπαίδευση ΤΝ έχει αποδυναμώσει την εμπιστοσύνη του κοινού. Πολλοί άνθρωποι ανακαλύπτουν ότι τα blog τους, το δημιουργικό τους έργο ή ο κώδικας τους περιλαμβάνονται σε βάσεις δεδομένων χωρίς τη γνώση τους. Αυτό έχει προκαλέσει ηθικές ανησυχίες και απαιτήσεις για μεγαλύτερη διαφάνεια. Σε απάντηση, οι κυβερνήσεις προχωρούν προς αυστηρότερη επιτήρηση μέσω νόμων που προωθούν την δίκαιη ανάπτυξη μοντέλων ΤΝ και τη φροντίδα στη χρήση δεδομένων.

Γιατί τα ληφθέντα datasets είναι δύσκολο να αντικατασταθούν

Ακόμη και με τις ανησυχίες σχετικά με την ιδιωτικότητα και τη συναίνεση, τα ληφθέντα datasets παραμένουν απαραίτητα για την εκπαίδευση ΤΝ. Ο λόγος είναι η κλίμακα. Τα σύγχρονα μοντέλα ΤΝ απαιτούν τρισεκατομμύρια token από κείμενο, εικόνες και άλλα μέσα. Η δημιουργία τέτοιων datasets μόνο μέσω αδειοδοτημένων ή επιμελημένων πηγών θα κοστίσει εκατοντάδες εκατομμύρια δολάρια. Αυτό δεν είναι πρακτικό για την πλειοψηφία των startups ή των πανεπιστημίων.

Ο υψηλός κόστος δεν είναι η μόνη πρόκληση με τις επιμελημένες βάσεις δεδομένων. Συχνά λείπουν σε ποικιλία και επικεντρώνονται σε συγκεκριμένες γλώσσες, περιοχές ή κοινότητες. Αυτή η στενή κάλυψη κάνει τα μοντέλα ΤΝ λιγότερο ισορροπημένα. Σε αντίθεση, τα ληφθέντα δεδομένα, παρά το ότι είναι θορυβώδη και ατελή, συλλαμβάνουν ένα ευρύτερο φάσμα πολιτισμών, θεμάτων και απόψεων. Αυτή η ποικιλία επιτρέπει στα συστήματα ΤΝ να εκτελούν καλύτερα όταν εφαρμόζονται σε πραγματικές εφαρμογές.

Το ρίσκο, ωστόσο, είναι ότι οι αυστηρές κανονισμοί θα περιορίσουν την πρόσβαση στα ληφθέντα δεδομένα. Αν συμβεί αυτό, οι μικρότερες οργανώσεις μπορεί να δυσκολευτούν να ανταγωνιστούν. Οι μεγάλες εταιρείες με ιδιωτικές ή ιδιοκτητικές βάσεις δεδομένων, όπως η Google (GOOGL ) ή η Meta, θα συνεχίσουν να προοδεύουν. Αυτή η ανισότητα θα μειώσει τον ανταγωνισμό και θα επιβραδύνει την ανοιχτή καινοτομία στην ΤΝ.

CommonPool: Προς την υπεύθυνη μεγάλης κλίμακας μηχανική δεδομένων

Η CommonPool είναι μια από τις πιο τεχνικά φιλόδοξες προσπάθειες να δημιουργηθεί μια ανοιχτή, μεγάλης κλίμακας πολυτροπική βάση δεδομένων. Με περίπου 12,8 δισεκατομμύρια ζεύγη εικόνας-κειμένου, αντιστοιχεί στην κλίμακα της LAION-5B αλλά ενσωματώνει ισχυρότερους μηχανισμούς μηχανικής δεδομένων και διακυβέρνησης. Ο βασικός στόχος σχεδιασμού δεν ήταν μόνο να μεγιστοποιήσει την κλίμακα αλλά και να ευθυγραμμίσει με αρχές αναπαραγωγιμότητας, προέλευσης δεδομένων και συμμόρφωσης με κανονισμούς.

Η κατασκευή της βάσης δεδομένων CommonPool ακολουθεί μια δομημένη τριβάθμιτη διαδικασία. Το πρώτο στάδιο περιλαμβάνει την εξαγωγή των ωμών δειγμάτων από σναπσότ της Common Crawl μεταξύ 2014 και 2022. Συλλέγονται και εικόνες και το σχετικό κείμενο, όπως λεζάντες ή περιβάλλοντες περικοπές. Για την αξιολόγηση της σημασιολογικής ευθυγράμμισης, οι διαχειριστές εφαρμόζουν βαθμολογία ομοιότητας με βάση το CLIP, απορρίπτοντας ζεύγη με αδύναμη αντιστοιχία μεταξύ εικόνας και κειμένου. Αυτό το πρώτο στάδιο φιλτραρίσματος μειώνει σημαντικά τον θόρυβο σε σύγκριση με τις απλές διαδικασίες λήψης δεδομένων.

Στο δεύτερο στάδιο, η βάση δεδομένων υποβάλλεται σε μεγάλης κλίμακας απαλοιφή διπλοτύπων. Χρησιμοποιούνται τεχνικές hashing και MinHash για την αναγνώριση και απαλοιφή近似 διπλότυπων εικόνων, αποτρέποντας την κυριαρχία της επανάληψης στην εκπαίδευση του μοντέλου. Εφαρμόζονται επιπλέον φίλτρα για την εξαίρεση ελαττωματικών αρχείων, κατεστραμμένων συνδέσμων και εικόνων χαμηλής ανάλυσης. Σε αυτό το σημείο, η διαδικασία περιλαμβάνει επίσης κανονικοποίηση κειμένου και αυτόματη αναγνώριση γλώσσας, επιτρέποντας τη δημιουργία υποκατηγοριών ή γλωσσικών υποκατηγοριών για στοχευμένη έρευνα.

Το τρίτο στάδιο επικεντρώνεται στην ασφάλεια και τη συμμόρφωση. Εφαρμόζεται αυτόματη ανίχνευση και θόλωση προσώπων, ενώ αφαιρούνται προσωπικά στοιχεία όπως ονόματα, διευθύνσεις email και ταχυδρομικές διευθύνσεις. Η διαδικασία περιλαμβάνει επίσης την ανίχνευση πνευματικών δικαιωμάτων. Αν και καμία αυτόματη μέθοδος δεν μπορεί να εγγυηθεί την τέλεια φιλτράρισμα σε κλίμακα διαδικτύου, αυτά τα μέτρα ασφαλείας αντιπροσωπεύουν μια σημαντική τεχνική βελτίωση σε σύγκριση με την LAION-5B, όπου το φιλτράρισμα ήταν κυρίως περιορισμένο σε ενηλίκους και τοξικότητα.

Πέρα από την επεξεργασία δεδομένων, η CommonPool εισάγει ένα μοντέλο διακυβέρνησης που τη διακρίνει από στατικές κυκλοφορίες βάσεων δεδομένων. Διατηρείται ως μια ζωντανή βάση δεδομένων με εκδόσεις, δομημένα μεταδεδομένα και τεκμηριωμένες κύκλους ενημέρωσης. Κάθε δείγμα περιλαμβάνει πληροφορίες αδειοδότησης όπου είναι διαθέσιμες, υποστηρίζοντας τη συμμόρφωση με κανονισμούς πνευματικών δικαιωμάτων. Μια διαδικασία αφαίρεσης επιτρέπει σε άτομα και ιδρύματα να ζητήσουν την αφαίρεση ευαίσθητου περιεχομένου, αντιμετωπίζοντας ανησυχίες που έχουν ανακύψει από τον νόμο της ΕΕ για την ΤΝ και σχετικούς κανονιστικούς πλαισίων. Μεταδεδομένα όπως διευθύνσεις URL και βαθμολογία φιλτραρίσματος βελτιώνουν τη διαφάνεια και την αναπαραγωγιμότητα, επιτρέποντας στους ερευνητές να αναλύουν τις αποφάσεις ένταξης και εξαίρεσης.

Σύγκριση της CommonPool με τις παραδοσιακές ληφθείσες βάσεις δεδομένων

Σε αντίθεση με τις προηγούμενες μεγάλης κλίμακας ληφθείσες βάσεις δεδομένων όπως η LAION-5B (5,85 δισεκατομμύρια δείγματα), η COYO-700M (700 εκατομμύρια δείγματα) και η WebLI (400 εκατομμύρια δείγματα), η CommonPool τονίζει τη δομή, την αναπαραγωγιμότητα και τη διακυβέρνηση. Διατηρεί μεταδεδομένα όπως διευθύνσεις URL και χρονικές σήμανσεις, τα οποία υποστηρίζουν την αναγνωρισιμότητα και τις μερικές ελέγχους αδειοδότησης. Επιπλέον, εφαρμόζει φιλτράρισμα με βάση το CLIP για την αφαίρεση χαμηλής ποιότητας ή ασθενώς ευθυγραμμισμένων ζευγών εικόνας-κειμένου, οδηγώντας σε βελτιωμένη ποιότητα δεδομένων.

Σύγκρινε με την LAION-5B και την COYO, οι οποίες συλλέχθηκαν από την Common Crawl με περιορισμένο φιλτράρισμα και χωρίς λεπτομερή έγγραφα αδειοδότησης. Αυτές οι βάσεις δεδομένων συχνά περιέχουν ευαίσθητο υλικό, συμπεριλαμβανομένων ιατρικών αρχείων, εγγράφων ταυτότητας και ανακαλυμμένων προσώπων. Η WebLI, που χρησιμοποιείται εσωτερικά από την OpenAI, επίσης λείπει σε διαφάνεια, καθώς δεν κυκλοφόρησε ποτέ για εξωτερική ανασκόπηση ή αναπαραγωγή.

Το τελικό συμπέρασμα

Η ανάπτυξη της CommonPool αντανακλά μια σημαντική μετάβαση στο πώς οι μεγάλης κλίμακας βάσεις δεδομένων ΤΝ συλλαμβάνονται και διατηρούνται. Αν και προηγούμενες συλλογές όπως η LAION-5B και η COYO προώθησαν την κλίμακα με περιορισμένη επιτήρηση, η CommonPool δείχνει ότι η διαφάνεια, το φιλτράρισμα και η διακυβέρνηση μπορούν να ενσωματωθούν στη διαδικασία κατασκευής της βάσης δεδομένων χωρίς να υπονομεύουν την χρησιμότητα για έρευνα.

Διατηρώντας μεταδεδομένα, εφαρμόζοντας ελέγχους ευθυγράμμισης και ενσωματώνοντας μέτρα ασφαλείας, προσφέρει ένα πιο αναπαραγωγιμόν και υπεύθυνο πόρο. Ταυτόχρονα, ανεξάρτητοι έλεγχοι μας υπενθυμίζουν ότι τα αυτόματα μέτρα ασφαλείας δεν μπορούν να εξαφανίσουν完全ά τα ρίσκα, υπογραμμίζοντας την ανάγκη για συνεχής επιτήρηση.