Η Google Research φέρνει την ανθρώπινη διαβούλευση στους υποκειμενικούς ταξινομητές ΤΝ

Στις 4 Νοεμβρίου 2026, η Google Research παρουσίασε το Agile Deliberation, ένα διαδραστικό πλαίσιο για τη δημιουργία ταξινομητών εικόνων με βάση υποκειμενικές κατηγορίες, μαζί με κώδικα ανοικτού κώδικα και μια επίδειξη σε μορφή σημειωματάριου. Σε μια μελέτη χρηστών με 18 συνεδρίες, οι ερευνητές ανέφεραν καλύτερα αποτελέσματα ταξινόμησης και μικρότερη απαιτούμενη προσπάθεια σε σύγκριση με τη μη αυτόματη βελτίωση των προτροπών.

Το πλαίσιο αφορά κατηγορίες των οποίων τα όρια εξαρτώνται από την προσωπική κρίση, το πολιτισμικό πλαίσιο ή την πολιτική λειτουργίας: υγιεινά τρόφιμα, έργα τέχνης που εμπνέουν και εικόνες clickbait που υπόσχονται παραπλανητικές ανταμοιβές. Βασική παραδοχή του είναι ότι οι χρήστες συχνά ανακαλύπτουν τα δικά τους όρια λήψης αποφάσεων καθώς εξετάζουν δύσκολα παραδείγματα. Σε μια συμβατική διαδικασία επισήμανσης, τα όρια αυτά θεωρούνται σταθερά πριν αρχίσει η επισήμανση, με αποτέλεσμα οι μεταβολές στην πρόθεση να εκδηλώνονται ως ασυνεπείς ετικέτες ή αυθαίρετες αποφάσεις του μοντέλου.

Το Agile Deliberation μετατρέπει τον εξελισσόμενο ορισμό τόσο σε προδιαγραφή κατανοητή από ανθρώπους όσο και στην προτροπή που καθοδηγεί έναν ταξινομητή μοντέλου όρασης-γλώσσας. Ο σχεδιασμός βασίζεται σε συνεντεύξεις με πέντε ειδικούς στην εποπτεία περιεχομένου και σε ποιοτική ανάλυση 20 ορισμών από τις επαγγελματικές τους διαδικασίες εργασίας. Η ανάλυση έδειξε ότι οι ειδικοί οριοθετούν πρώτα τις έννοιες και στη συνέχεια τις βελτιώνουν εξετάζοντας οριακές εικόνες.

Τα δύο στάδια της διαβούλευσης για τις έννοιες

Η οριοθέτηση των εννοιών χωρίζει μια αρχική ιδέα σε υποψήφιες θετικές και αρνητικές υποέννοιες. Για παράδειγμα, ένας χρήστης που δημιουργεί έναν ταξινομητή υγιεινών τροφίμων μπορεί να συμπεριλάβει σαλάτες και μπολ με δημητριακά, αποκλείοντας παράλληλα τα επεξεργασμένα τρόφιμα ή τα ωμά, μη προετοιμασμένα συστατικά. Ενδεικτικές εικόνες τεκμηριώνουν κάθε επιλογή, ενώ οι υποέννοιες που δεν περιγράφουν ουσιαστικά οπτικά μοτίβα μπορούν να απορριφθούν πριν δημιουργηθεί ο πρώτος ταξινομητής.

Στη συνέχεια, η διαδικασία επανάληψης των εννοιών αναζητά εικόνες που βρίσκονται στα όρια της σημασίας, αντί να επιλέγει απλώς περιπτώσεις στις οποίες η βεβαιότητα του μοντέλου πλησιάζει το 0.5. Οι ερευνητές υποστηρίζουν ότι η βεβαιότητα των μοντέλων όρασης-γλώσσας μπορεί να μην είναι καλά βαθμονομημένη ως προς την ανθρώπινη αμφισημία: το μοντέλο μπορεί να είναι βέβαιο για μια εικόνα που ένας άνθρωπος δυσκολεύεται να αξιολογήσει. Τα ανακτημένα παραδείγματα αποδιπλοποιούνται και ομαδοποιούνται, ενώ ένας κανόνας πολυοπλισμένου ληστή δίνει προτεραιότητα στις ομάδες που στο παρελθόν διόρθωσαν σφάλματα ή παρήγαγαν χρήσιμη ανατροφοδότηση.

Ένα στάδιο εντοπισμού αμφισημιών οργανώνει μια παρτίδα εικόνων γύρω από ένα ερμηνεύσιμο ζήτημα, όπως οι κρεμώδεις σάλτσες, η περιεκτικότητα σε ζάχαρη ή το μέγεθος της μερίδας, και δημιουργεί μια σύντομη εξήγηση για την αμφισημία κάθε εικόνας. Οι χρήστες επισημαίνουν αν οι εικόνες εμπίπτουν ή όχι στο πεδίο εφαρμογής και μπορούν να προσθέσουν αιτιολογήσεις σε φυσική γλώσσα. Το σύστημα δημιουργεί εναλλακτικούς ορισμούς, τους δοκιμάζει με βάση όλες τις ετικέτες που έχουν συλλεχθεί μέχρι εκείνη τη στιγμή, επιλέγει τον υποψήφιο ορισμό με την καλύτερη βαθμολογία F1 και επιτρέπει μη αυτόματες τροποποιήσεις.

Το πρωτότυπο χρησιμοποιεί το Gemini 2.5 Pro για την αποσύνθεση και το Gemini 2.5 Flash για την ταξινόμηση, τη δημιουργία ερωτημάτων για οριακές περιπτώσεις και τον εντοπισμό αμφισημιών. Τα μοντέλα χρησιμοποιήθηκαν χωρίς πρόσθετη εκπαίδευση ή βελτιστοποίηση και η διεπαφή λειτουργεί μέσω ενός διαδραστικού σημειωματάριου Colab.

Τι έδειξε η μελέτη με χρήστες

Εννέα συμμετέχοντες χωρίς επαγγελματική εμπειρία στην εποπτεία περιεχομένου ολοκλήρωσαν ο καθένας δύο συνεδρίες διάρκειας περίπου 90 λεπτών: μία με το Agile Deliberation και μία με μη αυτόματη διαβούλευση. Η σειρά χρήσης των συστημάτων τυχαιοποιήθηκε. Οι δύο έννοιες που δοκιμάστηκαν ήταν τα υγιεινά τρόφιμα και η εποπτεία clickbait τύπου «πλήρωσε για να παίξεις». Κάθε συνεδρία περιλάμβανε περίπου 45 λεπτά εργασίας για τη διατύπωση ορισμών, επισήμανση 200 εικόνων δοκιμής που είχαν παραμείνει εκτός της διαδικασίας εκπαίδευσης, ένα ερωτηματολόγιο και μια συνέντευξη διάρκειας 15 λεπτών. Στις συγκρίσεις περιλαμβάνονταν επίσης η ταξινόμηση μηδενικής λήψης και το Modeling Collaborator, μια αυτοματοποιημένη μέθοδος αποσύνθεσης που χρησίμευσε ως γραμμή βάσης. Οι συμμετέχοντες στη μη αυτόματη διαδικασία μπορούσαν να συμβουλεύονται τις αναλυτικές προτροπές του συστήματος.

Το άρθρο αναφέρει ότι το Agile Deliberation βελτίωσε τη βαθμολογία F1 κατά 11% σε σχέση με τη γραμμή βάσης μηδενικής λήψης για την κατηγορία pay-to-play, ενώ η μη αυτόματη διαβούλευση παρουσίασε βελτίωση 8% σε σχέση με τη δική της γραμμή βάσης. Για τα υγιεινά τρόφιμα, η μεταβολή ήταν βελτίωση 10% για το Agile Deliberation και μείωση 3% για τη μη αυτόματη διαδικασία. Τα κέρδη οφείλονταν κυρίως στη βελτίωση της ακρίβειας θετικών προβλέψεων, η οποία συνοδεύτηκε από μικρότερες μειώσεις στην ανάκληση. Δεν χρησιμοποιήθηκε η ακρίβεια, επειδή οι εξατομικευμένοι ορισμοί των συμμετεχόντων οδήγησαν σε μη ισορροπημένες κατανομές ετικετών στα δεδομένα δοκιμής.

Όλοι οι συμμετέχοντες προτίμησαν το Agile Deliberation από τη μη αυτόματη διαβούλευση. Οι συμμετέχοντες ανέφεραν μέση προσπάθεια 3.11 με το Agile Deliberation έναντι 4.67 με τη μη αυτόματη εργασία· οι μέσες βαθμολογίες για το αίσθημα ανασφάλειας, άγχους ή ενόχλησης ήταν 1.67 και 3.00, αντίστοιχα. Και οι δύο διαφορές χαρακτηρίστηκαν στατιστικά σημαντικές, με p<.05. Οι συνεντεύξεις έδωσαν μια πρακτική εξήγηση: όσοι εργάστηκαν μη αυτόματα έπρεπε να επινοούν αναζητήσεις για αντιπαραδείγματα, ενώ ορισμένοι ανησυχούσαν ότι μια τροποποίηση της προτροπής που διόρθωνε ένα σφάλμα θα επηρέαζε αρνητικά τη συμπεριφορά του συστήματος σε άλλες περιπτώσεις.

Περιορισμοί της μελέτης και διαθεσιμότητα κώδικα

Η αξιολόγηση έχει επίσης σαφείς περιορισμούς. Οι συγγραφείς επισημαίνουν ότι οι εννέα συμμετέχοντες περιορίζουν τη στατιστική ισχύ και τη δυνατότητα γενίκευσης των ευρημάτων, ενώ κάθε άτομο χρησιμοποίησε τα δύο συστήματα για διαφορετικές έννοιες, ώστε να αποφευχθεί η μεταφορά ενός ήδη διαμορφωμένου ορισμού στη δεύτερη συνεδρία. Επομένως, η υποκειμενική εμπειρία μπορούσε να συγκριθεί εντός των ίδιων συμμετεχόντων, αλλά η απόδοση των ταξινομητών μπορούσε να συγκριθεί μόνο μεταξύ ομάδων συμμετεχόντων. Η μελέτη δεν απομόνωσε μεμονωμένα στοιχεία του συστήματος ούτε αξιολόγησε ολόκληρη τη διαδικασία με άλλα παραγωγικά μοντέλα.

Το αποθετήριο ανοιχτού κώδικα περιλαμβάνει τον συνοδευτικό κώδικα και το σύνολο δεδομένων, καθώς και ένα σημειωματάριο Demo.ipynb με αναλυτικές οδηγίες βήμα προς βήμα για το Jupyter ή το Google Colab. Η επίδειξή του δημιουργεί ένα ευρετήριο ανάκτησης με βάση τους πλησιέστερους γείτονες για το LAION400M. Η προεπιλεγμένη ρύθμιση κατεβάζει δύο τμήματα, συνολικού μεγέθους περίπου 260 MB, για την επαλήθευση της διαδικασίας· η ρύθμιση με 100 τμήματα, όπως περιγράφεται στην τεκμηρίωση, έχει συνολικό μέγεθος περίπου 13 GB. Η ανάκτηση, η λήψη εικόνων από εξωτερικές πηγές και οι κλήσεις προς μοντέλα μπορεί να διαρκέσουν από λίγα δευτερόλεπτα έως λίγα λεπτά, ένα μεμονωμένο κλειδί API ενδέχεται να υπόκειται σε περιορισμό ρυθμού και αρκετά στάδια υποστηρίζουν προσωρινή αποθήκευση στον δίσκο. Η αποποίηση ευθύνης του αποθετηρίου αναφέρει ότι το προϊόν δεν υποστηρίζεται επίσημα από την Google.

Η πρακτική συμβολή του Agile Deliberation είναι ότι καθιστά την υποκειμενική πρόθεση ρητό και αναθεωρήσιμο μέρος της ανάπτυξης ταξινομητών. Οι χρήστες μπορούν να εξετάζουν θετικούς και αρνητικούς κανόνες, να διερευνούν τις οριακές περιπτώσεις που ανέδειξαν κενά και να αιτιολογούν τις αναθεωρήσεις. Για τις ομάδες εποπτείας και επιμέλειας περιεχομένου, αυτό σημαίνει ότι ο ορισμός της κατηγορίας και οι ανθρώπινες κρίσεις που τον διαμορφώνουν αποτελούν μέρος της διαφανούς διαδικασίας ανάπτυξης του ταξινομητή.