Η ‘Δウンلود Περισσότερων Ετικετών!’ Ψευδαίσθηση στην Έρευνα του AI

Μια κοινή άποψη στη σημερινή έρευνα του machine learning είναι ότι το machine learning μπορεί να χρησιμοποιηθεί για να βελτιωθεί η ποιότητα των αναθημάτων του συνόλου δεδομένων του AI – ιδιαίτερα των legendων εικόνων που προορίζονται για χρήση σε μοντέλα οράσεως-γλώσσας (VLMs). Αυτή η σκέψη οδηγείται από το υψηλό κόστος της ανθρώπινης αναθέματος και του επιπλέον φόρτου της επίβλεψης της απόδοσης του αναθέματος.

Αξιολογώντας, αυτό είναι το AI ισοδύναμο του meme “κατέβασε περισσότερη μνήμη RAM” στις αρχές της δεκαετίας του 2000, το οποίο σατίριζε την ιδέα ότι μια περιορισμός του υλικού θα μπορούσε να επιλυθεί με μια λύση βασισμένη στο λογισμικό.

Είναι επίσης ένα υποτιμημένο ζήτημα· ενώ τα νέα μοντέλα AI προσελκύουν ευρεία προσοχή σε δημόσιους και εμπορικούς χώρους, η αναθέματος φαίνεται συχνά να είναι ένα琐λο λεπτό στη διαδικασία του machine learning, που επισκιάζεται από την ενθουσιασμό που περιβάλλει τα ευρύτερα πλαισια.

Στην πραγματικότητα, η ικανότητα των συστημάτων machine learning να αναγνωρίζουν και να αναπαράγουν μοτίβα (η κεντρική χρήση περίπου όλων των συστημάτων AI) είναι εξαρτημένη από την ποιότητα και τη συνέπεια των πραγματικών αναθημάτων – ετικετών και φράσεων που δημιουργούνται ή κρίνονται από πραγματικά άτομα, συχνά με τη λήψη υποκειμενικών αποφάσεων για μεμονωμένα δεδομένα σε μη ιδανικές συνθήκες.

Αποφεύγοντας, τα συστήματα που επιδιώκουν να παρατηρήσουν και να αναπαράγουν μοτίβα στη συμπεριφορά του αναθέματος (και να αντικαταστήσουν τους ανθρώπινους αναθέτες και να διευκολύνουν την ακριβή ετικετοποίηση σε κλίμακα) δεν μπορούν να ελπίσουν να λειτουργήσουν καλά σε δεδομένα ไม που περιέχονται στα παραδείγματα που λαμβάνονται από ανθρώπινους παρατηρητές. Τίποτα “παρόμοιο” δεν είναι ακριβώς το ίδιο, και η ισοδυναμία μεταξύ διαφορετικών τομέων παραμένει ένα προβληματικό ζήτημα στην οπτική ανίχνευση.

Το “πάνω στο ρεύμα” πρέπει να σταματήσει κάπου, και σε αυτή την περίπτωση, αυτό είναι ακριβώς όπου σταματά – με ένα ανθρώπινο κερεκόν που κάνει κάποια υποκειμενική διάκριση για να κωδικοποιήσει δεδομένα για ένα τεχνητό σύστημα.

Η Εμπόριο ΡΑΓ

Μέχρι πρόσφατα, οι ανακρίβειες που προέρχονται από τις αναθέματα του συνόλου δεδομένων που δεν έχουν διορθωθεί πλήρως θεωρούνταν, ίσως, ως αποδεκτό παράπλευρο ζήτημα στο контέκστ του ατελούς αλλά ακόμη πωλησιμού αποτελέσματος που λαμβάνεται από τα γεννητικά συστήματα AI.

Πράγματι, μόνο φέτος μια μελέτη από τη Σιγκαπούρη κατέληξε στο συμπέρασμα ότι οι οπτασιές – δηλαδή οι περιπτώσεις όπου τα συστήματα AI εφευρίσκουν πράγματα που υπονομεύουν τις προθέσεις μας – είναι αναπόφευκτες και συνδεδεμένες με την αρχιτεκτονική των συστημάτων.

Για να αντιμετωπίσουν αυτό, πράκτορες RAG – οι οποίοι μπορούν να “επιβεβαιώσουν” γεγονότα μέσω διαδικτυακών αναζητήσεων – γίνονται δημοφιλείς στην έρευνα και στις εμπορικές λύσεις. Ωστόσο, αυτοί προστίθενται στο κόστος των πόρων και στη latence στις ερωτήσεις· επιπλέον, νέα πληροφορία που εφαρμόζεται σε ένα εκπαιδευμένο μοντέλο δεν μπορεί να ανταγωνιστεί τις πιο περίπλοκες και βαθιά συνδεδεμένες συνδέσεις που χαρακτηρίζουν τα εγγενή στρώματα σε ένα εκπαιδευμένο μοντέλο.

Θα ήταν καλύτερο αν τα δεδομένα αναθέματος που ενημερώνουν αυτά τα μοντέλα ήταν σημαντικά λιγότερο ελαττωματικά από την αρχή, ακόμη και αν δεν μπορούν να είναι τέλεια (ούτε因为 αυτή η δραστηριότητα εισβάλλει στο πεδίο της ανθρώπινης υποκειμενικότητας).

RePOPE

Μια νέα μελέτη από τη Γερμανία υπογραμμίζει τα προβλήματα που προκύπτουν από την εξάρτηση από παλαιότερα, ευρέως χρησιμοποιούμενα συνόλα δεδομένων, με εστίαση ιδιαίτερα στην ακρίβεια και την αξιοπιστία των legendων εικόνων. Τα ευρήματα των ερευνητών δείχνουν ότι οι σφάλματα ετικετών σε αναθέματα μπορούν να κρύψουν ή να παρουσιάσουν λανθασμένα την οπτασία σε μοντέλα οράσεως-γλώσσας.

Από τη νέα μελέτη, κάποια παραδείγματα όπου οι αρχικές legendες δεν κατάφεραν να αναγνωρίσουν σωστά αντικείμενα στο σύνολο δεδομένων εικόνων MSCOCO. Η χειροκίνητη αναθεώρηση των ερευνητών του συνόλου δεδομένων POPE αντιμετωπίζει αυτές τις ελλείψεις, δείχνοντας το κόστος της εξοικονόμησης χρημάτων στην επιμέλεια αναθέματος. Πηγή: https://arxiv.org/pdf/2504.15707

Φανταστείτε ένα μοντέλο που δείχνει μια εικόνα μιας σκηνής δρόμου και ζητάει αν υπάρχει ένα ποδήλατο σε αυτή. Το μοντέλο απαντάει ναι. Αν το σύνολο δεδομένων αναθέματος λέει ότι δεν υπάρχει ποδήλατο, το μοντέλο σημειώνεται ως λάθος. Αλλά αν ένα ποδήλατο είναι πραγματικά ορατό στην εικόνα και απλά δεν αναγνωρίστηκε κατά τη διάρκεια του αναθέματος, τότε η απάντηση του μοντέλου ήταν σωστή, και το σύνολο δεδομένων αναθέματος απέτυχε. Σφάλματα σαν αυτό μπορούν να συσσωρευτούν σε ένα σύνολο δεδομένων, δίνοντας μια παραμορφωμένη εικόνα για ποια μοντέλα είναι ακριβή και ποια είναι ευάλωτα στην οπτασία.

Έτσι, όταν λανθασμένα ή αμφίβολα αναθέματα αντιμετωπίζονται ως πραγματικά, τα μοντέλα μπορεί να φαίνονται να οπτασιούνται όταν είναι σωστά, ή να φαίνονται ακριβή όταν δεν είναι, παραμορφώνοντας και τις δύο μετρήσεις της οπτασίας και της κατάταξης των μοντέλων, και καθιστώντας πιο δύσκολο να διαγνώσει ή να αντιμετωπίσουν το πρόβλημα με βεβαιότητα.

Η νέα μελέτη επανεξετάζει ένα ευρέως χρησιμοποιούμενο σύνολο δεδομένων που ονομάζεται Polling-based Object Probing Evaluation (POPE), το οποίο δοκιμάζει αν τα μοντέλα οράσεως-γλώσσας μπορούν να πούν σωστά τι είναι ή δεν είναι σε μια εικόνα.

Το POPE βασίζεται σε ετικέτες από το επιδραστικό Microsoft COCO: Common Objects in Context (MSCOCO) σύνολο δεδομένων, μια συλλογή αναθημάτων εικόνων που έχει θεωρηθεί ότι προσφέρει ένα καλό επίπεδο ακρίβειας αναθέματος.

Το POPE αξιολογεί την οπτασία αντικειμένων σε μεγάλα μοντέλα οράσεως-γλώσσας αναδιαμορφώνοντας το πρόβλημα ως binary classification task. Αντί να αναλύει τις γεννημένες legendες, το σύστημα θέτει απλές ναι/όχι ερωτήσεις στο μοντέλο για το αν συγκεκριμένα αντικείμενα είναι παρόντα σε μια εικόνα, χρησιμοποιώντας προτύπου όπως ‘Υπάρχει ένα <αντικείμενο> στην εικόνα?’.

Παραδείγματα οπτασίας αντικειμένων σε μοντέλα οράσεως-γλώσσας. Οι τολμηρές ετικέτες δείχνουν αντικείμενα που σημειώθηκαν ως παρόντα στις αρχικές αναθέματα, ενώ οι κόκκινες ετικέτες δείχνουν αντικείμενα που οπτασιούνται από τα μοντέλα. Το αριστερό παράδειγμα αντανακλά μια παραδοσιακή instruction-based αξιολόγηση, ενώ τα τρία δεξιά παραδείγματα είναι από διαφορετικές παραλλαγές του συνόλου δεδομένων POPE.

Οι ερωτήσεις “ναι” (απάντηση: ναι) είναι ζευγαρωμένες με δείγματα μη υπαρχουσών αντικειμένων (απάντηση: όχι), που επιλέγονται μέσω τυχαίων, συχνών (δημοφιλών) ή στρατηγικών (ανταγωνιστικών) στρατηγικών. Αυτή η ρύθμιση επιτρέπει μια πιο σταθερή, prompt-insensitive αξιολόγηση της οπτασίας χωρίς να βασίζεται σε σύνθετες κανόνες αναθέματος.

Οι συγγραφείς της νέας μελέτης – με τίτλο RePOPE: Impact of Annotation Errors on the POPE Benchmark – αμφισβητούν την υποτιθέμενη ακρίβεια του POPE επαναεξετάζοντας τις ετικέτες στις εικόνες του συνόλου δεδομένων (δηλαδή MSCOCO) – και βρίσκοντας ότι ένα आश्चυρό ποσοστό από αυτές είναι λανθασμένες ή αμφίβολα.

Παραδείγματα από το σύνολο δεδομένων εικόνων MSCOCO του 2014. Πηγή: https://arxiv.org/pdf/1405.0312

Αυτά τα σφάλματα αλλάζουν τον τρόπο κατάταξης των μοντέλων, με κάποια που αρχικά είχαν καλή απόδοση να πέφτουν πίσω όταν αξιολογούνται με τις διορθωμένες ετικέτες.

Στις δοκιμές, οι συγγραφείς αξιολόγησαν μια σειρά από ανοιχτά μοντέλα βάρους σε POPE και στο RePOPE, σε διάφορες αρχιτεκτονικές και μεγέθη μοντέλων.

Τα αποτελέσματα των γραфикών παραπάνω δείχνουν πώς ο αριθμός των true positives και false positives αλλάζει μετά τη διόρθωση των ετικετών στο σύνολο δεδομένων.

Τα true positives έπεσαν σε όλα τα μοντέλα, δείχνοντας ότι αυτά είχαν πιστωθεί για σωστές απαντήσεις όταν αυτές οι απαντήσεις ήταν σωστές μόνο υπό τις λανθασμένες ετικέτες, ενώ τα false positives ακολούθησαν ένα πιο ποικίλο μοτίβο.

Στην “τυχαία” εκδοχή του POPE, τα false positives σχεδόν διπλασίασαν για πολλά μοντέλα, δείχνοντας ότι ένας σημαντικός αριθμός αντικειμένων που σημειώθηκαν ως οπτασιές ήταν στην πραγματικότητα παρόντα στις εικόνες αλλά είχαν παραλειφθεί στις αρχικές ετικέτες. Σε αυτή την περίπτωση, πολλά υποτιθέμενα λάθη μοντέλων ήταν στην πραγματικότητα σφάλματα ετικετών του συνόλου δεδομένων.

Για την “ανταγωνιστική” εκδοχή του POPE, όπου οι ερωτήσεις βασίζονταν σε αντικείμενα που συχνά συνυπάρχουν, τα false positives μειώθηκαν. Αυτό πιθανότατα αντανακλά μια υψηλότερη πιθανότητα ότι το υποτιθέμενο απουσιάζον αντικείμενο ήταν πραγματικά στην εικόνα αλλά απεικονίστηκε αδηλωμένο.

Αν και αυτές οι αλλαγές επηρέασαν την ακρίβεια και την ανάκληση, οι κατατάξεις των μοντέλων παρέμειναν σχετικά σταθερές για cả τα δύο μέτρα.

Το σκορ F1 – το κύριο μέτρο αξιολόγησης του POPE – ήταν πολύ πιο ευαίσθητο στις διορθώσεις ετικετών. Στην τυχαία υποσύνολο, τα μοντέλα που κατετάγησαν κοντά στην κορυφή με τις αρχικές ετικέτες, όπως το InternVL2.5-8B και -26B, έπεσαν στο κάτω μέρος όταν αξιολογούνται με το RePOPE. Άλλα, όπως το Ovis2-4B και -8B, ανέβηκαν στην κορυφή.

Ένα παρόμοιο μοτίβο εμφανίστηκε στα σκορ ακρίβειας, αν και οι συγγραφείς σημειώνουν ότι αυτά τα σκορ μπορεί να είναι τώρα偏ασμένα, καθώς το διορθωμένο σύνολο δεδομένων περιέχει一个 ανίσο αριθμό θετικών και αρνητικών παραδειγμάτων.

Οι συγγραφείς υποστηρίζουν ότι η ισχυρή επίδραση των σφαλμάτων ετικετών στις κατατάξεις του συνόλου δεδομένων υπογραμμίζει την ανάγκη για υψηλής ποιότητας δεδομένα. Για να υποστηρίξουν μια πιο αξιόπιστη αξιολόγηση της οπτασίας αντικειμένων, έχουν δημοσιεύσει τις διορθωμένες ετικέτες στο GitHub.

Ωστόσο, σημειώνουν ότι αυτή η αναθεώρηση δεν αντιμετωπίζει πλήρως την κορύφωση του συνόλου δεδομένων,既然 πολλά μοντέλα ακόμη επιτύγχαναν πραγματικά θετικά και αρνητικά ποσοστά πάνω από 90%. Προτείνουν ότι επιπλέον συνόλα δεδομένων, όπως το DASH-B, το οποίο χρησιμοποιεί ένα πιο απαιτητικό σύνολο αρνητικών παραδειγμάτων, θα πρέπει να χρησιμοποιούνται παράλληλα με το RePOPE.

Μέθοδος και Δοκιμές

Οι ερευνητές αναθέτησαν ξανά όλες τις ετικέτες στο αρχικό σύνολο δεδομένων MSCOCO, με δύο ανθρώπινους αναθέτες που назначθηκαν σε κάθε δεδομένο παράδειγμα. Όπου προέκυψε αμφιβολία σχετικά με την ποιότητα των αρχικών ετικετών (όπως στα παρακάτω παραδείγματα), αυτά τα αποτελέσματα απομακρύνθηκαν από τον γύρο δοκιμών.

Αμφίβολα περιπτώσεις, όπου ασυνέπειες στις ετικέτες του POPE αντανακλούν ασαφείς οριακές περιοχές. Για παράδειγμα, ένα τεντ μπέαρ που σημειώθηκε ως αρκούδα, ένα μοτοσικλέτα ως ποδήλατο, ή αεροπορικά οχήματα ως αυτοκίνητα. Αυτές οι περιπτώσεις απομακρύνθηκαν από το RePOPE λόγω της υποκειμενικής φύσης των ταξινομήσεων, καθώς και των ασυνεπαθειών στις αρχικές ετικέτες του MSCOCO.

Το έγγραφο αναφέρει:

‘Οι αρχικοί αναθέτες missed άτομα στο φόντο ή πίσω από γυαλί, ο τενίστας κρύβει τις ‘καρέκλες’ στο φόντο και το κολ σλαου περιέχει μόνο μια μικρή ορατή λωρίδα από καρότο.

‘Για κάποια αντικείμενα, οι ετικέτες του COCO είναι υψηλά ασυνεπείς, πιθανώς λόγω διαφορετικών ορισμών που χρησιμοποιούνται από τους αρχικούς αναθέτες. Η ταξινόμηση ενός ‘τεντ μπέαρ’ ως ‘αρκούδα’, ενός μοτοσικλέτα ως ‘ποδήλατο’, ή ενός αεροπορικού οχήματος ως ‘αυτοκίνητο’ εξαρτάται από συγκεκριμένους ορισμούς, οδηγώντας σε ασυνέπειες στις ετικέτες του POPE.，因此, αναθέτουμε τις αντίστοιχες εικόνα-ερωτήσεις ως ‘αμφίβολα’.’

Αποτελέσματα της αναθέτησης: οι θετικές ερωτήσεις είναι κοινές σε όλες τις παραλλαγές του POPE. Μεταξύ εκείνων που σημειώθηκαν ως ‘ναι’ στο POPE, το 9.3% ήταν λανθασμένα και το 13.8% ήταν ταξινομημένα ως αμφίβολα. Για τις ερωτήσεις ‘όχι’, το 1.7% ήταν λανθασμένα και το 4.3% ήταν αμφίβολα.

Οι συγγραφείς αξιολόγησαν μια σειρά από ανοιχτά μοντέλα βάρους στο POPE και στο RePOPE, σε διάφορες αρχιτεκτονικές και μεγέθη μοντέλων. Τα μοντέλα που επιλέχθηκαν περιελάμβαναν κάποια από τις κορυφαίες αρχιτεκτονικές στο OpenVLM leaderboard: InternVL2.5 (8B/26B/38B/78B και 8B-MPO/26B-MPO); LLaVA-NeXT; Vicuna; Mistral 7b; Llama; LLaVA-OneVision; Ovis2 (1B/2B/4B/8B); PaliGemma-3B; και PaliGemma2 (3B/10B).

Αρχικά αποτελέσματα: το υψηλό ποσοστό σφαλμάτων στις αρχικές θετικές ετικέτες οδηγεί σε μια απότομη πτώση των true positives σε όλα τα μοντέλα. Τα false positives ποικίλλουν σε υποσύνολα, σχεδόν διπλασιάζοντας στην τυχαία υποσύνολο, αλλά παραμένουν σχεδόν αμετάβλητα στην δημοφιλή υποσύνολο, και δείχνουν μια μικρή μείωση στην ανταγωνιστική υποσύνολο. Η αναθέτηση έχει μια σημαντική επίδραση στις κατατάξεις F1. Μοντέλα όπως το Ovis2-4B και Ovis2-8B, που είχαν καλή απόδοση στην δημοφιλή και ανταγωνιστική υποσύνολο του POPE, ανεβαίνουν στην κορυφή και στην τυχαία υποσύνολο του RePOPE.

Τα αποτελέσματα των γραфикών παραπάνω δείχνουν πώς ο αριθμός των true positives και false positives αλλάζει μετά τη διόρθωση των ετικετών στο σύνολο δεδομένων.

Τα true positives έπεσαν σε όλα τα μοντέλα, δείχνοντας ότι αυτά είχαν πιστωθεί για σωστές απαντήσεις όταν αυτές οι απαντήσεις ήταν σωστές μόνο υπό τις λανθασμένες ετικέτες, ενώ τα false positives ακολούθησαν ένα πιο ποικίλο μοτίβο.

Στην “τυχαία” εκδοχή του POPE, τα false positives σχεδόν διπλασίασαν για πολλά μοντέλα, δείχνοντας ότι ένας σημαντικός αριθμός αντικειμένων που σημειώθηκαν ως οπτασιές ήταν στην πραγματικότητα παρόντα στις εικόνες αλλά είχαν παραλειφθεί στις αρχικές ετικέτες. Σε αυτή την περίπτωση, πολλά υποτιθέμενα λάθη μοντέλων ήταν στην πραγματικότητα σφάλματα ετικετών του συνόλου δεδομένων.

Για την “ανταγωνιστική” εκδοχή του POPE, όπου οι ερωτήσεις βασίζονταν σε αντικείμενα που συχνά συνυπάρχουν, τα false positives μειώθηκαν. Αυτό πιθανότατα αντανακλά μια υψηλότερη πιθανότητα ότι το υποτιθέμενο απουσιάζον αντικείμενο ήταν πραγματικά στην εικόνα αλλά απεικονίστηκε αδηλωμένο.

Αν και αυτές οι αλλαγές επηρέασαν την ακρίβεια και την ανάκληση, οι κατατάξεις των μοντέλων παρέμειναν σχετικά σταθερές για cả τα δύο μέτρα.

Το σκορ F1 – το κύριο μέτρο αξιολόγησης του POPE – ήταν πολύ πιο ευαίσθητο στις διορθώσεις ετικετών. Στην τυχαία υποσύνολο, τα μοντέλα που κατετάγησαν κοντά στην κορυφή με τις αρχικές ετικέτες, όπως το InternVL2.5-8B και -26B, έπεσαν στο κάτω μέρος όταν αξιολογούνται με το RePOPE. Άλλα, όπως το Ovis2-4B και -8B, ανέβηκαν στην κορυφή.

Ένα παρόμοιο μοτίβο εμφανίστηκε στα σκορ ακρίβειας, αν και οι συγγραφείς σημειώνουν ότι αυτά τα σκορ μπορεί να είναι τώρα偏ασμένα, καθώς το διορθωμένο σύνολο δεδομένων περιέχει一个 ανίσο αριθμό θετικών και αρνητικών παραδειγμάτων.

Οι συγγραφείς υποστηρίζουν ότι η ισχυρή επίδραση των σφαλμάτων ετικετών στις κατατάξεις του συνόλου δεδομένων υπογραμμίζει την ανάγκη για υψηλής ποιότητας δεδομένα. Για να υποστηρίξουν μια πιο αξιόπιστη αξιολόγηση της οπτασίας αντικειμένων, έχουν δημοσιεύσει τις διορθωμένες ετικέτες στο GitHub.

Ωστόσο, σημειώνουν ότι αυτή η αναθεώρηση δεν αντιμετωπίζει πλήρως την κορύφωση του συνόλου δεδομένων,既然 πολλά μοντέλα ακόμη επιτύγχαναν πραγματικά θετικά και αρνητικά ποσοστά πάνω από 90%. Προτείνουν ότι επιπλέον συνόλα δεδομένων, όπως το DASH-B, το οποίο χρησιμοποιεί ένα πιο απαιτητικό σύνολο αρνητικών παραδειγμάτων, θα πρέπει να χρησιμοποιούνται παράλληλα με το RePOPE.

Συμπέρασμα

Αυτό το πείραμα ήταν δυνατό λόγω του πολύ μικρού μεγέθους του συνόλου δεδομένων που εμπλέκεται. Η απόδειξη της ίδιας υπόθεσης σε υπερκλίμακα συνόλου δεδομένων θα απαιτούσε εργασία σε πολύ περιορισμένα τμήματα των δεδομένων· σε高度 διαφορετικά μεγάλα συνόλα δεδομένων, μπορεί να αποδειχθεί σχεδόν αδύνατο να απομονωθούν στατιστικά αντιπροσωπευτικά και σεμαντικά συνεκτικά ομάδες – πιθανότατα να στρεβλώσει τα αποτελέσματα.

Ακόμη και αν ήταν δυνατό, ποια θα ήταν η λύση υπό την τρέχουσα κατάσταση της τέχνης; Το επιχείρημα επιστρέφει αναπόφευκτα στην ανάγκη για καλύτερη και πιο άφθονη ανθρώπινη αναθέματος.

Σε αυτή την περίπτωση, ‘καλύτερη’ και ‘περισσότερη’ υπάρχουν ως ξεχωριστά προβλήματα,既然 μπορείτε να αποκτήσετε μεγαλύτερο όγκο αναθημάτων μέσω οικονομιών που βασίζονται σε φτηνά εργατικά χέρια, όπως το Amazon Mechanical Turk (AMT). Προφανώς, αυτή η πιθανώς εκμεταλλευτική υποοικονομία συχνά οδηγεί σε κατώτερα αποτελέσματα.

Εναλλακτικά, θα μπορούσατε να αναθέσετε εργασίες αναθέματος σε οικονομικές περιοχές όπου η ίδια δαπάνη θα οδηγούσε σε μεγαλύτερο όγκο αναθημάτων. Ωστόσο, όσο πιο μακριά ο αναθέτης είναι από την προτεινόμενη χρήση του μοντέλου, τόσο λιγότερο πιθανό είναι ότι το μοντέλο θα ευθυγραμμίσει με τις ανάγκες ή τις προσδοκίες του στόχου τομέα.

Αυτό παραμένει ένα από τα πιο επιμονή και ανεπίλυτα προβλήματα στην οικονομία της ανάπτυξης του machine learning.

Η περίπτωση του μοντέλου, οι ετικέτες που θα σχηματίσει, το λιγότερο πιθανό είναι ότι το μοντέλο θα ευθυγραμμίσει με τις ανάγκες ή τις προσδοκίες του στόχου τομέα. Αυτό παραμένει ένα από τα πιο επιμονή και ανεπίλυτα προβλήματα στην οικονομία της ανάπτυξης του machine learning. Πρώτη δημοσίευση Τετάρτη, 23 Απριλίου 2025