Οι ερευνητές της Google ανακάλυψαν το πρόβλημα της υποκαθορισμού που εμποδίζει πολλά μοντέλα AI

Προσφάτως, μια ομάδα ερευνητών από τη Google (GOOGL ) έχει ανακαλύψει μια κοινή αιτία για τα λάθη των μοντέλων AI, επισημαίνοντας τον υποκαθορισμό ως einen από τους κύριους λόγους που τα μοντέλα μηχανικής μάθησης συχνά λειτουργούν πολύ διαφορετικά σε πραγματικές συνθήκες από ό,τι κατά τη διάρκεια των δοκιμών και της ανάπτυξής τους.

Τα μοντέλα μηχανικής μάθησης συχνά αποτυγχάνουν όταν αντιμετωπίζουν καθήκοντα σε πραγματικές συνθήκες, ακόμη και αν τα μοντέλα λειτουργούν οπτικά στο εργαστήριο. Υπάρχουν πολλοί λόγοι για τους οποίους συμβαίνει η ασυμφωνία μεταξύ της εκπαίδευσης/ανάπτυξης και της πραγματικής απόδοσης. Ένας από τους πιο κοινούς λόγους που τα μοντέλα AI αποτυγχάνουν σε πραγματικές εργασίες είναι η έννοια της μετατόπισης δεδομένων. Η μετατόπιση δεδομένων αναφέρεται σε μια θεμελιώδη διαφορά μεταξύ του τύπου δεδομένων που χρησιμοποιούνται για την ανάπτυξη ενός μοντέλου μηχανικής μάθησης και των δεδομένων που εισάγονται στο μοντέλο κατά τη διάρκεια της εφαρμογής. Για παράδειγμα, τα μοντέλα υπολογιστικής όρασης που εκπαιδεύονται σε υψηλής ποιότητας δεδομένα εικόνας θα δυσκολευτούν να λειτουργήσουν όταν εισαχθούν δεδομένα που έχουν καταγραφεί από χαμηλής ποιότητας κάμερες που βρίσκονται στο περιβάλλον της ημέρας με ημέρα του μοντέλου.

Σύμφωνα με το MIT Technology Review, μια ομάδα 40 διαφορετικών ερευνητών στη Google έχει ανακαλύψει έναν άλλο λόγο για τον οποίο η απόδοση ενός μοντέλου μηχανικής μάθησης μπορεί να διαφέρει τόσο δραματικά. Το πρόβλημα είναι ο “υποκαθορισμός”, μια στατιστική έννοια που περιγράφει προβλήματα όπου τα παρατηρούμενα φαινόμενα έχουν πολλές πιθανές αιτίες, δεν όλες τις οποίες έχουν ληφθεί υπόψη από το μοντέλο. Σύμφωνα με τον ηγέτη της μελέτης Alex D’Amour, το πρόβλημα είναι παρόν σε πολλά μοντέλα μηχανικής μάθησης, λέγοντας ότι το φαινόμενο “συμβαίνει παντού”.

Η τυπική μέθοδος εκπαίδευσης ενός μοντέλου μηχανικής μάθησης περιλαμβάνει την εισαγωγή του μοντέλου σε μεγάλη ποσότητα δεδομένων που μπορεί να αναλύσει και να εξάγει σχετικά μοτίβα. Μετά, το μοντέλο εισάγεται σε παραδείγματα που δεν έχει δει και ζητείται να προβλέψει τη φύση αυτών των παραδειγμάτων με βάση τα χαρακτηριστικά που έχει μάθει. Όταν το μοντέλο έχει επιτύχει ένα bestimmμένο επίπεδο ακρίβειας, η εκπαίδευση συνήθως θεωρείται ολοκληρωμένη.

Σύμφωνα με την ομάδα ερευνών της Google, πρέπει να γίνει περισσότερο για να διασφαλιστεί ότι τα μοντέλα μπορούν πραγματικά να γενικεύσουν σε μη-εκπαιδευτικά δεδομένα. Η κλασική μέθοδος εκπαίδευσης μοντέλων μηχανικής μάθησης θα παράγει διάφορα μοντέλα που μπορεί να περάσουν όλα τις δοκιμές, αλλά αυτά τα μοντέλα θα διαφέρουν σε μικρές λεπτομέρειες που φαίνονται αμελητέες αλλά δεν είναι. Διαφορετικά σημεία στα μοντέλα θα έχουν διαφορετικές τυχαίες τιμές που έχουν ανατεθεί σε αυτά, ή τα δεδομένα εκπαίδευσης θα έχουν επιλεγεί ή θα έχουν αναπαρασταθεί με διαφορετικούς τρόπους. Αυτές οι διαφορές είναι μικρές και συχνά αυθαίρετες, και αν δεν έχουν μεγάλη επίδραση στην απόδοση των μοντέλων κατά τη διάρκεια της εκπαίδευσης, είναι εύκολο να τις αγνοήσουμε. Ωστόσο, όταν η επίδραση όλων αυτών των μικρών αλλαγών συσσωρευτεί, μπορεί να οδηγήσει σε μεγάλες διαφορές στην πραγματική απόδοση.

Ο υποκαθορισμός είναι προβληματικός γιατί σημαίνει ότι, ακόμη και αν η διαδικασία εκπαίδευσης είναι ικανή να παράγει καλά μοντέλα, μπορεί επίσης να παράγει ένα κακό μοντέλο και η διαφορά δεν θα ανακαλυφθεί μέχρι το μοντέλο να εξέλθει από την παραγωγή και να εισέλθει στη χρήση.

Για να αξιολογήσουν την επίδραση του υποκαθορισμού, η ομάδα ερευνών εξέτασε eine σειρά από διαφορετικά μοντέλα. Κάθε μοντέλο εκπαιδεύτηκε χρησιμοποιώντας την ίδια διαδικασία εκπαίδευσης, και στη συνέχεια τα μοντέλα υποβεβληθήκαν σε μια σειρά από δοκιμές για να επισημανθούν οι διαφορές στην απόδοση. Σε μια περίπτωση, 50 διαφορετικές εκδόσεις ενός συστήματος αναγνώρισης εικόνας εκπαιδεύτηκαν στο σύνολο δεδομένων ImageNet. Τα μοντέλα ήταν όλα τα ίδια, εκτός από τις τιμές των νευρωνικών δικτύων που είχαν ανατεθεί τυχαία κατά την έναρξη της εκπαίδευσης. Οι δοκιμές που χρησιμοποιήθηκαν για να καθορίσουν τις διαφορές στα μοντέλα διεξήχθησαν χρησιμοποιώντας το ImageNet-C, μια παραλλαγή του αρχικού συνόλου δεδομένων που αποτελείται από εικόνες που έχουν τροποποιηθεί μέσω της αντίθεσης ή της φωτεινότητας. Τα μοντέλα επίσης δοκιμάστηκαν στο ObjectNet, μια σειρά εικόνων που απεικονίζουν καθημερινά αντικείμενα σε ασυνήθιστες προοπτικές και περιβάλλοντα. mặc dù όλα τα 50 μοντέλα είχαν περίπου την ίδια απόδοση στο σύνολο δεδομένων εκπαίδευσης, η απόδοση διαφοροποιήθηκε ευρέως όταν τα μοντέλα εκτελέστηκαν στις δοκιμές.

Η ομάδα ερευνών βρήκε παρόμοια αποτελέσματα όταν εκπαίδευσαν και δοκιμάστηκαν δύο διαφορετικά συστήματα NLP, καθώς και όταν δοκιμάστηκαν διάφορα άλλα μοντέλα υπολογιστικής όρασης. Σε κάθε περίπτωση, τα μοντέλα απομακρύνθηκαν δραματικά ο ένας από τον άλλον, mặc dù η διαδικασία εκπαίδευσης για όλα τα μοντέλα ήταν η ίδια.

Σύμφωνα με τον D’Amour, οι ερευνητές και οι μηχανικοί της μηχανικής μάθησης πρέπει να κάνουν πολύ περισσότερες δοκιμές πριν από την κυκλοφορία των μοντέλων στη φύση. Αυτό μπορεί να είναι δύσκολο, δεδομένου ότι οι δοκιμές πρέπει να προσαρμοστούν σε συγκεκριμένες εργασίες χρησιμοποιώντας δεδομένα από τον πραγματικό κόσμο, δεδομένα που μπορεί να είναι δύσκολο να προμηθευτούν για ορισμένες εργασίες και περιβάλλοντα. Μια πιθανή λύση στο πρόβλημα του υποκαθορισμού είναι να παράγουν πολλά μοντέλα ταυτόχρονα και στη συνέχεια να τα δοκιμάσουν σε μια σειρά από πραγματικές εργασίες, επιλέγοντας το μοντέλο που συνεχώς δείχνει τα καλύτερα αποτελέσματα. Η ανάπτυξη μοντέλων με αυτόν τον τρόπο απαιτεί πολύ χρόνο και πόρους, αλλά η ανταλλαγή μπορεί να αξίζει, ιδιαίτερα για τα μοντέλα AI που χρησιμοποιούνται σε ιατρικούς περιβάλλοντες ή άλλες περιοχές όπου η ασφάλεια είναι ένα πρωταρχικό μέλημα. Όπως εξήγησε ο D’Amour μέσω του MIT Technology Review:

“Πρέπει να γίνουμε καλύτεροι στο να καθορίζουμε ακριβώς τις απαιτήσεις μας για τα μοντέλα μας. Γιατί συχνά αυτό που συμβαίνει είναι ότι ανακαλύπτουμε αυτές τις απαιτήσεις μόνο μετά το μοντέλο έχει αποτύχει στον κόσμο.”