Τα Συστήματα AI Μπορεί να Προτιμούν την Ανθρώπινη Γλώσσα Αντί για Νουμερικά Δεδομένα

Νέα έρευνα από το Columbia Engineering υποδηλώνει ότι τα συστήματα τεχνητής νοημοσύνης (AI) προτιμούν την ανθρώπινη γλώσσα αντί για νουμερικά δεδομένα όπως τα 1 και 0. Η νέα μελέτη είναι από τον καθηγητή Μηχανολογικής Μηχανικής Hod Lipson και τον φοιτητή διδακτορικού προγράμματος Boyuan Chen, και έχει δείξει ότι τα συστήματα AI μπορούν να φτάσουν υψηλότερα επίπεδα απόδοσης εάν προγραμματιστούν με αρχεία ήχου ανθρώπινης γλώσσας. 

Σε μια πλευρά-πλευρά σύγκριση, οι ερευνητές βρήκαν ότι ένα νευρωνικό δίκτυο που εκπαιδεύτηκε με αρχεία ήχου έφτασε υψηλότερα επίπεδα απόδοσης στην αναγνώριση αντικειμένων, σε σύγκριση με το άλλο δίκτυο που προγραμματίστηκε με απλές δυαδικές εισόδους.

Ο Lipson είναι καθηγητής James και Sally Scapa της καινοτομίας και μέλος του Ινστιτούτου Επιστημών Δεδομένων της Κολούμπια. 

«Για να κατανοήσουμε γιατί αυτή η ανακάλυψη είναι σημαντική, είναι χρήσιμο να κατανοήσουμε πώς τα νευρωνικά δίκτυα προγραμματίζονται συνήθως, και γιατί η χρήση της φωνής του ανθρώπου είναι ένα ριζοσπαστικό πείραμα», είπε. 

Η χρήση δυαδικών αριθμών είναι συμπαγής και ακριβής, ενώ η ανθρώπινη γλώσσα είναι πιο σύνθετη και μη-δυαδική όταν καταγράφεται σε ψηφιακό αρχείο. Οι προγραμματιστές συνήθως δεν απομακρύνονται από τους αριθμούς όταν αναπτύσσουν ένα νευρωνικό δίκτυο, поскольку είναι υψηλά αποτελεσματικό.

Η ομάδα ξεκίνησε αυτή την έρευνα μετά από σκέψη ότι τα νευρωνικά δίκτυα δεν φτάνουν στο πλήρες δυναμικό τους, και πίστευαν ότι θα μπορούσαν να είναι ταχύτερα και καλύτερα εάν εκπαιδεύονταν με την ανθρώπινη φωνή και συγκεκριμένες λέξεις. 

Εκπαίδευση των Δικτύων

Όταν δοκιμάζουν μια νέα τεχνική μηχανικής μάθησης, οι ερευνητές AI συχνά εκπαιδεύουν ένα νευρωνικό δίκτυο να αναγνωρίζει συγκεκριμένα αντικείμενα και ζώα σε μια συλλογή φωτογραφιών. 

Η ομάδα, η οποία περιελάμβανε τον Chen, τον Lipson, τον Yu Li και την Susan Raghupathi, έστησε ένα ελεγχόμενο πείραμα για να δοκιμάσει την υπόθεσή τους, και δημιούργησαν δύο νέα νευρωνικά δίκτυα. Έστησαν να τα εκπαιδεύσουν να αναγνωρίζουν 10 διαφορετικά είδη αντικειμένων μεταξύ 50.000 φωτογραφιών που ονομάζονταν «εικόνες εκπαίδευσης». 

Ένα από τα συστήματα AI εκπαιδεύτηκε με πιο παραδοσιακό τρόπο με νουμερικές τιμές, ενώ το πειραματικό νευρωνικό δίκτυο εκπαιδεύτηκε με πολύ διαφορετικό τρόπο. Τους δόθηκε ένας πίνακας δεδομένων με γραμμές που περιείχαν μια φωτογραφία ενός ζώου ή αντικειμένου, και η δεύτερη στήλη είχε ένα αρχείο ήχου ανθρώπινης φωνής, το οποίο φωνάζει τη λέξη για το ζώο ή το αντικείμενο. Δεν υπήρχαν 1 και 0 εμπλεγμένα με το πειραματικό δίκτυο.

Και τα δύο συστήματα AI εκπαιδεύτηκαν για συνολικά 15 ώρες. Τα αποτελέσματα έδειξαν ότι το αρχικό δίκτυο απάντησε με μια σειρά από δέκα 1 και 0, ενώ το πειραματικό νευρωνικό δίκτυο παρήγαγε μια φωνή που προσπαθούσε να «πεί» τι ήταν το αντικείμενο στην εικόνα. Ενώ η αρχική φωνή δεν ήταν κατανοητή, τελικά έφτασε σε ένα σημείο να είναι κυρίως σωστή.

Τα δύο δίκτυα εκτέλεσαν εξίσου καλά, αναγνωρίζοντας το ζώο ή το αντικείμενο σωστά 92% του χρόνου. Οι ερευνητές αποφάσισαν να τρέξουν το πείραμα για δεύτερη φορά, αλλά αυτή τη φορά χρησιμοποιώντας λιγότερες φωτογραφίες κατά τη διαδικασία.

Το παραδοσιακό δίκτυο εκτέλεσε καλά λόγω σπάνιων δεδομένων, όπως θα περιέμενε κανείς, πέφτοντας στο 35% ακρίβεια. Ωστόσο, το πειραματικό δίκτυο έκανε το διπλάσιο, με 70% ακρίβεια, παρά το γεγονός ότι είχε λιγότερα δεδομένα. 

https://www.youtube.com/watch?v=Iq2YjHCAPRQ

Εξαιρετικά Αποτελέσματα

Στην επόμενη φορά, η ομάδα χρησιμοποίησε πιο δύσκολα εικόνες, όπως μια διαταραγμένη εικόνα ενός σκύλου. Ακόμη και με τις πιο δύσκολες εικόνες, το νευρωνικό δίκτυο που εκπαιδεύτηκε με φωνή ήταν σωστό περίπου 50% του χρόνου, ενώ το παραδοσιακό δίκτυο ήταν μόνο 20% ακριβές. 

Ο Boyuan Chen είναι ο κύριος ερευνητής της μελέτης.

«Τα ευρήματά μας αντιτάσσονται trực tiếp στην façon που πολλοί εμπειρογνώμονες έχουν εκπαιδευτεί να σκέφτονται για τους υπολογιστές και τους αριθμούς· είναι μια κοινή υπόθεση ότι οι δυαδικές εισόδους είναι ένας πιο αποτελεσματικός τρόπος για να μεταφέρουν πληροφορίες σε μια μηχανή από τα ρεύματα ήχου παρόμοιας «πλούτου»», εξήγησε ο Chen. «Στην πραγματικότητα, όταν υποβάλαμε αυτή την έρευνα σε μια μεγάλη διάσκεψη AI, ένας ανώνυμος κριτής απέρριψε το χαρτί μας απλά επειδή πίστευε ότι τα αποτελέσματά μας ήταν «πολύ εξαιρετικά και μη-ιντουιτίβ».

«Εάν σκεφτείτε το γεγονός ότι η ανθρώπινη γλώσσα έχει περάσει από μια διαδικασία βελτίωσης για δεκάδες χιλιάδες χρόνια, τότε έχει βρει μια καλή ισορροπία μεταξύ θορύβου και σήματος», είπε ο Lipson. «Επομένως, όταν το βλέπουμε μέσα από το πρίσμα της 엔τροπίας Shannon, έχει νόημα ότι ένα νευρωνικό δίκτυο που εκπαιδεύτηκε με ανθρώπινη γλώσσα θα υπερβαίνει ένα νευρωνικό δίκτυο που εκπαιδεύτηκε με απλά 1 και 0.»

Η μελέτη θα παρουσιαστεί στη Διεθνή Διάσκεψη για την Εκμάθηση Αναπαραστάσεων στις 3 Μαΐου 2021. 

«Πρέπει να σκεφτόμαστε να χρησιμοποιούμε νέους και καλύτερους τρόπους για να εκπαιδεύουμε τα συστήματα AI αντί να συλλέγουμε μεγαλύτερα σύνολα δεδομένων», είπε ο Chen. «Εάν ξανασκεφτούμε πώς παρουσιάζουμε τα δεδομένα εκπαίδευσης στην μηχανή, θα μπορούσαμε να κάνουμε καλύτερη δουλειά ως δάσκαλοι».

«Ένα από τα μεγαλύτερα μυστήρια της ανθρώπινης εξέλιξης είναι πώς οι πρόγονοί μας απέκτησαν γλώσσα και πώς τα παιδιά μαθαίνουν να μιλούν τόσο άνετα», προσθέτει ο Lipson. «Εάν τα ανθρώπινα βρέφη μαθαίνουν καλύτερα με επαναλαμβανόμενες προφορικές οδηγίες, τότε ίσως τα συστήματα AI μπορούν, επίσης».