Ερευνητές Ανάπτυξαν Ένα Σύνολο Ερωτήσεων Ικανό να Συγχύσει τους Καλύτερους Υπολογιστές

Ερευνητές από το Πανεπιστήμιο του Μέριλαντ μπόρεσαν να δημιουργήσουν ένα σύνολο ερωτήσεων που είναι εύκολο για τους ανθρώπους να απαντήσουν αλλά δύσκολο για κάποια από τα καλύτερα συστήματα απάντησης υπολογιστών που υπάρχουν σήμερα. Η ομάδα δημιούργησε τις ερωτήσεις μέσω μιας συνεργασίας ανθρώπου-υπολογιστή και μπόρεσαν να δημιουργήσουν μια βάση δεδομένων με περισσότερες από 1.200 λέξεις. Αν ένα σύστημα υπολογιστή είναι σε θέση να μάθει και να κατακτήσει αυτές τις ερωτήσεις, θα έχει την καλύτερη κατανόηση της ανθρώπινης γλώσσας μεταξύ όλων των συστημάτων υπολογιστών που υπάρχουν σήμερα.

Το έργο δημοσιεύθηκε σε ένα άρθρο στο περιοδικό Transactions of the Association for Computational Linguistics.

Ο Jordan Boyd-Gaber, αναπληρωτής καθηγητής επιστήμης υπολογιστών στο UMD και старший συγγραφέας του εγγράφου, μίλησε για τις νέες εξελίξεις.

«Οι περισσότεροι υπολογιστές απάντησης ερωτήσεων δεν εξηγούν γιατί απαντούν με τον τρόπο που το κάνουν, αλλά η δουλειά μας μας βοηθά να δούμε τι πραγματικά καταλαβαίνουν οι υπολογιστές», είπε. «Επιπλέον, abbiamo δημιουργήσει μια βάση δεδομένων για να δοκιμάσουμε τους υπολογιστές που θα αποκαλύψουν αν ένα σύστημα γλώσσας υπολογιστή διαβάζει πραγματικά και κάνει το ίδιο είδος επεξεργασίας που μπορούν να κάνουν οι άνθρωποι».

Για το παρόν, οι ερωτήσεις για αυτά τα προγράμματα και συστήματα δημιουργούνται από ανθρώπινους συγγραφείς ή υπολογιστές. Το πρόβλημα είναι ότι όταν οι άνθρωποι είναι αυτοί που δημιουργούν τις ερωτήσεις, δεν είναι συνειδητοί όλων των διαφορετικών στοιχείων μιας ερώτησης που είναι συγχυτικές για τους υπολογιστές. Τα συστήματα υπολογιστών, από την άλλη πλευρά, χρησιμοποιούν формούλες, γράφουν ερωτήσεις με κενά, ή κάνουν λάθη, τα οποία μπορούν να δημιουργήσουν ανοησίες.

Για να πετύχουν τη συνεργασία μεταξύ ανθρώπων και υπολογιστών που τους επέτρεψε να δημιουργήσουν τις ερωτήσεις, ο Boyd-Garber και η ομάδα των ερευνητών δημιούργησαν một đặc biệt διεπαφή υπολογιστή. Σύμφωνα με αυτούς, είναι σε θέση να πει τι «σκέφτεται» ένας υπολογιστής ενώ ένας άνθρωπος γράφει μια ερώτηση. Ο συγγραφέας είναι τότε σε θέση να επεξεργαστεί και να αλλάξει την ερώτηση με βάση τις αδυναμίες του υπολογιστή. Αυτό είναι σε θέση να δημιουργήσει σύγχυση για τον υπολογιστή.

Καθώς ο συγγραφέας γράφει την ερώτηση, οι υποθέσεις του υπολογιστή τοποθετούνται σε μια κατάταξη. Οι λέξεις που είναι υπεύθυνες για τις υποθέσεις του υπολογιστή υπογραμμίζονται.

Το σύστημα μπορεί να απαντήσει σωστά σε μια ερώτηση και η διεπαφή θα υπογραμμίσει τις λέξεις ή τις φράσεις που οδήγησαν στην απάντηση. Με αυτή την πληροφορία, ο συγγραφέας είναι τότε σε θέση να επεξεργαστεί την ερώτηση για να την κάνει πιο δύσκολη για τον υπολογιστή, αλλά η ερώτηση θα έχει ακόμα την ίδια σημασία. Ενώ ο υπολογιστής θα συγχυστεί τελικά, οι ειδικοί άνθρωποι θα είναι ακόμα σε θέση να απαντήσουν.

Όταν οι άνθρωποι και οι υπολογιστές συνεργάστηκαν, μπόρεσαν να αναπτύξουν 1.213 ερωτήσεις υπολογιστή που ο υπολογιστής δεν ήταν σε θέση να απαντήσει. Οι ερευνητές δοκιμάσαν τις ερωτήσεις σε έναν διαγωνισμό μεταξύ ανθρώπινων παικτών και υπολογιστών. Οι ανθρώπινοι παίκτες περιελάμβαναν ομάδες γυμνασίου και πρωταθλητές «Jeopardy!». Η πιο αδύναμη ανθρώπινη ομάδα μπόρεσε να νικήσει το πιο ισχυρό σύστημα υπολογιστή.

Η Shi Feng, φοιτήτρια υπολογιστικών συστημάτων από το UMD και συν-συγγραφέας του εγγράφου, μίλησε για την neue έρευνα.

«Για τρία ή τέσσερα χρόνια, οι άνθρωποι είναι συνειδητοί ότι τα συστήματα απάντησης ερωτήσεων υπολογιστών είναι πολύ εύθραυστα και μπορούν να γίνουν ανόητοι πολύ εύκολα», είπε. «Αλλά αυτό είναι το πρώτο έγγραφο που γνωρίζουμε που χρησιμοποιεί μια μηχανή για να βοηθήσει τους ανθρώπους να σπάσουν το μοντέλο itu-même».

Οι ερωτήσεις που χρησιμοποιήθηκαν ήταν σε θέση να αποκαλύψουν έξι διαφορετικά γλωσσικά φαινόμενα που συγχύζουν τους υπολογιστές. Υπάρχουν δύο διαφορετικές κατηγορίες. Η πρώτη είναι γλωσσικά φαινόμενα που περιλαμβάνουν παραφράσεις, αποσπάσματα γλώσσας και απρόβλεπτες περιπτώσεις. Η δεύτερη είναι δεξιότητες συλλογισμού και περιλαμβάνουν λογική και υπολογισμό, νοητική τριγωνοποίηση στοιχείων σε μια ερώτηση και τοποθέτηση πολλών βημάτων για να σχηματίσουν ένα συμπέρασμα.

«Οι άνθρωποι είναι σε θέση να γενικεύσουν περισσότερο και να δουν βαθύτερες συνδέσεις», είπε ο Boyd-Garber. «Δεν έχουν την απεριόριστη μνήμη των υπολογιστών, αλλά έχουν ακόμα ένα πλεονέκτημα στο να βλέπουν το δάσος από τα δέντρα. Η καταγραφή των προβλημάτων που έχουν οι υπολογιστές μας βοηθά να καταλάβουμε τα ζητήματα που πρέπει να αντιμετωπίσουμε, ώστε να μπορέσουμε πραγματικά να πάρουμε τους υπολογιστές να αρχίσουν να βλέπουν το δάσος από τα δέντρα και να απαντούν σε ερωτήσεις με τον τρόπο που κάνουν οι άνθρωποι».

Αυτή η έρευνα lays την βάση για τα συστήματα υπολογιστών να κατακτήσουν τελικά την ανθρώπινη γλώσσα. Θα συνεχίσει αναμφισβήτητα να αναπτύσσεται και να βελτιώνεται.

«Αυτό το έγγραφο θέτει ένα ερευνητικό πρόγραμμα για τα επόμενα χρόνια, ώστε να μπορέσουμε πραγματικά να πάρουμε τους υπολογιστές να απαντούν σε ερωτήσεις καλά», είπε ο Boyd-Garber.