Η Φωνή Είναι Προς Τό Moment Η Χειρότερη Τρόπος Επικοινωνίας Με Τον AI

Νέα έρευνα υποδηλώνει ότι ο πιο δημοφιλής τρόπος απεικόνισης της διεπαφής με τον AI στις ταινίες επιστημονικής φαντασίας μπορεί να παράγει χειρότερα αποτελέσματα ακόμη και από τα λανθασμένα πληκτρολογημένα προτροπές.

Από τον HAL στον Deep Thought, από τον C3P0 στον Wall-E, η ιδεαлизμένη μορφή των σχέσεων ανθρώπου-AI έχει πάντα κεντρίσει την προσοχή στην φωνητική έλεγχο· και αυτό έχει εκφραστεί στον πραγματικό κόσμο, από τα πρώτα συστήματα βοηθών όπως η Siri και η Alexa, μέχρι την γλώσσα-βασισμένη ερώτηση και συζήτηση με την τρέχουσα σειρά LLMs.

Αυτή η ιδέα προέκυψε κατά τις λιγότερο ελευθερωμένες εποχές, όπου – με την εξαίρεση των συγγραφέων και των δημοσιογράφων – η ίδια η πράξη της πληκτρολόγησης θεωρούνταν ‘ημι-ειδικευμένο εργατικό δυναμικό’, και πραγματοποιούνταν 几乎 αποκλειστικά από γυναίκες – με τις γυναίκες να μην προέρχονται συχνά από το περιεχόμενο που πληκτρολογούσαν.

Η εξουσία και η ικανότητα εκφράστηκαν αντίθετα με τη συζήτηση· τις συναντήσεις και τις συνόδους. Έτσι, ήταν φυσικό ότι με την πολύπλοκη γλώσσα που υποδηλώνει ευφυΐα, η προφορική ομιλία θα γινόταν αναπόσπαστο μέρος του AI.

Εκτός από οποιαδήποτε άλλη σκέψη, οι κειμενικές ανταλλαγές δεν ήταν καλά προσαρμοσμένες για τηλεόραση και ταινίες· ακόμη και τολμηρές ταινίες επιστημονικής φαντασίας όπως Colossus: The Forbin Project (1970), που απεικόνισε einen υπολογιστή που απαντά σε προφορικές εντολές σε γραπτή μορφή, γρήγορα μετέβαλε σε εντελώς προφορικές απαντήσεις·

Μια σκηνή από την ‘Colossus: The Forbin Project’ (1970), που απεικονίζει einen τεράστιο υπερυπολογιστή που ξεπερνά γρήγορα τα όρια της κειμενικής γλώσσας, γίνεται φωνητικός και δεσποτικός λίγο μετά την ενεργοποίηση του. Source: Universal Pictures

Πληκτρολογήστε ή Μιλήστε;

Παρά το γεγονός ότι τα κορυφαία μοντέλα AI προσφέρουν φυσικές ήχου διεπαφές για τους χρήστες, νέα έρευνα από τις ΗΠΑ έχει καταλήξει στο συμπέρασμα ότι το να μιλάς σε ένα AI είναι πιθανό να είναι ο λιγότερο αποτελεσματικός τρόπος για να λάβεις τα αποτελέσματα που θέλεις από αυτό – ιδιαίτερα αν περιμένεις σημαντικές μορφές εξόδου, όπως κώδικας, ως απάντηση στην ερώτησή σου.

Σύμφωνα με το έγγραφο, ομιλώντας σε ένα LLM όπως το ChatGPT ή το Gemini目前 παράγει χειρότερα αποτελέσματα από το να πληκτρολογείς μια προτροπή ή ερώτηση, ακόμη και όταν η πληκτρολογημένη προτροπή περιέχει συνηθισμένα λάθη.

Αυτό οφείλεται στο γεγονός ότι η προφορική είσοδος είναι πιο πιθανό να αναδιαμορφωθεί από συστήματα μεταγραφής με τρόπους που αφαιρούν πληροφορίες που το μοντέλο εξαρτάται από αυτές. Αυτό συμβαίνει επειδή η μεταγραφή από ήχο πρέπει να αφαιρέσει δυσκολίες όπως ‘erm’ και ‘like’, καθώς και την τάση προς ψευδείς εκκινήσεις (δηλ. ‘ξεκινώντας ξανά’), καθώς και να πλοηγηθεί στις αμφιβολίες της γραμματικής και της ‘ανεπίσημης’ δομής (δηλ. προτάσεις που οδηγούν σε νέες προτάσεις, χωρίς ολοκλήρωση).

Οι συγγραφείς αναφέρουν:

‘Η ομιλία είναι τώρα ένας πρώτης τάξης δρόμος σε ένα γλωσσικό μοντέλο και όχι ένας ιδιαίτερος. Κωδικοποιητές όπως ο Claude Code και ο Codex δέχονται δικτυωμένες εντολές. Βοηθοί τηλεφώνου όπως ο Google Assistant και η Siri στέλνουν μια προφορική αίτηση σε ένα LLM backend. Δικτυωμένες διεπαφές όπως η Typeless προσθέτουν ένα ακόμη LLM-ενεργοποιημένο επίπεδο που καθαρίζει και αναμορφώνει την προφορική αίτηση του χρήστη πριν την αποστείλει.

‘Σε κάθε περίπτωση, το μοντέλο λαμβάνει μια μεταγραφή, και σε κάθε περίπτωση ο ομιλητής μπορεί να μην ελέγξει το string που στάλθηκε πραγματικά. Ό,τι αφήνει πίσω η διαδικασία μεταγραφής ή ξαναγράφει, είναι αυτό που το μοντέλο πρέπει να απαντήσει.’

Αυτό διαλύει οποιαδήποτε προκατάληψη ότι η πληκτρολογημένη είσοδος είναι ανώτερη επειδή είναι ‘μητρική’· δεν είναι μητρική με κανένα τρόπο, αφού είναι πάντα είτε κρυφά είτε ανοιχτά αναδιατυπωμένη με κάποιον τρόπο πριν από τη μετάδοση στο AI, και β) η κειμενική γλώσσα είναι μόνο ένας компонент στο λατινικό χώρο που επιστρέφει μια απάντηση.

Η μελέτη βρήκε ότι τα συνηθισμένα λάθη πληκτρολόγησης είχαν μόνο μια μετριοπαθή επίδραση στην απόδοση, ενώ η προφορική ομιλία, οι καθαρισμένες μεταγραφές και ιδιαίτερα οι AI-συμπιεσμένες μεταγραφές, προκάλεσαν συνεχώς μεγαλύτερες πτώσεις στην ακρίβεια σε εργασίες λογικής και γεννήτριας κώδικα.

Η νέα εργασία έχει τον τίτλο Πρέπει να Πληκτρολογήσουμε ή να Μιλήσουμε με LLM Agents; Μια Συνολική Μελέτη της Φωνητικής και Πληκτρολογημένης Εισόδου, και προέρχεται από τέσσερις συγγραφείς από το Santa Monica College και το Πανεπιστήμιο της Νότιας Καλιφόρνιας.

(Σημείωση: Αυτή η μελέτη συνδυάζει ‘Μέθοδο’ και ‘Εργασίες/Αποτελέσματα’ με τρόπο που δεν μπορεί να ξεδιαλυθεί εύκολα στην συνήθη σειρά ανάλυσης. Λόγω этого, είμαι υποχρεωμένος να συμπιέσω και να επιλέξω με ένα βαρύτερο χέρι από το συνηθισμένο.)

Μέθοδος

Ένα ‘περτουρμπέ’ που ονομάζεται Human Input Variation Engine (HIVE) αναπτύχθηκε από τους συγγραφείς, για να προσομοιώσει τους τύπους σφαλμάτων που εισάγονται όταν οι άνθρωποι είτε πληκτρολογούν προτροπές σε ένα QWERTY πληκτρολόγιο, είτε ομιλούν μέσω ενός συστήματος φωνητικής μεταγραφής:

Σχέδιο για το Human Input Variation Engine (HIVE). Μια προτροπή του χρήστη φτάνει σε ένα γλωσσικό μοντέλο μέσω φωνής, QWERTY πληκτρολογίου ή άμεσης αντιγραφής και επικόλλησης, με την τελευταία να χρησιμεύει ως η ‘καθαρή’ αναφορά. Το χρώμα αναγνωρίζει το κανάλι εισόδου και όχι τον τρόπο υλοποίησης, με τους χειριστές φωνής να συνδυάζουν τη μεταφορά LLM και τους детерμινιστικούς κανόνες, ενώ οι χειριστές πληκτρολογίου βασίζονται αποκλειστικά σε детермινιστικούς κανόνες. Το δεξί πάνελ δείχνει το εύρος των απαντήσεων που μπορεί να παράγει ένα μοντέλο υπό υποβαθμισμένη είσοδο. Source

Το HIVE μοντελοποιεί τρεις οδούς με τις οποίες οι προτροπές φτάνουν σε ένα γλωσσικό μοντέλο: μέσω φωνής· QWERTY πληκτρολογίου· ή άμεσης αντιγραφής και επικόλλησης – με την τελευταία να χρησιμεύει ως η αμετάβλητη αναφορά με την οποία όλες οι άλλες εισόδους συγκρίνονται. Δύο επιπλέον χειριστές λειτουργούν ως πειραματικοί έλεγχοι, αναδιατάσσοντας την ερώτηση και το контекστό της, ή αναδιατάσσοντας τις επιλογές πολλαπλής επιλογής.

Οι χειριστές perturbation υλοποιούνται μέσω είτε детерминιστικών κανόνων είτε μεταφοράς LLM με τη χρήση Qwen2.5-7B.  Αυτό επέτρεψε και τις δύο μεθόδους εισόδου να αξιολογηθούν υπό ελεγχόμενες και άμεσα συγκρίσιμες συνθήκες.

Συνθήκες Δοκιμών και Αποτελέσματα

Πειράματα διεξήχθησαν σε Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3;  και Phi-4, χρησιμοποιώντας πέντε seeds. Οι έξι δοκιμές που χρησιμοποιήθηκαν ήταν GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; και TruthfulQA MC1.

Η δοκιμαστική σύνοψη χρησιμοποιήθηκε 200 στοιχεία ανά δοκιμή, με 164 στοιχεία για το πλήρες σύνολο HumanEval. Greedy decoding (επιλέγοντας το πιο πιθανό επόμενο token κάθε φορά) χρησιμοποιήθηκε, ώστε κάθε perturbed προτροπή να μπορεί να συγκριθεί με την καθαρή αντίστοιχη στην ίδια εκτέλεση του μοντέλου, παράγοντας 550,000 αξιολογημένες απαντήσεις σε δεκαεπτά αλλαγές προτροπής και δύο έλεγχους (συνθήκες δοκιμών που χρησιμοποιούνται για να απομονώσουν συγκεκριμένες επιπτώσεις).

Μέτρα λήφθηκαν για να διασφαλιστεί ότι η μόλυνση του συνόλου δοκιμών (επικάλυψη με δεδομένα που το μοντέλο μπορεί να έχει δει κατά την εκπαίδευση) δεν συνέβη:

Το πλήρες σύνολο perturbation που χρησιμοποιήθηκε στη μελέτη, δείχνοντας πώς η ακρίβεια άλλαξε σε σχέση με τις καθαρές προτροπές σε αλλαγές φωνητικής μεταγραφής, λάθη πληκτρολογίου και έλεγχους. Η πρώτη σειρά δίνει την καθαρή ακρίβεια αναφοράς, ενώ οι επόμενες σειρές δείχνουν αλλαγές σε μονάδες百分τι. Το κόκκινο σημάδι το πιο επιβλαβές χειριστή σε κάθε μπλοκ και στήλη, το μπλε το λιγότερο επιβλαβές.

Το πιο σαφές αποτέλεσμα στη μελέτη είναι ότι η φωνητική είσοδος ήταν πιο επιβλαβής από την πληκτρολογημένη είσοδο σε όλες τις κύριες συνθήκες δοκιμών, με τις αλλαγές φωνητικής ομιλίας να μειώνουν την ακρίβεια του μοντέλου περίπου τρεις φορές περισσότερο από τα λάθη πληκτρολόγησης. Τα χειρότερα αποτελέσματα προήλθαν όταν οι προφορικές αιτήσεις αυτόματα ξαναγράφτηκαν για να ακούγονται καθαρότερες και πιο συνεπείς, επειδή αυτή η αναδιαμόρφωση συχνά άλλαζε τη δομή της αίτησης που έλαβε το μοντέλο.

Αυτό έχει σημασία, επειδή τα χειρότερα αποτελέσματα για τη φωνή δεν οφείλονταν κυρίως στα προφανή ‘σκουπίδια’ ομιλίας: αν και οι γεμίσματα όπως ‘erm’ και ‘like’ είχαν σημασία (καθώς η προσθήκη τους σε καθαρές γραπτές προτροπές μειώνει την ακρίβεια), η αφαίρεση γεμισμάτων από προφορικές μεταγραφές δεν ανέστρεψε την απόδοση.

Αυτοσυντήρηση

Έτσι, το μεγαλύτερο πρόβλημα ήταν ο τρόπος με τον οποίο οι προφορικές προτροπές αναδιαμορφώθηκαν πριν φτάσουν στο μοντέλο.

Μια κεντρική ερώτηση για τη μελέτη ήταν αν το μοντέλο vẫn λαμβάνει достаточно από την αρχική προτροπή για να ανακατασκευάσει την πρόθεση του χρήστη· τα λάθη πληκτρολόγησης συχνά βλάπτουν την ‘επιφάνεια’ ενός λόγου χωρίς να αφαιρέσουν τον λόγο ολόκληρο, ώστε ο περιβάλλον контекστός να μπορεί ακόμη να βοηθήσει το μοντέλο να καταλάβει τι εννοούσε.

Αντίθετα, μια ‘καθαρίστηκε’ φωνητική μεταγραφή μπορεί να αντικαταστήσει την αρχική φράση του χρήστη με μια συντομότερη και πιο ομαλή εκδοχή που δεν διατηρεί τις ίδιες σχέσεις μεταξύ γεγονότων.

Αυτό είναι ο λόγος για τον οποίο τα λάθη πληκτρολόγησης ήταν συχνά λιγότερο επιβλαβή: οι ερευνητές βρήκαν ότι οι αντιστραμμένοι γράμματα, οι διπλοί γράμματα, τα λείποντα κενά και τα λάθη πληκτρολογίου συνήθως άφηναν πολλά από την αρχική λέξη ανακτήσιμα, ενώ η φωνητική μεταγραφή συχνά αφαιρούσε ή αναδιαμόρφωνε πληροφορίες πριν το μοντέλο είχε την ευκαιρία να τις ερμηνεύσει.

Χαμένος στη Μεταφράση

Ένα παράδειγμα του πώς ένα αναφορικό μπορεί να ‘χαθεί’ από perturbation σε αυτά τα ταξίδια από τον χρήστη στο LLM, που παρουσιάζεται στην εργασία, είναι όταν η φράση ‘δίδει ίση ποσότητα [βιβλίων] στα παιδιά της’ ερμηνεύτηκε ως να σημαίνει χρήματα (αντί για βιβλία). Σε αυτή την περίπτωση, ο όρος ‘ποσότητα’ αποσπάστηκε από το αναφορικό του και εφαρμόστηκε λανθασμένα στην πιο συνηθισμένη του σύνδεση (χρήματα):

Πόσο από την αρχική ερώτηση επιβιώνει κάθε αλλαγή εισόδου. Μεγάλα σημεία δείχνουν τους τύπους perturbation, ενώ τα μικρά σημεία δείχνουν ισχυρότερες εκδοχές των ίδιων λαθών πληκτρολόγησης.

Αυτό το αποτέλεσμα ήταν πιο ισχυρό όταν το μοντέλο έπρεπε να κτίσει μια απάντηση από την προτροπή, 而 όχι να επιλέξει από προκατασκευασμένες επιλογές: οι αριθμητικές και οι εργασίες γεννήτριας κώδικα υπέφεραν περισσότερο επειδή εξαρτώνταν από τη διατήρηση των ακριβών σχέσεων στην αίτηση, ενώ οι δοκιμές πολλαπλής επιλογής ήταν λιγότερο εκτεθειμένες σε αυτό το είδος ζημιάς.

Οι συγγραφείς καταλήγουν στο συμπέρασμα:

‘Βρίσκουμε ότι η ομιλία είναι ο δαπανηρός κανάλι, ότι το τι ζημιά κοστίζει είναι πόσο από την αρχική τοκενοποίηση της ερώτησης καταστρέφεται, και ότι ούτε η μόλυνση του συνόλου δοκιμών ούτε η ελαφριά προσαρμογή λογαριασμού ή επιδιόρθωσης της ζημιάς.

‘Ακολουθούν beberapa takeaways. Αν πληκτρολογήσετε, ένα μοντέλο λογικής απορροφά τα λάθη σας. Αν ομιλήσετε, δεν το κάνει, οπότε η φράση που ομιλείτε είναι η φράση που το μοντέλο εργάζεται.

‘Και αν χτίσετε εργαλεία δικτυωμένης ομιλίας, μην αναμορφώνετε ή αναδιαμορφώσετε αυτό που είπε ο χρήστης: αφαιρέστε τις δυσκολίες ελάχιστα και αφήστε τις ομοιοφωνίες μόνο.

‘Το τελευταίο έχει τη μεγαλύτερη σημασία, επειδή οι διεπαφές δικτυωμένης ομιλίας γίνονται ο προεπιλεγμένος τρόπος για να φτάσετε σε ένα μοντέλο και το επίπεδό τους αναδιαμόρφωσης είναι η μεγαλύτερη ζημιά που μετράμε και η φθηνότερη να αλλάξει.’

Συμπέρασμα

Οποιοσδήποτε έχει κάνει χειρωνακτική μεταγραφή μιας συνέντευξης (μια κοινή και μοναχική δημοσιογραφική δουλειά στην προ-AI εποχή) θα ξέρει πώς η διαδικασία μπορεί να είναι ερμηνευτική, εκτός εάν ο συνεντευξιαζόμενος ή ο ομιλητής είναι εξαιρετικά ευφραδής, ή – όπως συχνά συμβαίνει – απλά επαναλαμβάνει το συνηθισμένο του ρεπερτόριο από ανέκδοτα με ρουτίνα.

Εκτός από τέτοιες ειδικές περιπτώσεις, όταν μιλάμε με τους ανθρώπους, αυτόματα διαγράφουμε τις δυσκολίες και υπολογίζουμε τη σημασία. Αυτό αναπόφευκτα κάνει χρήσιμη μεταγραφή μια ερμηνευτική πράξη, που οδηγεί σε κείμενο που αντιπροσωπεύει τις προθέσεις του ομιλητή καλύτερα από μια κυριολεκτική, ορθογραφικά τέλεια μεταγραφή: και είναι ενδιαφέρον να σημειωθεί ότι οι φωνητικές γέφυρες προς τα LLMs πλήττονται παρόμοια με τη διατήρηση ή ακόμη και την απόκτηση της ίδιας σημασίας όπως οι κειμενικές αντίστοιχες.

Είναι εύλογο να περιμένουμε ότι μεταγενέστερα πλαίσια θα επωφεληθούν από περαιτέρω μελέτη και (ελπίζουμε) πλήρως πυκνοποιημένα σύνολα δεδομένων που θα βοηθήσουν να γεφυρωθούν τα χάσματα που περιγράφονται στη νέα εργασία. Μέχρι εκείνη την ώρα, η νέα μελέτη δείχνει ότι οι φωνητικές επικοινωνίες με τον AI μπορεί να είναι πιο κατάλληλες για ακριβώς το είδος των σύντομων εντολών που έχουν χαρακτηρίσει τα συστήματα ‘βοηθού’ καταναλωτικού επιπέδου.

Πρώτη δημοσίευση Τετάρτη, 12 Αυγούστου 2026