Η γωνία του Anderson

Έκφραση συναισθημάτων μέσω τυπογραφίας με τη βοήθεια της τεχνητής νοημοσύνης

Martin Anderson
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google

Οι τρέχουσες τάσεις και καινοτομίες στις επικοινωνίες κειμένου (συμπεριλαμβανομένων των email, μηνυμάτων και συστημάτων υποτιτλισμού) πρέπει να διαπραγματευτούν το συναισθηματικό χάσμα μεταξύ γραπτού και προφορικού λόγου με αδρούς και προσεγγιστικούς τρόπους.

Για παράδειγμα, τα τελευταία χρόνια έχουν φέρει εναλλαγή κεφαλαίων και πεζών στη μόδα ως προκλητικό meme στα κοινωνικά μέσα, ενώ η πολύ μισητή χρήση του caps lock (καθώς και των έντονων και εντυπωσιακών τυπογραφικών εφέ που επιτρέπονται από ορισμένες πλατφόρμες σχολίων) συνεχίζει να προκαλεί παρέμβαση από τους διαχειριστές. Αυτά είναι μονοδιάστατες και μόνο κατά προσέγγιση αντιπροσωπευτικές μέθοδοι για την αποσαφήνιση της πρόθεσης του γραπτού λόγου.

Ταυτόχρονα, η αύξηση της δημοτικότητας των emoticons και emojis, ως υβριδικού κειμένου/οπτικού μεταφορέα συναισθήματος, έχει προσελκύσει ενεργά το ενδιαφέρον του τομέα της επεξεργασίας φυσικής γλώσσας (NLP) τα τελευταία χρόνια, μαζί με το ενδιαφέρον για τη σημασία των κινούμενων GIF που ανεβάζουν οι χρήστες στα νήματα σχολίων.

Με τον καιρό, η γραπτή γλώσσα έχει εξελίξει ένα καινοτόμο κεφάλαιο από αυτές τις ‘προσθετικές’ γλωσσικές μεθόδους, οι οποίες προσπαθούν είτε να αναπαριστούν συναισθήματα είτε να τα προκαλέσουν στην απουσία της τονικής πληροφορίας του προφορικού λόγου.

Συνήθως, ωστόσο, πρέπει να συμπεραίνουμε το συναίσθημα όσο καλύτερα μπορούμε από τα συμφραζόμενα του γραπτού λόγου. Για παράδειγμα, σκεφτείτε την έκφραση ‘Oh, Oh, Oh!’, στο τέλος του νυχτερινού μονολόγου της παραφρονούσας λαίδης Μάκβεθ, που είναι πιθανώς μια μελέτη περίπτωσης του βαθμού στον οποίο η προσωδία μπορεί να επηρεάσει τη σημασία.

Στις περισσότερες προσαρμογές, αυτός ο οδυνηρός θρήνος διαρκεί 2-6 δευτερόλεπτα· στην παραγωγή του Trevor Nunn του 1976 του Μάκβεθ από τη Βασιλική Εταιρεία Σαίξπηρ, η Judi Dench πήρε την ανάγνωση αυτής της γραμμής σε ένα ίσως ακόμη ακατάρριπτο ρεκόρ των 24.45 δευτερολέπτων, σε μια εμβληματική ερμηνεία του ρόλου.

(Το αυτόματο σύστημα υποτιτλισμού του YouTube περιγράφει τον θρήνο της Ντεντς σε αυτό το απόσπασμα ως [ΜΟΥΣΙΚΗ])

Μεταφράζοντας την Προσωδία σε Τυπογραφία

Μια πρόσφατη εργασία από τη Βραζιλία προτείνει ένα σύστημα τυπογραφίας που ρυθμίζεται από τον λόγο, το οποίο θα μπορούσε να ενσωματώσει τέτοια προσωδία και άλλα παραγλωσσικά στοιχεία,απευθείας στο κείμενο, προσθέτοντας μια διάσταση συναισθήματος που είναι κακώς καταγεγραμμένη από την πρόταξη περιγραφικών επιθέτων, όπως [Φωνάζοντας], ή άλλα «επίπεδα» τεχνάσματα που είναι διαθέσιμα στις συμβάσεις υποτιτλισμού.

‘Προτείνουμε ένα νέο μοντέλο Τυπογραφίας-Ρυθμισμένης-Απo-Λόγο, όπου ακουστικά χαρακτηριστικά από τον λόγο χρησιμοποιούνται για να ρυθμίσουν την οπτική εμφάνιση του κειμένου. Αυτό θα μπορούσε να επιτρέψει στη μεταγραφή μιας συγκεκριμένης εκφώνησης να αναπαριστά όχι μόνο τα λόγια που λέγονται, αλλά και τον τρόπο με τον οποίο λέγονται.

‘Με αυτό, ελπίζουμε να ανακαλύψουμε τυπογραφικές παραμέτρους που μπορούν να αναγνωριστούν γενικά ως οπτικά αντίστοιχα για τις προσωδιακές ιδιότητες του πλάτους, του τονικού ύψους και της διάρκειας.’

Η διαδικασία που μεταφράζει την προσωδία σε τυπογραφικό ύφος. Στόχος είναι να παράγει το πιο ευέλικτο και ευρύτατα-διαθέσιμο σύστημα δυνατό, οι συγγραφείς περιόρισαν τους εαυτούς τους σε μετατόπιση της γραμμής βάσης, κέρνινγκ και πάχος των χαρακτήρων, το τελευταίο παρέχεται από την ευελιξία των γραμματοσειρών OpenType. Πηγή: https://arxiv.org/pdf/2202.10631.pdf

Η διαδικασία που μεταφράζει την προσωδία σε τυπογραφικό ύφος. Στόχος είναι να παράγει το πιο ευέλικτο και ευρύτατα-διαθέσιμο σύστημα δυνατό, οι συγγραφείς περιόρισαν τους εαυτούς τους σε μετατόπιση της γραμμής βάσης, κέρνινγκ και πάχος των χαρακτήρων, το τελευταίο παρέχεται από την ευελιξία των γραμματοσειρών OpenType. Πηγή: https://arxiv.org/pdf/2202.10631.pdf

Το έγγραφο έχει τον τίτλο Κρυμμένες κραυγές, ψιθύρους και γαβγίσματα: Μπορεί το κείμενο να κάνει περισσότερα από τα λόγια του;, και προέρχεται από τους Calua de Lacerda Pataca και Paula Dornhofer Paro Costa, δύο ερευνητές στο Universidade Estadual de Campinas στη Βραζιλία.

Ενισχυμένα Λόγια

Αν και ο ευρύτερος στόχος του έργου είναι να αναπτύξει συστήματα που μπορούν να μεταφέρουν προσωδία και άλλα παραγλωσσικά χαρακτηριστικά στο υποτιτλισμό, οι συγγραφείς πιστεύουν επίσης ότι ένα σύστημα αυτού του είδους θα μπορούσε τελικά να αναπτύξει ένα ευρύτερο κοινό στον ακουστικό κόσμο.

Υπάρχουν πολλές προηγούμενες πρωτοβουλίες σε αυτόν τον χώρο, συμπεριλαμβανομένου ενός έργου του 1983 που πρότεινε ένα σύστημα υποτιτλισμού που θα μπορούσε να περιλαμβάνει ‘ειδικά εφέ, χρώμα και κεφαλαία γράμματα [για να αντιπροσωπεύουν] την πλούσια τονική πληροφορία που αρνείται στα κωφά παιδιά[.]’.

Αντίθετα, το βραζιλιάνικο έργο μπορεί να επωφεληθεί τόσο από την αυτοματοποιημένη μεταγραφή όσο και από τις νέες εξελίξεις στην αναγνώριση συναισθήματος, οι οποίες συνδυάζονται για να επιτρέψουν μια διαδικασία που μπορεί να εισαγάγει και να χαρακτηρίσει τα στοιχεία σε μια ηχητική καταγραφή ομιλίας.

Μετά την εξαγωγή και επεξεργασία των προσωδιακών χαρακτηριστικών, αυτά αντιστοιχούν στα χρονικά σημεία των λέξεων στην ομιλία, παράγοντας tokens που μπορούν να χρησιμοποιηθούν για να εφαρμόσουν ρύθμιση βάσει κανόνων της τυπογραφίας του υποτιτλισμού (βλέπε εικόνα παραπάνω).

Αυτό το αποτέλεσμα μπορεί να αντιπροσωπεύει οπτικά το βαθμό στον οποίο μια συγκεκριμένη συλλαβή μπορεί να εκφέρεται με παράταση, ψιθυριστά ή με έμφαση, ή να περιέχει άλλες πληροφορίες συμφραζομένων που θα χανόταν σε μια ακατέργαστη μεταγραφή.

Από τη φάση δοκιμών του έργου, σημειώστε τον τρόπο με τον οποίο το κέρνινγκ (ο χώρος μεταξύ των γραμμάτων σε μια λέξη) έχει διευρυθεί για να αντανακλούσει μια προεκτεταμένη προφορά.

Από τη φάση δοκιμών του έργου, σημειώστε τον τρόπο με τον οποίο το κέρνινγκ (ο χώρος μεταξύ των γραμμάτων σε μια λέξη) έχει διευρυθεί για να αντανακλούσει μια προεκτεταμένη προφορά.

Οι συγγραφείς καθιστούν σαφές ότι η δουλειά τους δεν έχει ως στόχο να συνεισφέρει άμεσα στην έρευνα αναγνώρισης συναισθημάτων και συναισθηματικών καταστάσεων, αλλά αντίθετα να ταξινομήσει τα χαρακτηριστικά του λόγου και να τα αντιπροσωπεύσει με μια απλή και περιορισμένη σειρά καινοτόμων οπτικών συμβάσεων.

Τουλάχιστον, η πρόσθετη έμφαση που παρέχει το σύστημα αποσαφηνίζει τις προτάσεις όπου το αντικείμενο της δράσης μπορεί να μην είναι σαφές για τους θεατές που δεν μπορούν να ακούσουν τον ήχο (είτε λόγω αναπηρίας είτε λόγω των περιστάσεων αναπαραγωγής, όπως θορυβώδη περιβάλλοντα).

Για να δανειστώ το δικό μου παράδειγμα από το 2017, το οποίο εξέτασε τον τρόπο με τον οποίο τα συστήματα μηχανικής μάθησης μπορούν να έχουν επίσης δυσκολία στην κατανόηση του πού βρίσκεται το αντικείμενο και η δράση σε μια πρόταση, είναι εύκολο να δούμε το βαθμό στον οποίο η έμφαση μπορεί να αλλάξει ριζικά τη σημασία ακόμη και μιας απλής πρότασης:

Εγώ δεν έκλεψα αυτό. (Κάποιος άλλος το έκλεψε)
Εγώ δεν έκλεψα αυτό, (Αρνούμαι την κατηγορία ότι το έκλεψα)
Εγώ δεν έκλεψα αυτό. (Το κατέχω, η κλοπή δεν ισχύει)
Εγώ δεν έκλεψα αυτό. (Αλλά έκλεψα κάτι άλλο)

Πιθανώς, μια μηχανιστική διαδικασία προσωδίας-τυπογραφίας όπως αυτή που προτείνουν οι βραζιλιάνοι συγγραφείς θα μπορούσε επίσης να είναι χρήσιμη ως συμπληρωματικό εργαλείο στην ανάπτυξη συνόλων δεδομένων για έρευνα υπολογιστικού συναισθήματος, επειδή διευκολύνει την επεξεργασία καθαρά κειμενικών δεδομένων που ενσωματώνουν ορισμένες εκ των προτέρων συναγόμενες παραγλωσσικές διαστάσεις.

Επιπλέον, οι ερευνητές σημειώνουν ότι η πρόσθετη γλωσσική πληροφορία του κειμένου που ενσωματώνει πληροφορίες προσωδίας θα μπορούσε να είναι χρήσιμη σε μια σειρά από εργασίες NLP, συμπεριλαμβανομένης της αξιολόγησης της ικανοποίησης του πελάτη και για την εύρεση της κατάθλιψης από το περιεχόμενο κειμένου.

Ελαστική Τυπογραφία

Το πλαίσιο που αναπτύχθηκε από τους ερευνητές προσφέρει ποικιλία στη μετατόπιση της γραμμής βάσης, όπου ένα γράμμα μπορεί να είναι υψηλότερο ή χαμηλότερο σχετικά με τη ‘βάση’ στην οποία η πρόταση αναπαύεται· κέρνινγκ, όπου ο χώρος μεταξύ των γραμμάτων μιας λέξης μπορεί να συρρικνωθεί ή να διευρυνθεί· και πάχος γραμματοσειράς (έντονη γραφή).

Αυτά τα τρία στυλ αντιστοιχούν στα εξαγόμενα χαρακτηριστικά του λόγου, στα οποία περιορίζεται το έργο: αντίστοιχα, τονικό ύψος, διάρκεια, και μέγεθος.

Η πρόοδος του στυλ σε μια πρόταση. Στο #1, βλέπουμε τα σύνορα συλλαβών που έχουν οριστεί στη διαδικασία εξαγωγής. Στο #2, βλέπουμε μια αναπαράσταση κάθε μιας από τις τρεις ρυθμίσεων (πλάτος|πάχος γραμματοσειράς, κέρνινγκ|διάρκεια, και τονικό ύψος|μετατόπιση της γραμμής βάσης), εφαρμοσμένες μεμονωμένα. Στο #3, βλέπουμε τις συνδυασμένες τυπογραφικές ρυθμίσεις στο τελικό αποτέλεσμα, όπως παρουσιάζεται στους 117 συμμετέχοντες σε μια δοκιμή του συστήματος.

Η πρόοδος του στυλ σε μια πρόταση. Στο #1, βλέπουμε τα σύνορα συλλαβών που έχουν οριστεί στη διαδικασία εξαγωγής. Στο #2, βλέπουμε μια αναπαράσταση κάθε μιας από τις τρεις ρυθμίσεις (πλάτος|πάχος γραμματοσειράς, κέρνινγκ|διάρκεια, και τονικό ύψος|μετατόπιση της γραμμής βάσης), εφαρμοσμένες μεμονωμένα. Στο #3, βλέπουμε τις συνδυασμένες τυπογραφικές ρυθμίσεις στο τελικό αποτέλεσμα, όπως παρουσιάζεται στους 117 συμμετέχοντες σε μια δοκιμή του συστήματος.

Καθώς μια οικογένεια χαρακτήρων μπορεί να απαιτεί ξεχωριστές γραμματοσειρές για παραλλαγές όπως τα έντονα και τα πλάγια, οι ερευνητές χρησιμοποίησαν μια υλοποίηση της Google για τη γραμματοσειρά OpenType Inter, η οποία ενσωματώνει λεπτομερώς ρυθμιζόμενο εύρος πάχους χαρακτήρων σε μία γραμματοσειρά.

Από το έγγραφο, ένας πίνακας που περιγράφει το βαθμό στον οποίο μια γλυφή OpenType από τη γραμματοσειρά Inter μπορεί να εκφράσει μια σειρά από έντονες εμφάσεις κατά μήκος του σκελετού της ελάχιστης βασικής σπλάινς.

Από το έγγραφο, ένας πίνακας που περιγράφει το βαθμό στον οποίο μια γλυφή OpenType από τη γραμματοσειρά Inter μπορεί να εκφράσει μια σειρά από έντονες εμφάσεις κατά μήκος του σκελετού της ελάχιστης βασικής σπλάινς.

Δοκιμές

Η έκφραση του κέρνινγκ και της μετατόπισης βάσης ενσωματώθηκε σε ένα plugin του browser, το οποίο επέτρεψε δοκιμές που διεξήχθησαν σε 117 συμμετέχοντες με ακουστική ικανότητα.

Το σύνολο δεδομένων για τις δοκιμές δημιουργήθηκε ειδικά για το έργο, με την πρόσληψη ενός ηθοποιού που διάβασε μια επιλογή ποιημάτων πολλές φορές με διαφορετική έμφαση σε κάθε λήψη, που αντιστοιχούσε στα τρία χαρακτηριστικά που το έργο μελετά. Η ποίηση επιλέχθηκε επειδή επιτρέπει μια σειρά από εντάσεις (ακόμη και πέρα από την πρόθεση του ποιητή) χωρίς να ακούγεται τεχνητή στη φύση.

Οι συμμετέχοντες χωρίστηκαν σε δύο ομάδες. Η πρώτη ομάδα έλαβε 15 γύρους της ανάγνωσης του ηθοποιού μιας στροφής, συνοδευόμενη από συγχρονισμένο, κινούμενο και ρυθμισμένο κείμενο, το οποίο ξεδιπλώθηκε με τον χρόνο του ηχητικού αποσπάσματος.

Η δεύτερη ομάδα έλαβε ακριβώς το ίδιο σύνολο εργασιών, αλλά παρουσιάστηκε με στατικές εικόνες του ρυθμισμένου κειμένου, το οποίο δεν άλλαξε καθόλου κατά την αναπαραγωγή του ηχητικού αποσπάσματος του ηθοποιού.

Ο μέσος όρος των σωστών απαντήσεων ήταν μη τυχαίο 67% για την ομάδα στατικών εικόνων και 63% για την ομάδα κινητού κειμένου. Τα σχόλια των συμμετεχόντων που ζητήθηκαν από τους ερευνητές μετά τις δοκιμές επιβεβαίωσαν την θεωρία ότι η γνωστική φόρτωση της δυναμικής ερμηνείας μπορεί να συνέβαλε στα χαμηλότερα σκορ για τις μη-στατικές δοκιμές. Ωστόσο, τα συστήματα υποτιτλισμού και μηνυμάτων για τα οποία προορίζεται ένα τέτοιο πλαίσιο συνήθως παρέχουν εξ ορισμού πλήρως διαμορφωμένο κείμενο.

Τα σχόλια των συμμετεχόντων επίσης έδειξαν ότι υπάρχουν σκληρά όρια στη χρήση του κέρνινγκ για να δείξουν τη διάρκεια, με ένα σχόλιο να σημειώνει ότι όταν τα γράμματα απέχουν υπερβολικά μεταξύ τους, γίνεται δύσκολο να διακρίνουμε μια λέξη.

Οι ερευνητές επίσης σημειώνουν:

‘[Ορισμένοι] συμμετέχοντες ένιωσαν ότι το μοντέλο θα πρέπει να μπορεί να ενσωματώσει πιο λεπτές και σύνθετες αναπαραστάσεις του λόγου, το οποίο θα πρέπει να κάνει με ένα πιο ποικιλόμορφο και εκφραστικό οπτικό λεξιλόγιο. Αν και αυτό δεν είναι μια απλή εργασία, είναι ωστόσο ενθαρρυντικό να φανταστούμε πώς διαφορετικές εφαρμογές της τυπογραφίας-ρυθμισμένης-απo-λόγο θα μπορούσαν να διακλαδιστούν καθώς αυτό το νέο πεδίο αναπτύσσεται.’

 

 

Πρώτη δημοσίευση 24ης Φεβρουαρίου 2022.

Συγγραφέας στον τομέα της μηχανικής μάθησης, ειδικός σε συνθετικές ανθρώπινες εικόνες. Πρώην επικεφαλής του τμήματος περιεχομένου έρευνας στην Metaphysic.ai, μέχρι τη διάλυσή της στην Brahma.ai της DNEG.
Ιστοσελίδα: martinanderson.ai
Επικοινωνία: martin@martinanderson.ai