Εκφράζοντας Συναισθήματα Μέσω Τυπογραφίας Με Την Βοήθεια Του AI

Οι τρέχουσες τάσεις και καινοτομίες στις επικοινωνίες κειμένου (συμπεριλαμβανομένων των email, μηνυμάτων και συστημάτων υποτιτλισμού) πρέπει να διαπραγματευτούν το συναισθηματικό χάσμα μεταξύ γραπτού και προφορικού λόγου με χοντρούς και προσεγγιστικούς τρόπους.

Για παράδειγμα, τα τελευταία χρόνια έχουν φέρει εναλλαγόμενα κεφαλαία στη μόδα ως προκλητικό meme στα κοινωνικά μέσα, ενώ η πολύ μισητή χρήση του caps lock (καθώς και των بولντ και jarring τυπογραφικών εφέ που επιτρέπονται από ορισμένες πλατφόρμες σχολίων) συνεχίζει να προκαλεί παρέμβαση από τους διαχειριστές. Αυτά είναι μονοτονικά και μόνο ευρέως αντιπροσωπευτικά μέθοδοι για την αποσαφήνιση της πρόθεσης του γραπτού λόγου.

Ταυτόχρονα, η αύξηση της δημοτικότητας των emoticons και emojis, ως υβριδικού κειμένου/οπτικού μεταφορέα συναισθήματος, έχει ενεργά εμπλακεί τον τομέα της επεξεργασίας φυσικής γλώσσας (NLP) τα τελευταία χρόνια, μαζί με το ενδιαφέρον για τη σημασία των animated GIFs που ανεβάζουν οι χρήστες στις νήματα σχολίων.

Με τον καιρό, η γραπτή γλώσσα έχει εξελίξει ένα καινοτόμο κεφάλαιο από αυτές τις ‘προσθετικές’ γλωσσικές μεθόδους, οι οποίες προσπαθούν είτε να proxify συναισθήματα είτε να τα προκαλέσουν στην απουσία της τονικής πληροφορίας του προφορικού λόγου.

Συνήθως, ωστόσο, πρέπει να αποδίδουμε το συναισθήμα όσο καλύτερα μπορούμε από το контέκστ του γραπτού λόγου. Για παράδειγμα, σκεφτείτε την έκφραση ‘Oh, Oh, Oh!’, στο τέλος της νυχτερινής μονολόγου της Lady Macbeth, που είναι πιθανώς μια μελέτη περίπτωσης του βαθμού στον οποίο η προσωδία μπορεί να επηρεάσει τη σημασία.

Στις περισσότερες προσαρμογές, αυτή η πονεμένη θρήνος διαρκεί 2-6 δευτερόλεπτα· στην παραγωγή του Trevor Nunn του 1976 για την Εταιρεία Shakespeare του Λονδίνου, η Judi Dench πήρε την ανάγνωση αυτής της γραμμής σε ένα vielleicht-απαράμιλλο ρεκόρ των 24.45 δευτερολέπτων, σε μια ορόσημο ερμηνεία του ρόλου.

(Το δικό του σύστημα αυτόματου υποτιτλισμού του YouTube για αυτό το clip περιγράφει την ululation της Dench ως [ΜΟΥΣΙΚΗ])

Μεταφράζοντας την Προσωδία σε Τυπογραφία

Μια πρόσφατη εργασία από τη Βραζιλία προτείνει ένα σύστημα τυπογραφίας που ρυθμίζεται από τον λόγο, το οποίο θα μπορούσε να ενσωματώσει τέτοιες προσωδίες και άλλα παραγλωσσικά στοιχεία,直接 στο κείμενο, προσθέτοντας μια διάσταση συναισθήματος που είναι κακώς καταγεγραμμένη από την πρόθεση των επιθέτων, όπως [Φωνάζοντας], ή άλλα ‘πλατά’ κόλπα που είναι διαθέσιμα στις συμβάσεις υποτιτλισμού.

‘Προτείνουμε ένα νέο μοντέλο Τυπογραφίας-Ρυθμισμένης-Απo-Λόγο, όπου ακουστικά χαρακτηριστικά από τον λόγο χρησιμοποιούνται για να ρυθμίσουν την οπτική εμφάνιση του κειμένου. Αυτό θα μπορούσε να επιτρέψει σε μια δεδομένη έκφραση να αντιπροσωπεύει όχι μόνο τα λόγια που λέγονται, αλλά και τον τρόπο με τον οποίο λέγονται.

‘Με αυτό, ελπίζουμε να ανακαλύψουμε τυπογραφικά παράμετρα που μπορούν να αναγνωριστούν γενικά ως οπτικά αντίστοιχα για τις προσωδιακές ιδιότητες της ακτίνας, πίτσας και διάρκειας.’

Η διαδικασία που μεταφράζει την προσωδία σε τυπογραφική στυλ. Στόχος είναι να παράγει το πιο ευέλικτο και ευρύτατα-διαθέσιμο σύστημα δυνατό, οι συγγραφείς περιόρισαν τους εαυτούς τους σε μετατόπιση βάσης, κέρνινγκ και boldness, το τελευταίο παρέχεται από την ευελιξία ενός ανοικτού τύπου γραμματοσειράς. Πηγή: https://arxiv.org/pdf/2202.10631.pdf

Το έγγραφο έχει τον τίτλο Κρυμμένες κραυγές, ψιθύρους και γαβγίσματα: Μπορεί το κείμενο να κάνει περισσότερα από τα λόγια του;, και προέρχεται από τους Calua de Lacerda Pataca και Paula Dornhofer Paro Costa, δύο ερευνητές στο Universidade Estadual de Campinas στη Βραζιλία.

Ενισχυμένα Λόγια

Αν και ο ευρύτερος στόχος του έργου είναι να αναπτύξει συστήματα που μπορούν να μεταφέρουν προσωδία και άλλα παραμετρικά γλωσσικά χαρακτηριστικά στο υποτιτλισμό, οι συγγραφείς πιστεύουν επίσης ότι ένα σύστημα αυτού του είδους θα μπορούσε τελικά να αναπτύξει ένα ευρύτερο κοινό στον ακουστικό κόσμο.

Υπάρχουν πολλές προηγούμενες πρωτοβουλίες σε αυτόν τον χώρο, συμπεριλαμβανομένης μιας έργου του 1983 που πρότεινε ένα σύστημα υποτιτλισμού που θα μπορούσε να περιλαμβάνει ‘ειδικά εφέ, χρώμα και κεφαλαία γράμματα [για να αντιπροσωπεύουν] την πλούσια τονική πληροφορία που αρνείται στα κωφά παιδιά[.]’.

Αντίθετα, το βραζιλιάνικο έργο μπορεί να επωφεληθεί τόσο από την αυτοματοποιημένη μεταγραφή όσο και από τις νέες εξελίξεις στην αναγνώριση συναισθήματος, οι οποίες συνδυάζονται για να επιτρέψουν μια διαδικασία που μπορεί να εισαγάγει και να χαρακτηρίσει τα στοιχεία σε ένα soundtrack ομιλίας.

Μετά την εξαγωγή και επεξεργασία των προσωδιακών χαρακτηριστικών, αυτά αντιστοιχούν στα χρονικά σημεία των λέξεων στην ομιλία, παράγοντας tokens που μπορούν να χρησιμοποιηθούν για να εφαρμόσουν κανόνες-βασισμένη ρύθμιση της τυπογραφίας του υποτιτλισμού (βλέπε εικόνα παραπάνω).

Αυτό το αποτέλεσμα μπορεί να αντιπροσωπεύει οπτικά το βαθμό στον οποίο μια συγκεκριμένη συλλαβή μπορεί να είναι προεκτεταμένη, ψιθυρισμένη, τόνιση ή άλλως να κρατάει контέκστ πληροφορίας που θα χανόταν σε μια ακατέργαστη μεταγραφή.

Από τη φάση δοκιμών του έργου, σημειώστε τον τρόπο με τον οποίο το κέρνινγκ (ο χώρος μεταξύ των γραμμάτων σε μια λέξη) έχει διευρυθεί για να αντανακλούσει μια προεκτεταμένη προφορά.

Οι συγγραφείς καθιστούν σαφές ότι η δουλειά τους δεν έχει ως στόχο να συνεισφέρει άμεσα στην έρευνα αναγνώρισης συναισθήματος και αναγνώρισης συναισθήματος, αλλά αντίθετα να ταξινομήσει τα χαρακτηριστικά του λόγου και να τα αντιπροσωπεύσει με μια απλή και περιορισμένη σειρά καινοτόμων οπτικών συμβάσεων.

Ελάχιστα, η πρόσθετη έμφαση που παρέχει το σύστημα αποσαφηνίζει τις προτάσεις όπου το αντικείμενο της δράσης μπορεί να μην είναι σαφές για τους θεατές που δεν μπορούν να ακούσουν τον ήχο (είτε λόγω αναπηρίας είτε λόγω των περιστάσεων αναπαραγωγής, όπως θορυβώδεις περιβάλλοντες).

Για να δανειστώ το δικό μου παράδειγμα από το 2017, το οποίο εξέτασε τον τρόπο με τον οποίο τα συστήματα μηχανικής μάθησης μπορούν να έχουν επίσης δυσκολία στην κατανόηση του πού βρίσκεται το αντικείμενο και η δράση σε μια πρόταση, είναι εύκολο να δούμε το βαθμό στον οποίο η έμφαση μπορεί να αλλάξει ριζικά τη σημασία ακόμη και μιας απλής πρότασης:

Εγώ δεν έκλεψα αυτό. (Κάποιος άλλος το έκλεψε)
Εγώ δεν έκλεψα αυτό, (Αρνείστε την κατηγορία ότι το έκλεψα)
Εγώ δεν έκλεψα αυτό. (Το κατέχω, η κλοπή δεν ισχύει)
Εγώ δεν έκλεψα αυτό. (Αλλά έκλεψα κάτι άλλο)

Πιθανώς, μια μηχανιστική διαδικασία προσωδίας-τυπογραφίας όπως αυτή που προτείνουν οι βραζιλιάνοι συγγραφείς θα μπορούσε επίσης να είναι χρήσιμη ως παρουσίαση στην ανάπτυξη συνόλων δεδομένων για έρευνα υπολογιστικού συναισθήματος, поскольку διευκολύνει την επεξεργασία καθαρά κειμενικών δεδομένων που ενσωματώνουν ορισμένες προ-αντιληπτές παραγλωσσικές διαστάσεις.

Επιπλέον, οι ερευνητές σημειώνουν ότι η πρόσθετη γλωσσική πληροφορία της προσωδίας-ενήμερης κειμένου θα μπορούσε να είναι χρήσιμη σε μια σειρά από εργασίες NLP, συμπεριλαμβανομένης της αξιολόγησης της ικανοποίησης του πελάτη και για την εύρεση της κατάθλιψης από το περιεχόμενο κειμένου.

Ελαστική Τυπογραφία

Το πλαίσιο που αναπτύχθηκε από τους ερευνητές προσφέρει ποικιλία στη μετατόπιση βάσης, όπου ένα γράμμα μπορεί να είναι υψηλότερο ή χαμηλότερο σχετικά με τη ‘βάση’ στην οποία η πρόταση αναπαύεται· κέρνινγκ, όπου ο χώρος μεταξύ των γραμμάτων μιας λέξης μπορεί να συρρικνωθεί ή να διευρυνθεί· και βαρύτητα γραμματοσειράς (boldness).

Αυτά τα τρία στυλ αντιστοιχούν στα εξαγόμενα χαρακτηριστικά του λόγου, στα οποία το έργο έχει περιορίσει τους εαυτούς τους: αντίστοιχα, πίτσα, διάρκεια, και μέγεθος.

Η πρόοδος του στυλ σε μια πρόταση. Στο #1, βλέπουμε τα σύνορα συλλαβών που έχουν οριστεί στη διαδικασία εξαγωγής. Στο #2, βλέπουμε μια αναπαράσταση κάθε μιας από τις τρεις ρυθμίσεις (μέγεθος|βαρύτητα, κέρνινγκ|διάρκεια, και πίτσα|μετατόπιση βάσης), εφαρμοσμένες μονοί. Στο #3, βλέπουμε τις συνδυασμένες τυπογραφικές ρυθμίσεις στο τελικό αποτέλεσμα, όπως παρουσιάζεται στους 117 συμμετέχοντες σε μια δοκιμή του συστήματος.

Καθώς μια seule γραμματοσειρά μπορεί να απαιτεί μια επιπλέον και ξεχωριστή γραμματοσειρά για παραλλαγές όπως το bold και το italic, οι ερευνητές χρησιμοποίησαν μια εφαρμογή του Google Inter, η οποία ενσωματώνει μια γραμμική σειρά βαρύτητας σε μια seule γραμματοσειρά.

Από το έγγραφο, ένας πίνακας που περιγράφει το βαθμό στον οποίο ένα γλυφό OpenType από τη γραμματοσειρά Inter μπορεί να εκφράσει μια σειρά από bold εντάσεις κατά μήκος του σκελετού της ελάχιστης βασικής σπλάινς.

Δοκιμές

Η έκφραση του κέρνινγκ και της μετατόπισης βάσης ενσωματώθηκε σε ένα plugin του browser, το οποίο επέτρεψε δοκιμές που διεξήχθησαν σε 117 συμμετέχοντες με ακουστική ικανότητα.

Το σύνολο δεδομένων για τις δοκιμές δημιουργήθηκε ειδικά για το έργο, με την εύρεση ενός ηθοποιού που διάβασε μια επιλογή ποιημάτων πολλές φορές με διαφορετική έμφαση σε κάθε λήψη, που αντιστοιχούσε στα τρία χαρακτηριστικά που το έργο μελετά. Η ποίηση επιλέχθηκε επειδή επιτρέπει μια σειρά από εντάσεις (ακόμη και πέρα από την πρόθεση του ποιητή) χωρίς να ακούγεται τεχνητή στη φύση.

Οι συμμετέχοντες χωρίστηκαν σε δύο ομάδες. Η πρώτη ομάδα έλαβε 15 γύρους της ανάγνωσης του ηθοποιού μιας στροφής, συνοδευόμενη από συγχρονισμένο,)animated και ρυθμισμένο κείμενο, το οποίο ξεδιπλώθηκε με τον χρόνο της ηχητικής κλίπ.

Η δεύτερη ομάδα έλαβε ακριβώς το ίδιο σύνολο εργασιών, αλλά παρουσιάστηκε με στατικές εικόνες του ρυθμισμένου κειμένου, το οποίο δεν άλλαξε καθόλου κατά την αναπαραγωγή της ηχητικής κλίπ του ηθοποιού.

Ο μέσος όρος των σωστών απαντήσεων ήταν 67% για την ομάδα στατικών εικόνων και 63% για την ομάδα κινητού κειμένου. Τα σχόλια των συμμετεχόντων που ζητήθηκαν από τους ερευνητές μετά τις δοκιμές επιβεβαίωσαν την θεωρία ότι η γνωστική φόρτωση της δυναμικής ερμηνείας μπορεί να συνέβαλε στα χαμηλότερα σκορ για τις μη-στατικές δοκιμές. Ωστόσο, το είδος του υποτιτλισμού και των συστημάτων μηνυμάτων για τα οποία ένα τέτοιο πλαίσιο θα προοριζόταν συνήθως να παρέχει κείμενο per-ολοκληρωμένο από προεπιλογή.

Τα σχόλια των συμμετεχόντων επίσης έδειξαν ότι υπάρχουν σκληρά όρια στη χρήση του κέρνινγκ για να δείξουν τη διάρκεια, με ένα σχόλιο να σημειώνει ότι όταν τα γράμματα είναι διαστημάτων πολύ μακριά, γίνεται δύσκολο να διακρίνουμε μια λέξη.

Οι ερευνητές επίσης σημειώνουν:

‘[Ορισμένοι] συμμετέχοντες ένιωσαν ότι το μοντέλο θα πρέπει να μπορεί να ενσωματώσει πιο νюανσικές και σύνθετες αναπαραστάσεις του λόγου, το οποίο θα πρέπει να κάνει με μια πιο ποικιλόμορφη και εκφραστική οπτική λεξιλόγιο. Αν και αυτό δεν είναι μια απλή εργασία, είναι ωστόσο ενθαρρυντικό να φανταστούμε πώς διαφορετικές εφαρμογές της τυπογραφίας-ρυθμισμένης-απo-λόγο θα μπορούσαν να διακλαδιστούν καθώς αυτό το νέο πεδίο αναπτύσσεται.’

Πρώτη δημοσίευση 24ης Φεβρουαρίου 2022.