Βασικές αρχές της AI
Σύνθετα Μέσα: Τύποι, Εφαρμογές, Κίνδυνοι και Προέλευση
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Συνθετικά μέσα είναι ψηφιακό περιεχόμενο που δημιουργείται ή τροποποιείται ουσιαστικά με αυτοματοποιημένα συστήματα. Περιλαμβάνει κείμενο, εικόνες, ήχο, βίντεο, άβαταρ και πολυμορφικούς συνδυασμούς. Κάποιο περιεχόμενο παράγεται εξ ολοκλήρου· άλλο μέσο αλλάζει μια πραγματική εγγραφή, πρόσωπο, φωνή, αντικείμενο ή φόντο.
Το ότι είναι συνθετικό δεν σημαίνει απατηλό. Οι ίδιες τεχνικές υποστηρίζουν την παραγωγή ταινιών, την προσβασιμότητα, την τοπική προσαρμογή, την εκπαίδευση και το σχεδιασμό, ενώ επίσης επιτρέπουν την προσωποποίηση, μη συναίνετες εικόνες, απάτη και παραπληροφόρηση. Η πρόθεση, η συναίνεση, το πλαίσιο και η αποκάλυψη καθορίζουν μεγάλο μέρος του κινδύνου.
Σημαντικά σημεία
- Τα συνθετικά μέσα καλύπτουν τη δημιουργία και την επεξεργασία κειμένου, εικόνας, ήχου, βίντεο και διαδραστικών άβαταρ.
- Η ανίχνευση είναι πιθανιστική και μπορεί να υποβαθμίζεται μετά από συμπίεση, επεξεργασία ή αλλαγές μοντέλου.
- Τα υδατογράμματα, οι ετικέτες και η προέλευση είναι συμπληρωματικά σήματα· κανένα δεν αποδεικνύει ότι ένας ισχυρισμός είναι αληθής.
- Η συναίνεση, η ταυτότητα, το πλαίσιο διανομής και η γρήγορη ανταπόκριση ανήκουν στη ροή παραγωγής.
Πώς δημιουργούνται τα συνθετικά μέσα
Τα αυτοπαλίνδρομα μοντέλα παράγουν ακολουθίες συμβόλων· τα μοντέλα διασποράς αφαιρούν θόρυβο από εικόνες, ήχο ή βίντεο· τα GANs μαθαίνουν έναν αντιθετικό γεννήτρια· τα συστήματα φωνής συνθέτουν ομιλία από κείμενο ή μετασχηματίζουν μια φωνή σε άλλη.
Η προσαρμογή μπορεί να περιλαμβάνει προτροπές, εικόνες αναφοράς, κίνηση, δείγματα ομιλητή ή δομημένους ελέγχους. Τα εργαλεία επεξεργασίας μπορούν να γεμίσουν (inpaint) μια περιοχή, να αλλάξουν το χρονισμό ή να συγχρονίσουν τα χείλη. Το όριο μεταξύ καταγραφόμενων και παραγόμενων μέσων είναι επομένως ένα συνεχές.
Νόμιμες εφαρμογές
Οι δημιουργοί χρησιμοποιούν συνθετικά στοιχεία για storyboard, οπτικά εφέ και γρήγορο πρωτότυπο. Οι εφαρμογές προσβασιμότητας περιλαμβάνουν τη δημιουργία ομιλίας, τη δημιουργία υποτίτλων και εξατομικευμένα βοηθήματα επικοινωνίας. Η τοπική προσαρμογή μπορεί να μεταφράσει και να επαναφωνήσει εκπαιδευτικό ή ψυχαγωγικό περιεχόμενο με άδεια.
Οι προσομοιώσεις εκπαίδευσης μπορούν να δημιουργήσουν σπάνια σενάρια, και τα συνθετικά σύνολα δεδομένων που διασφαλίζουν την ιδιωτικότητα μπορούν να μειώσουν την έκθεση σε πραγματικά αρχεία. Αυτές οι χρήσεις απαιτούν ακόμη έλεγχο ποιότητας, επειδή τα συνθετικά δεδομένα μπορούν να αναπαράγουν προκαταλήψεις ή να παραλείψουν σημαντικές περιπτώσεις άκρων.
Κίνδυνοι και μοντέλα απειλών
Οι κίνδυνοι περιλαμβάνουν απάτες προσωποποίησης, ψεύτικα αποδεικτικά, μη συναίνετες ερωτικές εικόνες, παρενόχληση, παραποιημένο πολιτικό περιεχόμενο, διαφωνίες πνευματικών δικαιωμάτων και διάβρωση της εμπιστοσύνης στα αυθεντικά μέσα. Το κείμενο και η φωνή μπορούν να έχουν συνέπειες ίσες με τα οπτικά εντυπωσιακά deepfake.
Η μοντελοποίηση απειλών διερωτάται ποια ταυτότητα εκπροσωπείται, ποιος έδωσε τη συναίνεση, πώς θα διανεμηθεί το περιεχόμενο, ποιος ισχυρισμός φαίνεται να υποστηρίζει και πόσο γρήγορα μπορεί να εξαπλωθεί ο κίνδυνος. Τα μέτρα ασφαλείας πρέπει να ταιριάζουν σε αυτό το πλαίσιο αντί να εφαρμόζουν ένα γενικό φίλτρο.
Ανίχνευση, υδατογράφημα και προέλευση
Οι ανιχνευτές εκτιμούν αν το περιεχόμενο ταιριάζει με τα τεχνικά χαρακτηριστικά που παρατηρήθηκαν κατά την εκπαίδευση· νέα μοντέλα, επεξεργασία και συμπίεση μπορούν να μειώσουν την ακρίβεια. Τα υδατογραφήματα ενσωματώνουν ή συνδέουν ένα σήμα, αλλά μπορεί να αφαιρεθούν ή να λείπουν. Οι ετικέτες βοηθούν μόνο όταν παραμένουν συνδεδεμένες και κατανοητές.
Τα C2PA Content Credentials συνδέουν κρυπτογραφικά τις δηλώσεις προέλευσης σχετικά με τη δημιουργία και τις επεξεργασίες σε ένα περιουσιακό στοιχείο. Μπορούν να κάνουν την παραβίαση εμφανή υπό ένα μοντέλο εμπιστοσύνης, αλλά δεν κρίνουν αν το απεικονιζόμενο γεγονός ή η γραπτή δήλωση είναι αληθινά.
Διαβαθμισμένη ροή δημοσίευσης
Λάβετε συναίνεση και καταγράψτε τα δικαιώματα προέλευσης πριν από τη δημιουργία. Εφαρμόστε ελέγχους μοντέλου και προτροπής, ελέγξτε τα αποτελέσματα που αφορούν την ταυτότητα, επισυνάψτε μόνιμη προέλευση, αποκαλύψτε ουσιαστικές τροποποιήσεις και διατηρήστε μια διαδρομή κλιμάκωσης για καταγγελίες ή προσωποποίηση.
Οι πλατφόρμες και οι εκδότες πρέπει να συνδυάζουν την προέλευση, την ανίχνευση, τα σήματα λογαριασμού, τον έλεγχο των γεγονότων και τα συμφραζόμενα αποδεικτικά. Συνδέστε αυτούς τους ελέγχους με τις διαδικασίες περιστατικών cybersecurity και generative-AI, επειδή κανένα μοναδικό τεχνικό σήμα δεν είναι αποφασιστικό.
Μέθοδοι συνθετικών μέσων και αποδείξεις
Τα συνθετικά μέσα περιλαμβάνουν παραγόμενες ή τροποποιημένες εικόνες, ήχο, βίντεο, κείμενο, άβαταρ και εικονικά περιβάλλοντα. Οι μέθοδοι περιλαμβάνουν GANs, διασπορά, αυτοπαλίνδρομα μοντέλα, νευρωνική απόδοση, επανεμφάνιση προσώπου, κλωνοποίηση φωνής, σύνθεση ομιλίας, σύνθεση εικόνας και συμβατική επεξεργασία. Το όριο μεταξύ συνθετικού και επεξεργασμένου είναι συνεχές. Ένα ρεαλιστικό τεχνικό στοιχείο δεν αποτελεί απόδειξη ότι συνέβη ένα γεγονός, και ένα εντοπισμένο στοιχείο δεν αποδεικνύει κακόβουλη πρόθεση. Η αξιολόγηση πρέπει να διατηρεί το αρχικό αρχείο, τα μεταδεδομένα, την πηγή και την αλυσίδα φύλαξης.
Η δημιουργία μπορεί να υποστηρίξει ταινίες, προσβασιμότητα, τοπική προσαρμογή, εκπαίδευση, άβαταρ που διασφαλίζουν την ιδιωτικότητα, προσομοίωση και δημιουργικό πρωτότυπο. Μπορεί επίσης να επιτρέψει προσωποποίηση, απάτη, παρενόχληση, μη συναίνετες ερωτικές εικόνες, προπαγάνδα και ψεύτικα αποδεικτικά. Ο κίνδυνος εξαρτάται από την ταυτότητα, τη συναίνεση, το κοινό, την αποκάλυψη, το πλαίσιο, τη διανομή και τις συνέπειες. Η εξουσιοδότηση φωνής ή ομοιότητας πρέπει να καθορίζει τη νόμιμη χρήση και τη διάρκεια. Τα δημόσια πρόσωπα και οι απλοί άνθρωποι διατηρούν σημαντικά δικαιώματα και συμφέροντα ασφαλείας, ακόμη και όταν οι νόμοι διαφέρουν.
Προέλευση, υδατογράφημα και ανίχνευση
Η προέλευση περιεχομένου μπορεί να υπογράψει κρυπτογραφικά γεγονότα σύλληψης και επεξεργασίας και να επισυνάψει δηλώσεις μέσω ενός προτύπου όπως το C2PA. Βοηθά στην επαλήθευση μιας αλυσίδας όταν τα εργαλεία και οι πλατφόρμες διατηρούν τα διαπιστευτήρια, αλλά η απουσία προέλευσης δεν αποδεικνύει ψευδότητα και τα μεταδεδομένα μπορούν να αφαιρεθούν. Τα υδατογραφήματα μπορεί να είναι ορατά ή κρυφά και να υποδηλώνουν την προέλευση, αλλά η συμπίεση, η περικοπή, η αναγεννήση και η αντιπαραθετική κατάργηση περιορίζουν την ανθεκτικότητα. Χρησιμοποιήστε μαζί προέλευση, αποκάλυψη, ιστορικό λογαριασμού, επιβεβαίωση πηγής και δικανική ανάλυση.
Οι ανιχνευτές μαθαίνουν τεχνικά χαρακτηριστικά ή στατιστικά μοτίβα, αλλά η απόδοσή τους υποβαθμίζεται σε νέους γεννήτριες, επεξεργασία, γλώσσες και μεταβολές διανομής. Τα ψευδή θετικά μπορούν να βλάψουν άτομα και αυθεντική δημοσιογραφία. Αναφέρετε την προσαρμοσμένη αβεβαιότητα και τις συνθήκες επικύρωσης· μην κάνετε ποτέ μια σημαντική κατηγορία μόνο από ένα σκορ ανιχνευτή. Οι ανθρώπινες αναλυτές πρέπει να συγκρίνουν ανεξάρτητες αποδείξεις και να καταγράψουν τα εργαλεία και τις εκδόσεις. Οι πλατφόρμες χρειάζονται γρήγορη αναφορά, διατήρηση, έφεση και ανταπόκριση σε κακοποίηση βάσει ταυτότητας και σε χειραγώγηση εκλογών ή εκτάκτου περιστατικού.
Υπεύθυνη παραγωγή και επαλήθευση
Οι δημιουργοί πρέπει να λαμβάνουν συναίνεση, να προστατεύουν τα δεδομένα αναφοράς, να επισημαίνουν υλικό που μπορεί να παραπλανήσει και να διατηρούν αρχεία δημιουργίας. Οι οργανισμοί πρέπει να εκπαιδεύουν το προσωπικό να επαληθεύει επείγουσες αιτήσεις φωνής ή βίντεο μέσω ανεξάρτητου καναλιού, ειδικά για πληρωμές ή διαπιστευτήρια. Ασφαλίστε τις αγωγές μοντέλων και μέσων, περιορίστε τα χαρακτηριστικά προσωποποίησης και αποτρέψτε μη εξουσιοδοτημένες προσαρμοσμένες φωνές ή πρόσωπα. Τα συνθετικά μέσα γίνονται ένα συνηθισμένο εργαλείο παραγωγής· η αξιόπιστη χρήση εξαρτάται από την προέλευση και το πλαίσιο, ενώ το ανθεκτικό κοινό και οι θεσμοί πρέπει να επαληθεύουν τους ισχυρισμούς αντί να στηρίζονται στην οπτική ρεαλιστικότητα.
Παράδειγμα εφαρμογής: επαλήθευση επείγουσας συνθετικής φωνητικής ειδοποίησης
Ένας υπάλληλος οικονομικού τμήματος λαμβάνει ένα φωνητικό μήνυμα που φαίνεται να προέρχεται από τον CEO και ζητά επείγουσα μεταφορά. Η πολιτική απαγορεύει την έγκριση μόνο με βάση τη φωνή. Ο υπάλληλος επικοινωνεί με το εκτελεστικό πρόσωπο μέσω γνωστού ανεξάρτητου καναλιού, επαληθεύει τη συναλλαγή στο σύστημα πληρωμών και αναφέρει το μήνυμα. Η ασφάλεια διατηρεί το αρχικό αρχείο, τις κεφαλίδες, το ιστορικό λογαριασμού και το χρονικό διάστημα αντί να βασίζεται μόνο σε ανιχνευτή deepfake.
Η έρευνα συνδυάζει μεταδεδομένα προέλευσης, ακουστική ανάλυση με δηλωμένη αβεβαιότητα, ελέγχους παραβίασης ταυτότητας και πληροφορίες καμπάνιας. Τα αποτελέσματα ανίχνευσης δεν παρουσιάζονται ποτέ ως οριστικά στο προσωπικό ή στις αρχές χωρίς επιβεβαίωση. Ο οργανισμός αποκλείει την πηγή, προειδοποιεί τις στοχευμένες ομάδες, επαναφέρει τα επηρεαζόμενα διαπιστευτήρια και εξετάζει δημόσια δείγματα φωνής και διαδικασίες προμηθευτών. Η εκπαίδευση τονίζει τη διαδικασία: η επείγουσα φύση και ο ρεαλισμός δεν υπερισχύουν της διπλής έγκρισης. Η ανθεκτικότητα των συνθετικών μέσων προέρχεται από επαληθευμένα κανάλια και όρια εξουσιοδότησης, όπως και από τα δικανικά μοντέλα.
Απόδειξη υλοποίησης και επιχειρησιακή ετοιμότητα
Μια απόφαση παραγωγής απαιτεί περισσότερα από μια επιτυχημένη επίδειξη. Ορίστε τους προοριζόμενους χρήστες, το περιβάλλον λειτουργίας, τις εισόδους, τις εξόδους, τις εξαρτήσεις, τον κάτοχο και τις συνέπειες κάθε σημαντικής αποτυχίας. Δημιουργήστε μια επαναλήψιμη βάση και ένα σύνολο αξιολόγησης με εκδόσεις πριν από τη ρύθμιση. Δοκιμάστε συνηθισμένες περιπτώσεις, όρια, λανθασμένες ή ελλιπείς εισόδους, μεταβολές διανομής, διακοπή εξαρτήσεων, κακή χρήση και τις ομάδες ή περιβάλλοντα που είναι πιο πιθανό να υποεξυπηρετούνται. Μετρήστε την ποιότητα του έργου μαζί με την προσαρμογή ή αβεβαιότητα, την καθυστέρηση, τη διαπερατότητα, το κόστος πόρων, την προσβασιμότητα, την ιδιωτικότητα και την ασφάλεια. Καταγράψτε κάθε μετασχηματισμό και όριο ώστε ένας ανεξάρτητος ελεγκτής να μπορεί να αναπαράγει το αποτέλεσμα και να διακρίνει τις αποδείξεις από ένα ελκυστικό πρωτότυπο.
Πριν την εκκίνηση, ορίστε την εξουσία για κυκλοφορία, εξαιρέσεις, αλλαγές, επαναφορά και παύση. Χρησιμοποιήστε σταδιακή κυκλοφορία, διατηρήστε ασφαλή εναλλακτική λύση και επαληθεύστε την παρακολούθηση με σκόπιμα ενσωματωμένες αποτυχίες. Η λειτουργική τηλεμετρία πρέπει να αποκαλύπτει την ποιότητα εισόδου, τη συμπεριφορά εξόδου, την έκδοση μοντέλου ή κανόνα, την υγεία εξαρτήσεων, τις ανθρώπινες παρεμβάσεις και τα επιβεβαιωμένα αποτελέσματα χωρίς συλλογή περιττών ευαίσθητων δεδομένων. Ορίστε όρια ειδοποίησης και υπεύθυνο ανταπόκρισης, στη συνέχεια ελέγξτε τις αποδείξεις πραγματικού κόσμου μετά την ανάπτυξη αντί να υποθέτετε ότι η εκτός σύνδεσης απόδοση θα διατηρηθεί. Επανεκτιμήστε όποτε αλλάζουν οι πηγές δεδομένων, οι χρήστες, τα μοντέλα, οι προμηθευτές, οι πολιτικές, το υλικό ή οι στόχοι. Ένα διατηρούμενο σύστημα χρειάζεται επίσης τεκμηριωμένη ανάκτηση, εκμάθηση περιστατικών, διαδικασίες διαγραφής και διατήρησης, και ένα σαφές σημείο στο οποίο πρέπει να απενεργοποιηθεί ή να αντικατασταθεί.
Συχνές ερωτήσεις
Είναι κάθε επεξεργασμένη φωτογραφία συνθετικό μέσο;
Οι ορισμοί διαφέρουν. Μικρές συμβατικές επεξεργασίες μπορεί να μην θεωρούνται συνθετικές, ενώ οι παραγόμενες ή σημασιολογικά σημαντικές αυτοματοποιημένες τροποποιήσεις γενικά θεωρούνται. Η αποκάλυψη πρέπει να επικεντρώνεται στις αλλαγές που επηρεάζουν την ερμηνεία.
Αποδεικνύουν τα Content Credentials ότι τα μέσα είναι αληθή;
Όχι. Μπορούν να παρέχουν δηλώσεις προέλευσης που είναι ανιχνεύσιμες σε παραβίαση. Ένα έγκυρο αρχείο μπορεί ακόμη να συνοδεύεται από παραπλανητικό πλαίσιο ή ψευδή ισχυρισμό.
Πρωτεύουσες αναφορές
