Ένας Τρόπος Επίθεσης Εναντίον του 3D Gaussian Splatting

Μια νέα συνεργασία ερευνών μεταξύ Singapour και Κίνας έχει προτείνει einen τρόπο επίθεσης στον δημοφιλή συνθετικό μέθοδο 3D Gaussian Splatting (3DGS).

Η νέα μέθοδος επίθεσης χρησιμοποιεί κατασκευασμένα δεδομένα πηγής για να υπερφορτώσει την διαθέσιμη μνήμη GPU του συστήματος-στόχου και να κάνει την εκπαίδευση τόσο μακρά ώστε να μπορεί να απενεργοποιήσει τον сервер-στόχο, ισοδύναμο με μια επίθεση άρνησης υπηρεσίας (DOS). Πηγή: https://arxiv.org/pdf/2410.08190

Η επίθεση χρησιμοποιεί κατασκευασμένα εικόνες εκπαίδευσης τέτοιου βαθμού πολυπλοκότητας που είναι πιθανό να υπερφορτώσουν μια διαδικτυακή υπηρεσία που επιτρέπει στους χρήστες να δημιουργούν αναπαραστάσεις 3DGS.

Αυτή η προσέγγιση διευκολύνεται από τη διαμορφώσιμη φύση του 3DGS, που έχει σχεδιαστεί για να προσθέσει όσο το δυνατόν περισσότερες αναπαραστατικές λεπτομέρειες όπως απαιτούν οι εικόνες πηγής για μια ρεαλιστική απόδοση. Η μέθοδος εκμεταλλεύεται τόσο την πολυπλοκότητα των κατασκευασμένων εικόνων (υφές) όσο και το σχήμα (γεωμετρία).

Το σύστημα επίθεσης ‘poison-splat’ βοηθιέται από ένα μοντέλο-proxυ που εκτιμά και επαναλαμβάνει το δυναμικό των εικόνων πηγής για να προσθέσει πολυπλοκότητα και περιπτώσεις Gaussian Splat σε ένα μοντέλο, μέχρι που το σύστημα-στόχος να υπερφορτωθεί.

Το έγγραφο ισχυρίζεται ότι τα διαδικτυακά πλαίσια – όπως LumaAI, KIRI, Spline και Polycam – προσφέρουν ολοένα και περισσότερο 3DGS ως υπηρεσία, και ότι η νέα μέθοδος επίθεσης – με τίτλο Poison-Splat – είναι πιθανό να ωθήσει τον αλγόριθμο 3DGS προς ‘την χειρότερη υπολογιστική πολυπλοκότητα‘ σε τέτοιους τομείς και ακόμη να διευκολύνει μια επίθεση άρνησης υπηρεσίας (DOS).

Σύμφωνα με τους ερευνητές, το 3DGS θα μπορούσε να είναι ριζικά πιο ευάλωτο σε άλλες διαδικτυακές υπηρεσίες εκπαίδευσης νευρωνικών δικτύων. Οι συμβατικές διαδικασίες εκπαίδευσης νευρωνικών δικτύων ορίζουν παραμέτρους στην αρχή και στη συνέχεια λειτουργούν εντός σταθερών και σχετικά συνεπών επιπέδων χρήσης πόρων και κατανάλωσης ενέργειας. Χωρίς την ‘ελαστικότητα’ που απαιτεί το Gaussian Splat για την ανάθεση περιπτώσεων Splat, τέτοιες υπηρεσίες είναι δύσκολο να στοχευτούν με τον ίδιο τρόπο.

Επιπλέον, οι συγγραφείς σημειώνουν ότι οι παρόχοι υπηρεσιών δεν μπορούν να αμυνθούν ενάντια σε μια τέτοια επίθεση περιορίζοντας την πολυπλοκότητα ή την πυκνότητα του μοντέλου, поскольку αυτό θα απενεργοποιήσει την αποτελεσματικότητα της υπηρεσίας σε κανονική χρήση.

Από το νέο έργο, βλέπουμε ότι ένα σύστημα-στόχος που περιορίζει τον αριθμό των ανατεθειμένων Gaussian Splats δεν μπορεί να λειτουργήσει κανονικά, поскольку η ελαστικότητα αυτών των παραμέτρων είναι ένα θεμελιώδες χαρακτηριστικό του 3DGS.

Το έγγραφο αναφέρει:

‘[3DGS] μοντέλα που εκπαιδεύονται υπό αυτές τις αμυντικές περιορισμούς έχουν πολύ χειρότερη απόδοση σε σύγκριση με αυτά με απελευθερωμένη εκπαίδευση, ιδιαίτερα σε όρους ανακατασκευής λεπτομερειών. Αυτή η πτώση στην ποιότητα συμβαίνει επειδή το 3DGS δεν μπορεί να διακρίνει αυτόματα τις απαραίτητες λεπτομέρειες από τις δηλητηριώδεις υφές.

‘Ναϊβικά, το να περιορίσεις τον αριθμό των Gaussians θα οδηγήσει trực tiếp στην αποτυχία του μοντέλου να ανακατασκευάσει την 3D σκηνή με ακρίβεια, που παραβιάζει τον πρωταρχικό σκοπό του παρόχου υπηρεσίας. Αυτή η μελέτη δείχνει ότι πιο sophistikées αμυντικές στρατηγικές είναι απαραίτητες για να προστατεύσουν το σύστημα και να διατηρήσουν την ποιότητα των 3D ανακατασκευών υπό την επίθεση μας.’

Σε δοκιμές, η επίθεση αποδείχθηκε αποτελεσματική και σε μια λωζή λευκή-κουτί (όπου ο επιτιθέμενος έχει γνώση των πόρων του θύματος) και σε μια μαύρη-κουτί προσέγγιση (όπου ο επιτιθέμενος δεν έχει τέτοια γνώση).

Οι συγγραφείς πιστεύουν ότι το έργο τους αντιπροσωπεύει την πρώτη μέθοδο επίθεσης εναντίον του 3DGS και προειδοποιούν ότι ο τομέας της ασφάλειας των νευρωνικών συνθέσεων δεν είναι προετοιμασμένος για αυτό το είδος προσέγγισης.

Το νέο έγγραφο έχει τίτλο Poison-splat: Επίθεση Κόστους Υπολογισμού στο 3D Gaussian Splatting και προέρχεται από πέντε συγγραφείς στο Εθνικό Πανεπιστήμιο της Singapour και την Skywork AI στο Πεκίνο.

Μέθοδος

Οι συγγραφείς ανέλυσαν το βαθμό στον οποίο ο αριθμός των Gaussian Splats (ουσιαστικά, τριδιάστατα ελλειψοειδή ‘pixel’) που ανατίθενται σε ένα μοντέλο υπό μια διαδικασία 3DGS επηρεάζει τους υπολογιστικούς κόστους της εκπαίδευσης και της απόδοσης του μοντέλου.

Η μελέτη των συγγραφέων αποκαλύπτει μια σαφή συσχέτιση μεταξύ του αριθμού των ανατεθειμένων Gaussians και του χρόνου εκπαίδευσης, καθώς και της χρήσης μνήμης GPU.

Η δεξιά εικόνα στην εικόνα πάνω δείχνει τη σαφή σχέση μεταξύ της οξύτητας της εικόνας και του αριθμού των Gaussians που ανατίθενται. Όσο πιο οξεία είναι η εικόνα, τόσο περισσότερη λεπτομέρεια απαιτείται για να αποδοθεί το μοντέλο 3DGS.

Το έγγραφο αναφέρει:

‘[Βρήκαμε ότι] το 3DGS τείνει να αναθέτει περισσότερους Gaussians σε αυτά τα αντικείμενα με πιο σύνθετες δομές και μη-ομαλές υφές, όπως ποσοτικοποιείται από το συνολικό σκορ μεταβλητότητας – ένα μέτρο που αξιολογεί την οξύτητα της εικόνας. Λογικά, όσο λιγότερο ομαλή είναι η επιφάνεια των 3D αντικειμένων, τόσο περισσότεροι Gaussians το μοντέλο χρειάζεται για να ανακατασκευάσει όλες τις λεπτομέρειες από τις 2D προβολές εικόνων.

‘Έτσι, η μη-ομαλότητα μπορεί να είναι ένας καλός περιγραφέας της πολυπλοκότητας [των Gaussians]’

Ωστόσο, ναϊβικά να κάνεις τις εικόνες πιο οξείες θα οδηγήσει να επηρεάσει την σεμαντική ακεραιότητα του μοντέλου 3DGS τόσο πολύ που μια επίθεση θα ήταν προφανής στις πρώτες φάσεις.

Η δηλητηρίαση των δεδομένων απαιτεί μια πιο sophistikée προσέγγιση. Οι συγγραφείς έχουν υιοθετήσει μια μοντέλο-proxυ μέθοδο, όπου οι εικόνες επίθεσης βελτιστοποιούνται σε ένα off-line μοντέλο 3DGS που έχει αναπτυχθεί και ελέγχεται από τους επιτιθέμενους.

Αριστερά, βλέπουμε einen γράφο που αντιπροσωπεύει το συνολικό κόστος του χρόνου υπολογισμού και της κατοχής μνήμης GPU στο σύνολο δεδομένων MIP-NeRF360 ‘δωμάτιο’, που δείχνει την φυσιολογική απόδοση, την ναϊβική perturbation και τα δεδομένα που οδηγούνται από το proxυ.

Οι συγγραφείς αναφέρουν:

‘Είναι προφανές ότι το μοντέλο-proxυ μπορεί να οδηγηθεί από τη μη-ομαλότητα των 2D εικόνων για να αναπτύξει πολύ σύνθετες 3D μορφές.

‘Συνεπώς, τα δηλητηριασμένα δεδομένα που παράγονται από την προβολή αυτού του υπερπυκνωμένου μοντέλου-proxυ μπορούν να παράγουν περισσότερα δηλητηριασμένα δεδομένα, που οδηγούν σε περισσότερους Gaussians για να ταιριάζουν με αυτά τα δηλητηριασμένα δεδομένα.’

Το σύστημα επίθεσης περιορίζεται από μια συνεργασία του 2013 μεταξύ Google/Facebook με διάφορα πανεπιστήμια, ώστε οι perturbations να παραμείνουν εντός ορίων που έχουν σχεδιαστεί για να επιτρέψουν στο σύστημα να προκαλέσει ζημιά χωρίς να επηρεάσουν την ανακατασκευή μιας εικόνας 3DGS, που θα ήταν ένα πρώιμο σήμα μιας εισβολής.

Δεδομένα και Δοκιμές

Οι ερευνητές δοκιμάζουν το poison-splat εναντίον τριών συνόλων δεδομένων: NeRF-Synthetic; Mip-NeRF360; και Tanks-and-Temples.

Χρησιμοποίησαν την επίσημη υλοποίηση του 3DGS ως περιβάλλον-στόχο. Για μια μαύρη-κουτί προσέγγιση, χρησιμοποίησαν το πλαίσιο Scaffold-GS.

Οι δοκιμές πραγματοποιήθηκαν σε μια NVIDIA A800-SXM4-80G GPU.

Για μετρικές, ο αριθμός των Gaussian splats που παράγονται ήταν ο πρωταρχικός δείκτης,既然 η πρόθεση είναι να κατασκευαστούν εικόνες πηγής που έχουν σχεδιαστεί για να μεγιστοποιήσουν και να υπερβούν την λογική συλλογή των δεδομένων πηγής. Η ταχύτητα απόδοσης του συστήματος-στόχου επίσης εξετάστηκε.

Τα αποτελέσματα των αρχικών δοκιμών εμφανίζονται παρακάτω:

Πλήρη αποτελέσματα των δοκιμαστικών επιθέσεων σε τρία σύνολα δεδομένων. Οι συγγραφείς παρατηρούν ότι έχουν υπογραμμίσει επιθέσεις που καταναλώνουν περισσότερα από 24GB μνήμης. Παρακαλώ αναφερθείτε στο αρχικό έγγραφο για καλύτερη ανάλυση.

Από αυτά τα αποτελέσματα, οι συγγραφείς σχολιάζουν:

‘[Η] Poison-splat επίθεση μας δείχνει την ικανότητα να κατασκευάσουμε μια τεράστια επιπλέον υπολογιστική負荷 σε πολλαπλά σύνολα δεδομένων. Ακόμη και με perturbations που περιορίζονται εντός eines μικρού εύρους σε μια περιορισμένη επίθεση, η μέγιστη μνήμη GPU μπορεί να αυξηθεί σε πάνω από 2 φορές, καθιστώντας την συνολική μέγιστη κατοχή GPU υψηλότερη από 24 GB.

‘Στην πραγματική ζωή, αυτό μπορεί να σημαίνει ότι η επίθεση μας μπορεί να απαιτήσει περισσότερους πόρους από ό,τι οι κοινές σταθμούς GPU μπορούν να παρέχουν, π.χ., RTX 3090, RTX 4090 και A5000. Επιπλέον [η] επίθεση δεν αυξάνει μόνο τη χρήση μνήμης, αλλά cũng επιβραδύνει σημαντικά την ταχύτητα εκπαίδευσης.

‘Αυτή η ιδιότητα θα ενισχύσει ακόμη περισσότερο την επίθεση,既然 η υπερφόρτωση της μνήμης GPU θα διαρκέσει περισσότερο από ό,τι η κανονική εκπαίδευση μπορεί να λάβει, καθιστώντας την συνολική απώλεια υπολογιστικής ισχύος υψηλότερη.’

Η εξέλιξη του μοντέλου-proxυ και σε μια περιορισμένη και σε μια απελευθερωμένη επίθεση.

Οι δοκιμές εναντίον του Scaffold-GS (το μαύρο-κουτί μοντέλο) εμφανίζονται παρακάτω. Οι συγγραφείς αναφέρουν ότι αυτά τα αποτελέσματα δείχνουν ότι το poison-splat γενικεύεται καλά σε μια διαφορετική αρχιτεκτονική (δηλ. στην αναφορά υλοποίηση).

Αποτελέσματα δοκιμών για μαύρο-κουτί επιθέσεις στα σύνολα δεδομένων NeRF-Synthetic και MIP-NeRF360.

Οι συγγραφείς σημειώνουν ότι έχουν υπάρξει πολύ λίγες μελέτες που επικεντρώνονται σε αυτό το είδος επιθέσεων πόρων σε διαδικασίες συλλογής. Το έγγραφο του 2020 Επιθέσεις Ενέργειας-Καθυστέρησης σε Νευρωνικά Δίκτυα ήταν σε θέση να αναγνωρίσει παραδείγματα δεδομένων που προκαλούν υπερβολικές ενεργειακές ενεργειες, οδηγώντας σε καταστροφική κατανάλωση ενέργειας και σε κακή καθυστέρηση.

Οι επιθέσεις συλλογής μελετήθηκαν thêm σε επόμενες εργασίες όπως Επιθέσεις Καθυστέρησης σε Προσαρμοστικές Πολυ-Έξοδο Νευρωνικά Δίκτυα, Προς την Απόδοση Εισαγωγής Πισώπλαστων, και, για γλωσσικά μοντέλα και οπτικά-γλωσσικά μοντέλα (VLMs), σε NICGSlowDown, και Verbose Images.

Συμπέρασμα

Η επίθεση Poison-splat που αναπτύχθηκε από τους ερευνητές εκμεταλλεύεται μια θεμελιώδη ευπάθεια στο Gaussian Splatting – το γεγονός ότι αναθέτει πολυπλοκότητα και πυκνότητα Gaussians σύμφωνα με το υλικό που έχει ανατεθεί για εκπαίδευση.

Το έγγραφο του 2024 F-3DGS: Παραγοντοποιημένες Συντεταγμένες και Αναπαραστάσεις για 3D Gaussian Splatting έχει ήδη παρατηρήσει ότι η ανάθεση splat του Gaussian Splatting είναι μια ατελής μέθοδος, που συχνά παράγει περιττές περιπτώσεις:

‘[Αυτή] η ατελής μέθοδος προέρχεται από την εγγενή αδυναμία του 3DGS να χρησιμοποιήσει δομικές προτύπους ή περιττές αναπαραστάσεις. Παρατηρήσαμε ότι το 3DGS παράγει ένα απαραίτητα μεγάλο αριθμό Gaussians ακόμη και για την αναπαράσταση απλών γεωμετρικών δομών, όπως επίπεδες επιφάνειες.

‘Επιπλέον, κοντινές Gaussians μπορεί να εμφανίσουν παρόμοια χαρακτηριστικά, υποδεικνύοντας την πιθανότητα για βελτίωση της αποτελεσματικότητας με την αφαίρεση των περιττών αναπαραστάσεων.’

既然 η περιόριση της γεννήσεως Gaussians υπονόμευε την ποιότητα αναπαραγωγής σε μη-επιθέσεις σενάρια, οι αυξανόμενοι αριθμοί διαδικτυακών παρόχων που προσφέρουν 3DGS από δεδομένα πηγής χρήστη μπορεί να χρειαστεί να μελετήσουν τα χαρακτηριστικά των εικόνων πηγής για να καθορίσουν υπογραφές που υποδηλώνουν μια κακόβουλη πρόθεση.’

Σε κάθε περίπτωση, οι συγγραφείς του νέου έργου συμπεραίνουν ότι πιο sophistikées αμυντικές στρατηγικές θα είναι απαραίτητες για τις διαδικτυακές υπηρεσίες αντιμέτωπες με το είδος της επίθεσης που έχουν διαμορφώσει.

* Η μετατροπή μου των εσωτερικών αναφορών των συγγραφέων σε υπερσύνδεσμους

Πρώτη δημοσίευση Παρασκευή, 11 Οκτωβρίου 2024