Βαλ Μπερκόβιτσι, Chief AI Officer στην WEKA – Σειρά Συνεντεύξεων

Val Bercovici, Chief AI Officer στην WEKA, είναι εκτελεστικός διευθυντής AI και υποδομών δεδομένων με έμφαση στην προώθηση των τεχνολογιών που στηρίζουν την επόμενη γενιά τεχνητής νοημοσύνης. Από την ένταξή του στην WEKA ως Chief AI Officer τον Ιανουάριο του 2025, έχει επικεντρωθεί στην κατασκευή υποδομής πρακτόρων AI, στην επιτάχυνση των εργασιών εκπαίδευσης και επαγωγής, και στη βελτίωση της οικονομικής αποδοτικότητας της υπολογιστικής AI. Παράλληλα με τον ρόλο του στην WEKA, ο Bercovici λειτουργεί ως σύμβουλος AI για την Home Dock, ως στρατηγικός σύμβουλος για την FermiHDI και το The Hive, και ως Πρόεδρος της PencilDATA, όπου η εργασία του καλύπτει AI, κυβερνοασφάλεια, blockchain, υπολογιστικό νέφος και υποδομές δεδομένων. Η καριέρα του αντανακλά μια μακροχρόνια εστίαση στην ανάπτυξη και συμβουλευτική των αναδυόμενων τεχνολογιών που σχεδιάζονται για να υποστηρίζουν ολοένα και πιο δεδομενοβόρες συστήματα AI.

WEKA είναι μια εταιρεία υποδομών δεδομένων AI-native που δημιουργεί μια πλατφόρμα λογισμικού-ορισμού σχεδιασμένη για τις απαιτητικές ανάγκες δεδομένων της τεχνητής νοημοσύνης, της μηχανικής μάθησης, της υψηλής απόδοσης υπολογισμού και άλλων επιταχυμένων φορτίων εργασίας. Η Πλατφόρμα Δεδομένων WEKA παρέχει σε οργανισμούς μια ενοποιημένη αρχιτεκτονική που μπορεί να λειτουργεί σε on-premises, cloud, υβριδικά και edge περιβάλλοντα, βοηθώντας στην εξάλειψη των στενών σημείων αποθήκευσης, στη βελτίωση της αξιοποίησης GPU και στην επιτάχυνση της εκπαίδευσης και επαγωγής μοντέλων AI. Η εταιρεία τοποθετεί όλο και περισσότερο την τεχνολογία της γύρω από την αναδυόμενη οικονομία επαγωγής και την πράσινη AI, με υποδομή σχεδιασμένη να παρέχει υψηλή διαπερατότητα, χαμηλή καθυστέρηση πρόσβασης σε δεδομένα σε τεράστιες κλίμακες, ενώ απλοποιεί πολύπλοκες pipelines δεδομένων AI. Η WEKA εξυπηρετεί επιχειρήσεις, παρόχους cloud, ερευνητικούς οργανισμούς και προγραμματιστές AI που λειτουργούν σε μερικά από τα πιο απαιτητικά περιβάλλοντα υπολογιστικής απόδοσης παγκοσμίως.

Η καριέρα σας σας οδήγησε από το σχεδιασμό της πρώιμης στρατηγικής cloud της NetApp και τη συμμετοχή σας στο ιδρυτικό διοικητικό συμβούλιο του Kubernetes, μέχρι την κατασκευή υποδομής AI στην WEKA. Πώς έχει διαμορφώσει αυτή η εξέλιξη τον τρόπο που σκέφτεστε την προετοιμασία υποδομών για την επόμενη φάση της AI;

Κάθε εποχή της καριέρας μου έχει οριστεί από το ίδιο μοτίβο: το στενό σημείο μετακινείται, και η βιομηχανία χρειάζεται χρόνια για να το παρατηρήσει. Στις πρώιμες μέρες του cloud και του Kubernetes, παρατηρήσαμε ότι η υπολογιστική έγινε ελαστική και η ορχήστρωση έγινε το νέο σημείο συμφόρησης. Φθάνοντας από τη NetApp, όπου ήμουν CTO μετά την εξαγορά της SolidFire, νόμιζα ότι ήξερα τι σημαίνει γρήγορο: χιλιοστά του δευτερολέπτου για μια πραγματικά τυχαία ανάγνωση πρώτου byte υπό παραγωγικά φορτία.

Ο λόγος που εντάχθηκα στην WEKA είναι πραγματικά geeky. Ήταν ένα στατιστικό: η πρώτη μη κρυφή τυχαία ανάγνωση byte είναι 70 μικροδευτερόλεπτα, κάτι που δεν είναι αριθμός αποθηκευτικού τύπου. Ποτέ δεν είχα σκεφτεί την έννοια της καθυστέρησης σε επίπεδο μικροδευτερολέπτων για αυτό το είδος συστήματος. Εκεί ήταν το φως: αυτή η τεχνολογία θα μπορούσε να εξυπηρετήσει εφαρμογές μνήμης, εφαρμογές κλάσης DRAM όπως Redis και KV cache, όχι μόνο αποθήκευση. Και ακριβώς στη σωστή στιγμή, η επαγωγή άρχισε να υπερβαίνει την εκπαίδευση επειδή η βιομηχανία έπρεπε να μονοποιήσει αυτά τα μοντέλα, και οι πράκτορες εμφανίστηκαν για να κάνουν τη μνήμη ολόκληρο το παιχνίδι.

Αυτή είναι η προοπτική που φέρνω στην υποδομή AI. Έχουμε δει αυτή την ταινία πριν. Το Cloud FinOps εμφανίστηκε επειδή οι εταιρείες ανέβασαν υποδομές χωρίς αυστηρότητα οικονομικής μονάδας, και μετά έλαβαν τον λογαριασμό. Η AI βρίσκεται στην ίδια καμπύλη, κινούμενη πιο γρήγορα. Καθώς οι επιχειρήσεις αδιαμφισβήτητα αντιδρούν στο tokenmaxxing με την άφιξη των λογαριασμών κατανάλωσης API πολύ πάνω από τα προγραμματισμένα προϋπολογιστικά όρια token, παρακολουθούμε την άνοδο του AI FinOps. Αυτό είναι το σημείο όπου οι οργανισμοί σταματούν να θεωρούν την επαγωγή ως φθηνή υπηρεσία και αρχίζουν να διαχειρίζονται την αποδοτικότητα token ως οικονομική πειθαρχία. Το AI FinOps ξεκινά με tokenomics: τη βελτιστοποίηση κάθε στρώματος υλικού και λογισμικού της στοίβας επαγωγής που επηρεάζει το κόστος ανά token. Αυτή τη στιγμή η μεγαλύτερη σπατάλη σε αυτή τη στοίβα είναι τα ακριβά GPU και τα νέα ASIC που μένουν αδρανή, περιμένοντας μνήμη και δεδομένα (δηλαδή ‘decode’) αντί για FLOPS (δηλαδή ‘prefill’). Όποιος διορθώσει αυτό, κατέχει την επόμενη φάση της AI.

Η Λευκή Οικία κρατά μυστικά τις λεπτομέρειες του νέου πλαισίου ασφαλείας AI. Πώς μπορούν οι επιχειρήσεις να προετοιμαστούν για τις κανονιστικές απαιτήσεις όταν δεν γνωρίζουν ακόμη ακριβώς τι θα δοκιμαστεί ή απαιτηθεί;

Οι εταιρείες δεν πρέπει να περιμένουν την τελική λίστα ελέγχου. Οι συγκεκριμένες δοκιμές θα αλλάξουν, αλλά η υποχρέωση που τις υποστηρίζει δεν θα αλλάξει: θα πρέπει να αποδείξετε τι έκανε το μοντέλο AI σας, ποια δεδομένα επεξεργάστηκε και πώς συμπεριφέρθηκε σε συγκεκριμένο χρονικό σημείο. Και η αναμονή δεν είναι πλέον επιλογή παγκοσμίως. Ο Κανονισμός AI της ΕΕ έγινε εκτελεστός αυτόν τον μήνα, και ταξινομεί την πλειονότητα της ορχήστρωσης πρακτόρων ως υψηλού κινδύνου.

Αυτό σημαίνει ότι η προετοιμασία είναι δουλειά υποδομής. Η καταγραφή γραμμής δεδομένων, η παρατηρησιμότητα, η αναπαραγωγιμότητα και η δυνατότητα επαναδημιουργίας της κατάστασης του μοντέλου κατ’ απαίτηση είναι όλα κρίσιμα για τις επιχειρήσεις. Τέλος, οι οργανισμοί πρέπει να εφαρμόσουν μοντέλα guardrail πριν από τις εξόδους, με σχετικές καθυστερήσεις και προϋπολογισμούς token για τα επίπεδα ημι‑ασφάλειας. Αν χτίσετε αυτές τις δυνατότητες τώρα, οποιοδήποτε πλαίσιο γίνεται άσκηση μορφοποίησης. Περιμένετε τους τελικούς κανόνες, και θα προσαρμόζετε λογοδοσία σε συστήματα που δεν σχεδιάστηκαν ποτέ να εξηγήσουν τον εαυτό τους. Η προσαρμογή αυτή είναι πάντα πιο ακριβή από το να την ενσωματώσετε από την αρχή.

Τελικά, η λύση για την κατασκευή ασφαλούς AI είναι περισσότερη AI, εφαρμοσμένη βέλτιστα και με μεγάλη πρόθεση.

Τι είδους νέες απαιτήσεις υποδομής θα μπορούσε να δημιουργήσει η δοκιμή ασφαλείας AI, και πόσο διαφορετικά θα είναι αυτά τα φορτία εργασίας από την παραδοσιακή εκπαίδευση ή επαγωγή μοντέλων;

Η εκπαίδευση είναι σαν πυροσβεστική αντλία. Σπρώχνετε τεράστιους όγκους δεδομένων μέσω ενός μοντέλου σε διαρκή, προβλέψιμο μοτίβο. Η δοκιμή ασφαλείας είναι το αντίθετο: χιλιάδες σενάρια αξιολόγησης, επαναλαμβανόμενες διερευνήσεις, συγκρίσεις συμπεριφοράς έκδοση‑με‑έκδοση, και εχθρική red‑team που δεν τελειώνει ποτέ.

Αυτό το προφίλ έχει σημασία. Η εκπαίδευση ασφαλείας και η δοκιμή είναι εκρηκτικά, βαριά ανάγνωση και συγκριτικά. Δημιουργούν και καταναλώνουν τεράστιες ποσότητες ενδιάμεσης κατάστασης. Τα μοντέλα guardrail πρέπει να είναι εγγενώς ετερογενή και επιπέδωση, υλοποιημένα μέσα σε στενά όρια καθυστέρησης, ενισχύοντας τις αξιολογήσεις με αυτή τη νέα διάσταση κριτηρίων ασφαλείας. Για τέτοια προχωρημένα ή κυβερνο‑ικανά μοντέλα, το προφίλ φορτίου είναι 24/7 επίμονο αντί για επεισοδιακό. Δεν τρέχετε μια δοκιμή μία φορά και αρχειοθετείτε τα αποτελέσματα. Τρέχετε συνεχή φορτία σμήνους πρακτόρων που ανταγωνίζονται στην παραγωγή με υπολογισμό, μνήμη και εύρος ζώνης δεδομένων για τις κρίσιμες εφαρμογές που προστατεύουν. Μετά την ποιότητα και την ταχύτητα, οι περισσότερες υποδομές σήμερα δεν έχουν σχεδιαστεί για αυτή τη τρίτη αρχή.

Υπάρχει επίσης ένα πρόβλημα μέτρησης κάτω από αυτό. Τα περισσότερα benchmarks AI σήμερα τρέχουν 8.000 token ή λιγότερο, ένα prompt, μια απάντηση. Αστειεύομαι ότι είναι τεχνητά benchmarks τεχνητής νοημοσύνης. Μέσα στο 2026, τα πραγματικά φορτία πρακτόρων τρέχουν 100.000 έως 400.000 token συμφραζόμενα σε χιλιάδες γύρους. Αν οι αξιολογήσεις ασφαλείας κληρονομήσουν αυτά τα παιδικά benchmarks, θα πιστοποιούμε συστήματα για έναν κόσμο που δεν υπάρχει. Οι ρυθμιστές ήδη χτίζουν καλύτερο μυϊκό ιστό εδώ: το NIST έχει ανοίξει κώδικα αξιολόγησης ασφάλειας πρακτόρων, και τα πρώτα δημοσιευμένα αποτελέσματα δείχνουν νέες επιθέσεις hijack πρακτόρων που επιτυγχάνουν πολλαπλάσιους ρυθμούς από τα γνωστά baseline. Αυτό είναι ακριβώς το είδος της συνεχούς, εχθρικής, ακριβής δοκιμής που αναμένω να συγκλίνουν τα πλαίσια ασφαλείας.

Πρέπει οι οργανισμοί να χτίζουν υπερβολική υπολογιστική και αποθηκευτική χωρητικότητα ειδικά για μελλοντικά φορτία συμμόρφωσης και ασφαλείας, ή υπάρχει πιο αποδοτικός τρόπος σχεδίασης για αυτή την αβεβαιότητα;

Η αγορά υπερβολικών GPU και η ελπίδα ότι η αξιοποίηση θα αυξηθεί αφήνει μόνο το κεφάλαιο παγιδευμένο σε αποσβένον υλικό.

Η αποδοτική απάντηση είναι μια υποδομή που εναλλάσσεται μεταξύ παραγωγικών και αξιολογητικών φορτίων χωρίς ξεχωριστή στοίβα. Αυτό είναι θεμελιωδώς ένα πρόβλημα δεδομένων. Αν μπορείτε να μετακινήσετε και να επαναχρησιμοποιήσετε τα δεδομένα αποδοτικά, να διατηρήσετε το συμφραζόμενο μεταξύ φορτίων, και να κρατάτε τους επιταχυντές σας απασχολημένους σε πραγματική δουλειά, η συμμόρφωση γίνεται ένα επιπλέον κόστος αντί για παράλληλη κατασκευή. Η οικονομία της AI όλο και περισσότερο εξαρτάται από το πόση αξία εξάγετε από κάθε token, byte και watt. Αν το κάνετε σωστά, μπορείτε να δημιουργήσετε 3–4× περισσότερη αξία από την ίδια υποδομή, ή να μειώσετε το αποτύπωμα του rack σας μέχρι και 75 %. Η συμμόρφωση πρέπει να τηρεί το ίδιο πρότυπο.

Το τρέχον πλαίσιο, σύμφωνα με τις αναφορές, εστιάζει σε προχωρημένα κλειστά μοντέλα ενώ εξαιρεί τα μοντέλα ανοιχτού βάρους. Ποιες υποδομικές ή ασφαλείας προκλήσεις θα μπορούσαν να προκύψουν από τη διαφορετική αντιμετώπιση αυτών των δύο κατηγοριών;

Αν αντιμετωπίζετε διαφορετικά τα κλειστά μοντέλα και τα μοντέλα ανοιχτού βάρους, καταλήγετε σε δύο πλαίσια συμμόρφωσης για τεχνολογίες που κάνουν τα ίδια πράγματα, και το κενό μεταξύ τους είναι όπου ζει ο κίνδυνος.

Ένα μοντέλο ανοιχτού βάρους μπορεί να προσαρμοστεί και να αναπτυχθεί σε περιβάλλοντα όπου ο αρχικός πάροχος δεν έχει καμία ορατότητα. Η ρύθμιση του παρόχου δεν κάνει τίποτα εκεί. Και η διαίρεση είναι ήδη εμφανής: οι έλεγχοι εξαγωγών προστέθηκαν στα νεότερα κλειστά frontier μοντέλα φέτος, ενώ τα μοντέλα ανοιχτού βάρους διασχίζουν σύνορα ελεύθερα και τώρα βρίσκονται κοντά στην κορυφή των δημόσιων λιστών ικανοτήτων. Ωστόσο η διοίκηση ορίζει τα frontier μοντέλα, η διακυβέρνηση δεν μπορεί να σταματήσει στο ίδιο το μοντέλο. Χρειάζεστε ορατότητα στο πού τρέχουν τα μοντέλα, ποια δεδομένα προσπελαύνουν, ποια prompts, απαντήσεις και μεταδεδομένα διατηρούνται, πώς έχουν τροποποιηθεί, και αν η υποδομή από κάτω μπορεί πραγματικά να υποστηρίξει τη διακυβερνημένη AI σε κλίμακα. Θα απαιτηθούν νέες ενημερώσεις στο ISO27001 και SOC2.

Η απάντησή μου είναι «εμπιστοσύνη αλλά επαλήθευση». Αν η υποδομή σας παρέχει τη χωρητικότητα token, μπορείτε να τρέξετε ετερογενείς guardrails ενάντια σε οποιοδήποτε μοντέλο πριν την έξοδο του: εγχώριο ή ξένο, ανοιχτό ή κλειστό. Η αντικειμενική επαλήθευση υπερτερεί της τυπικής εμπιστοσύνης ή δυσπιστίας βάσει του πού προέρχεται το μοντέλο. Καθώς τα ανοιχτά μοντέλα πολλαπλασιάζονται, αυτή η δυνατότητα επαλήθευσης ζει στο επίπεδο υποδομής, και εκεί θα διαφοροποιηθούν οι επιχειρήσεις. Η πολιτική μπορεί να αποφασίσει ποια μοντέλα επιτρέπονται. Η υποδομή αποφασίζει αν αυτά τα μοντέλα μπορούν να αναπτυχθούν υπεύθυνα και οικονομικά.

Καθώς οι πράκτορες AI γίνονται πιο αυτόνομοι και λειτουργούν σε μεγαλύτερα συμφραζόμενα, πώς αλλάζει αυτό η ποσότητα δεδομένων, μνήμης και υπολογιστικής ισχύος που πρέπει να διαθέσουν οι οργανισμοί για παρακολούθηση και ασφάλεια;

Ένα chatbot είναι ένα prompt και μια απάντηση. Ένας αυτόνομος πράκτορας είναι μια εκτελούμενη διαδικασία. Αγγίζει δεκάδες συστήματα, ανακτά πληροφορίες, λαμβάνει ενδιάμεσες αποφάσεις και συσσωρεύει κατάσταση σε ώρες ή ημέρες πριν ολοκληρώσει μια εργασία.

Δεν μπορείτε να το παρακολουθήσετε με δειγματοληψία μεμονωμένων token ή απαντήσεων. Πρέπει να καταγράψετε ολόκληρη τη σειρά: τι ήξερε ο πράκτορας, πότε το ήξερε, και τι έκανε στη συνέχεια. Κάθε ώρα που τρέχει ένας πράκτορας, η κατάσταση του μεγαλώνει, και το ίδιο το μέγεθος μνήμης, η κίνηση δεδομένων και η υποδομή που απαιτείται για την καταγραφή και ανάλυση αυτών αυξάνονται. Η παρακολούθηση σταματά να είναι μια λειτουργία καταγραφής και γίνεται ένα βασικό φορτίο εργασίας με δικό του προϋπολογισμό πόρων.

Η άμυνα είναι το σημείο όπου αυτό γίνεται επείγον. Το πρόβλημα μνήμης της AI γίνεται πρόβλημα ασφαλείας. Ένας πράκτορας κώδικα μπορεί να ξεκινήσει, να στείλει και να τερματιστεί. Ένας πράκτορας κυβερνοασφάλειας δεν μπορεί. Πρέπει να διατηρεί το συμφραζόμενο σε αλλαγές βάρδιας σε κέντρο λειτουργιών ασφαλείας, συχνές ενημερώσεις μοντέλων, και σύνθετες επιθέσεις πολλαπλών σταδίων που παλαιότερα διαρκούσαν εβδομάδες, αλλά σήμερα λειτουργούν σε συντονισμένες ταχύτητες μηχανής. Όταν η μνήμη εργασίας AI εκκενώνεται και επαναϋπολογίζεται από την αρχή κάθε λίγα λεπτά, ένας πράκτορας που εντόπισε ανώμαλη συμπεριφορά στην πρώτη ώρα ενός περιστατικού δεν τη θυμάται στη δεύτερη ώρα. Οι επιτιθέμενοι δεν έχουν αυτό το πρόβλημα. Οι πράκτορές τους εντοπίζουν και επιδιώκουν αδυναμίες συνεχώς, και οι αλυσίδες επίθεσης ολοκληρώνονται τώρα σε ταχύτητες βελτιστοποιημένες tokenomics, έτσι η κυβερνοάμυνα με AI πρέπει να τρέχει αυτόνομα 24/7. Και αυτό δεν είναι θεωρητικό. Οι προμηθευτές ασφαλείας ετοιμάζονται για 24/7 επίμονους κυβερνοπράκτορες τώρα, και το πρώτο που ανακαλύπτουν είναι ότι η οικονομία δεν μοιάζει με τις εργασίες chat. Κάποιες επιχειρήσεις χρειάζονται αυτούς τους πράκτορες στο edge, σε εγκαταστάσεις όπου δεν μπορείτε να στείλετε rack GPU ή ακόμα και ψύκτη φέτος. Η πραγματική δοκιμή για την επιχειρησιακή AI είναι η διατήρηση συμφραζομένων σε βάθος χρόνου, όχι η επαγωγή στιγμιαία. Αυτό γίνεται μια μάχη απομείωσης token, και όποιος λύσει τη μόνιμη μνήμη συμφραζομένων σε κλίμακα θα τροφοδοτήσει την πρώτη οριζόντια killer εφαρμογή στην επιχειρησιακή AI: συνεχείς σμήνοι μπλε πρακτόρων.

Έχετε μιλήσει για τη αυξανόμενη σημασία της «μνήμης συμφραζομένων» καθώς τα φορτία εργασίας AI προχωρούν πέρα από απλό chat προς μόνιμους πράκτορες. Θα μπορούσε η μνήμη συμφραζομένων να γίνει επίσης σημαντική για έλεγχο, αναπαραγωγή ή διερεύνηση της συμπεριφοράς AI;

Απόλυτα, και είναι μια σημαντική περίπτωση χρήσης. Για χρόνια, η μνήμη ήταν ιστορία απόδοσης: πόσο γρήγορα τροφοδοτούσατε το GPU, πόσο συμφραζόμενο μπορείτε να κρατήσετε. Μόλις οι πράκτορες αρχίσουν να ενεργούν αυτόνομα, αυτή η ίδια μνήμη γίνεται απόδειξη. Αν ένας πράκτορας παίρνει απόφαση βάσει συμφραζομένου που συγκέντρωσε σε ημέρες, το τελικό prompt και η έξοδος δεν λένε σχεδόν τίποτα για το γιατί ενεργήθηκε. Η εξήγηση ζει στην συσσωρευμένη κατάσταση.

Σε τεχνικούς όρους, το μεγαλύτερο μέρος αυτής της κατάστασης ζει στην KV cache, και η βιομηχανία την αντιμετωπίζει ακόμα ως διατεθειτικό χώρο αντί για ανθεκτικά δεδομένα. Αν διατηρήσετε αυτήν την κατάσταση και μπορείτε να την ανακτήσετε αποδοτικά, μπορείτε να επαναδημιουργήσετε τι ήξερε το σύστημα τη στιγμή που ενεργήθηκε. Οι ομάδες θα το χρησιμοποιήσουν αρχικά για εντοπισμό σφαλμάτων, μετά για αξιολογήσεις ασφαλείας, και τελικά, κάποιος θα το χρειαστεί σε μια έρευνα. Η απόρριψη της μνήμης συμφραζομένων σημαίνει απόρριψη του μοναδικού αρχείου που εξηγεί γιατί η AI έκανε ό,τι έκανε.

Μπορεί ο κανονισμός AI εν τέλη να υποχρεώσει τις εταιρείες να διατηρούν σημαντικά περισσότερες πληροφορίες σχετικά με τα inputs, outputs, checkpoints, την γραμμή δεδομένων και τη δραστηριότητα πρακτόρων; Τι σημαίνει αυτό για την αρχιτεκτονική υποδομής AI;

Κατά την κατεύθυνση, ναι. Καθώς τα συστήματα AI γίνονται πιο ικανά, οι απαιτήσεις ορατότητας θα επεκταθούν ώστε να καλύπτουν κάθε βήμα της αλυσίδας. Μπορείτε ήδη να δείτε τα πρώτα σήματα: οι ομάδες σχεδιάζουν να διατηρούν παλιά μνήμη συμφραζομένων σε φθηνότερα επίπεδα αποθήκευσης αντικειμένων αποκλειστικά για σκοπούς ελέγχου, πριν οποιοσδήποτε κανονισμός το απαιτήσει.

Η ταυτοποίηση της παρακολούθησης με αμεταβλητότητα είναι ουσιώδης. Η παραποίηση των logs και άλλων φουρεντικών αντικειμένων από κακόβουλους πράκτορες έχει γίνει ρουτίνα, απαιτώντας εκτεταμένα κρυπτογραφικά συστήματα επαλήθευσης που δεν είναι ευάλωτα σε συγκεντρωτικούς στόχους επίθεσης. Απλά transparency logs ή αλυσίδες hash δεν επαρκούν για την άμυνα ενάντια στις ικανότητες συνενώσεων εχθρικών σμηνών πρακτόρων. Πολύ αποκεντρωμένες, δημόσιες αρχιτεκτονικές blockchain είναι ιδανικές για αυτό, αναδεικνύοντας την συχνά παραμελημένη αξία Integrity, στο κέντρο της τριπλέτας C‑I‑A της κυβερνοασφάλειας.

Η διατήρηση δεν είναι απλώς ένα φοβερό, αμετάβλητο πρόβλημα αποθήκευσης σε κλίμακα. Το δύσκολο μέρος είναι να κρατήσετε αυτές τις πληροφορίες αξιόπιστες, οργανωμένες, ευρετηριασμένες και ανακτήσιμες γρήγορα αρκετά ώστε να είναι χρήσιμες υπό προθεσμία, είτε αυτή προέρχεται από ρυθμιστή, είτε από ανταπόκριση σε περιστατικό, είτε από δικαστήριο. Ένα petabyte δραστηριότητας πρακτόρων που δεν μπορείτε να ερωτήσετε είναι υποχρέωση, όχι αρχείο. Η αρχιτεκτονική αλλαγή είναι από «περισσότερη αποθήκευση» σε υποδομή σχεδιασμένη γύρω από αντικειμενικά επαληθεύσιμα, μόνιμα, ερωτήσιμα δεδομένα AI ως κεντρικό φορτίο εργασίας.

Πολλές οργανώσεις εστιάζουν στην αγορά περισσότερων GPU, αλλά πού βλέπετε τα λιγότερο προφανή στενά σημεία υποδομής να εμφανίζονται καθώς τα φορτία εργασίας AI κλιμακώνουν και οι απαιτήσεις ασφαλείας γίνονται πιο απαιτητικές;

Το GPU κερδίζει τις επικεφαλίδες επειδή δεν είναι αμελητέο κόστος. Αλλά τα GPU και ειδικά οι νέοι επιταχυντές βελτιστοποιημένοι για decode (ASIC+SRAM) σπάνια είναι ο πραγματικός περιορισμός. Η ζώνη μνήμης, η βαρύτητα και η κίνηση δεδομένων, η απόδοση αποθήκευσης και το δίκτυο καθορίζουν αν αυτοί οι επιταχυντές κάνουν παραγωγική δουλειά ή περιμένουν αχρησιμοποίητοι.

Καθώς η AI γίνεται πιο βαριά σε συμφραζόμενα, το τείχος μνήμης γίνεται ο καθοριστικός περιορισμός. Μπορείτε να συνεχίσετε να προσθέτετε GPU, αλλά αν ξοδεύουν τους κύκλους τους επανυπολογίζοντας token ή μετακινώντας συμφραζόμενα μεταξύ συστημάτων, πληρώνετε για σπατάλη εργασίας, επανειλημμένα. Η κλιμάκωση του τείχους μνήμης σημαίνει να κάνετε τη στρώση δεδομένων να συμπεριφέρεται σαν κοινόχρηστη αποθήκευση, αλλά να λειτουργεί με πραγματικές ταχύτητες μνήμης. Αυτό το όριο ταχύτητας κοντά στο HBM είναι κρίσιμο για την κυκλοφορία λύσεων εκφόρτωσης KV cache που έρχονται τώρα: καθένα πρέπει να προσφέρει πραγματική απόδοση μνήμης για να κάνει τα tokenomics να «σχεδιάζονται». Η αξία διατήρησης για KV cache είναι μια συζήτηση κόστους, δευτερεύουσα προς το κέντρο κέρδους. Και αν η ανάγνωση της κρυπτογραφημένης συμφραζόμενης μνήμης είναι πιο αργή από τον απλό επανυπολογισμό, η cache είναι άχρηστη για την επιχειρηματική εξίσωση. Το σημαντικό δεν είναι πόσα GPU έχετε, αλλά πόσο παραγωγικό είναι το καθένα. Η οικονομία της AI εξαρτάται από την αξία που εξάγετε από κάθε token, byte και watt, και οι απαιτήσεις ασφαλείας θα αυξήσουν μόνο τα στοίχημα σε αυτόν τον υπολογισμό.

Κοιτώντας μπροστά, αναμένετε ότι η ασφάλεια και συμμόρφωση AI θα γίνουν ένα ξεχωριστό φορτίο υποδομής, παρόμοιο με το πώς η κυβερνοασφάλεια εξελίχθηκε σε αφιερωμένο στρώμα τεχνολογίας επιχειρήσεων;

Θα δούμε την ασφάλεια και συμμόρφωση AI να γίνονται ξεχωριστό φορτίο, και η παράλληλη με την κυβερνοασφάλεια είναι διπλή. Η ασφάλεια έγινε δικό της στρώμα όταν η βιομηχανία αποδέχτηκε ότι δεν μπορεί να είναι περιστασιακή άσκηση. Η βιομηχανία ασφαλιστικών κυβερνοκινδύνων το έκανε υποχρεωτικό. Η ασφάλεια AI βρίσκεται στην ίδια υποχρεωτική τροχιά καθώς τα μοντέλα γίνονται πιο ικανά και πιο αυτόνομα.

Αλλά πρέπει να μάθουμε από τα λάθη της ασφάλειας. Έγινε ένα πρόσθετο στοιχείο: ξεχωριστή στοίβα, ξεχωριστός προϋπολογισμός, ξεχωριστή ομάδα που εντοπίζει προβλήματα μετά το γεγονός. Η υποδομή ασφαλείας δεν πρέπει να επαναλάβει αυτό το λάθος. Η παρακολούθηση, η αξιολόγηση, η δυνατότητα ελέγχου και η αμεταβλητή διατήρηση ανήκουν στην ίδια την υποδομή AI, σχεδιασμένα από την αρχή.

Αυτή είναι η πτυχή που οι περισσότεροι παραβλέπουν: η ασφαλής AI απαιτεί περισσότερη AI. Τα μοντέλα guardrail δεν είναι δωρεάν. Πρέπει να εκπαιδεύονται συνεχώς, να προσαρμόζονται και να επαγωγούν σε κάθε βήμα του χρόνου εκτέλεσης του πράκτορα. Τα προϋπολογιστικά όρια latency token κάνουν αυτό συγκεκριμένο: κάθε απόκριση έχει ένα σταθερό παράθυρο, και όσο περισσότερα token μπορείτε να επεξεργαστείτε μέσα σε αυτό το παράθυρο, τόσο περισσότερη επαλήθευση μπορείτε να τρέξετε πριν η έξοδος φύγει. Και η πραγματική απειλή από τα frontier μοντέλα είναι η πράκτορική τους εφαρμογή. Οι πράκτορες τρέχουν ως βρόχοι υψηλού όγκου επαγωγών, κάνοντας επαναλαμβανόμενες κλήσεις σε μοντέλα σε μακροπρόθεσμες προοπτικές. Κάθε βρόχος είναι observe, orient, decide, act, και κάθε βήμα καίει token. Αυτό μετατρέπει την ασφάλεια AI σε πόλεμο απομείωσης token. Οι επιτιθέμενοι στέλνουν red σμήνους πρακτόρων, οι υπερασπιστές στέλνουν blue σμήνους πρακτόρων, και η πλευρά που μπορεί να παράγει περισσότερα token ανά δολάριο και ανά watt κερδίζει. Τα tokenomics βρίσκονται στην κρίσιμη διαδρομή τόσο της επίθεσης όσο και της άμυνας. Αυτό σταμάτησε να είναι θεωρητικό πείραμα το καλοκαίρι, όταν μια επίθεση red σμήνους πρακτόρων εναντίον ενός μεγάλου αποθετηρίου μοντέλων τρόμαξε τη βιομηχανία, και μια αφοσιωμένη ένωση ασφαλούς AI σχηματίστηκε μέσα σε ημέρες. Εν τω μεταξύ, οι όγκοι συνεχίζουν να συντίθενται: η επεξεργασία token της βιομηχανίας έχει περάσει από τρισεκατομμύρια σε τετράκις τρισεκατομμύρια.

Μόλις η ασφάλεια γίνει απαίτηση συνεχούς λειτουργίας, το κόστος υπολογισμού, μνήμης και δεδομένων δεν είναι πλέον επιπλέον βάρος. Γίνονται μέρος της θεμελιώδους οικονομίας μονάδας λειτουργίας AI. Οι εταιρείες που θα το εσωτερικεύσουν νωρίς θα θεωρήσουν την ασφάλεια ως είσοδο σχεδίου. Όλοι οι άλλοι θα την θεωρήσουν φόρο.

Σας ευχαριστούμε για τη σπουδαία συνέντευξη, αναγνώστες που θέλουν να μάθουν περισσότερα θα πρέπει να επισκεφθούν το WEKA.