Sapan Pandya, Ανώτερος Μηχανικός Λογισμικού και Ανώτερο Μέλος του IEEE – Σειρά συνεντεύξεων

Ο Sapan Pandya είναι Ανώτερος Μηχανικός Λογισμικού και Ανώτερο Μέλος του IEEE, με έδρα το Νιου Τζέρσεϊ, και διαθέτει πάνω από δέκα χρόνια εμπειρίας σε ανθεκτικά κατανεμημένα συστήματα συναλλαγών. Η εργασία του καλύπτει την ακεραιότητα των συναλλαγών, την ενσωμάτωση λογισμικού με φυσικές συσκευές, την αντιμετώπιση προβλημάτων σε περιβάλλοντα παραγωγής και την επικύρωση αναπτύξεων σε ρυθμιζόμενα περιβάλλοντα. Είναι κάτοχος μεταπτυχιακού τίτλου στην Επιστήμη Υπολογιστών από το Stevens Institute of Technology και συμμετέχει σε επιστημονικές αξιολογήσεις και τεχνική έρευνα.

Η έρευνα του Pandya εξετάζει την κυβερνοασφάλεια των περιπτέρων αυτοεξυπηρέτησης, την τεχνητή νοημοσύνη στην άκρη του δικτύου και τη μηχανική αξιοπιστίας με υποστήριξη τεχνητής νοημοσύνης, ενώ η εμπειρία του σε περιβάλλοντα παραγωγής διαμορφώνει την εστίασή του στα τεκμήρια, στην έκβαση των συναλλαγών και στη λογοδοσία κατά τη λειτουργία. Σε αυτή τη συνέντευξη, συζητά την ιδιότητα της επαναληψιμότητας (idempotency), τις αντικρουόμενες καταγραφές συναλλαγών, την αβεβαιότητα στα συστήματα ανάκαμψης και τους ελέγχους που απαιτούνται προτού οι πράκτορες τεχνητής νοημοσύνης μπορέσουν να ενεργήσουν σε κρίσιμες υποδομές. Διακρίνει την πρακτική μηχανική εμπειρία από την έρευνα που διεξάγεται μέσω ανάλυσης βιβλιογραφίας και ελεγχόμενων ή συνθετικών δοκιμών.

Η σταδιοδρομία σας έχει επικεντρωθεί στην αξιοπιστία λογισμικού και στα κατανεμημένα συστήματα συναλλαγών. Πώς έχει διαμορφώσει αυτή η εμπειρία την κατανόησή σας για την αξιοπιστία και ποιες προκλήσεις έχουν επηρεάσει την οπτική σας σχετικά με τη χρήση της τεχνητής νοημοσύνης για τη διαχείριση σύνθετων συστημάτων;

Η οπτική μου έχει μετατοπιστεί: αντί να αναρωτιέμαι αν ένα επιμέρους στοιχείο λειτουργεί, αναρωτιέμαι αν η συναλλαγή του πελάτη έχει ολοκληρωθεί και μπορεί να τεκμηριωθεί.

Στα πρώτα χρόνια της σταδιοδρομίας μου, μεγάλο μέρος της προσοχής μου ήταν στραμμένο στη συμπεριφορά των εφαρμογών: στην επικύρωση των δεδομένων εισόδου, στη διαχείριση των αποκρίσεων και στη διασφάλιση ότι η διεπαφή ακολουθούσε την προβλεπόμενη ροή εργασιών. Καθώς οι αρμοδιότητές μου επεκτάθηκαν στην ενοποίηση συστημάτων, στην αντιμετώπιση προβλημάτων σε περιβάλλοντα παραγωγής και στην επικύρωση αναπτύξεων, χρειάστηκε να εξετάζω πέρα από τα μεμονωμένα στοιχεία.

Μια υπηρεσία μπορεί να ολοκληρώσει την εργασία της ενώ μια άλλη εξακολουθεί να περιμένει επιβεβαίωση. Το λογισμικό μπορεί να καταγράψει μια επιτυχημένη ενέργεια, ενώ μια φυσική συσκευή αδυνατεί να επιτύχει το αναμενόμενο αποτέλεσμα. Το γεγονός ότι κάθε επιμέρους στοιχείο περνά τις δοκιμές δεν αρκεί, από μόνο του, για να αποδείξει ότι ολόκληρη η αλληλεπίδραση θα λειτουργήσει σωστά.

Αυτή η εμπειρία με έχει κάνει να ενδιαφέρομαι ιδιαίτερα για τα όρια μεταξύ συστημάτων. Τι γνωρίζει κάθε στοιχείο; Τι θεωρεί δεδομένο; Τι συμβαίνει όταν αυτές οι παραδοχές παύουν να ισχύουν;

Επηρεάζει επίσης τον τρόπο με τον οποίο σκέφτομαι για την τεχνητή νοημοσύνη. Υπάρχει πραγματική αξία στο να βοηθά τους μηχανικούς να συγκεντρώνουν τεκμήρια, να αναγνωρίζουν μοτίβα και να διερευνούν ταχύτερα τις αστοχίες. Ωστόσο, μια εξήγηση για το τι πιθανότατα συνέβη διαφέρει από μια επαληθευμένη καταγραφή του τι συνέβη πράγματι.

Θέλω η τεχνητή νοημοσύνη να μειώνει την προσπάθεια που απαιτεί η διερεύνηση ενός προβλήματος, χωρίς να χαλαρώνει τα πρότυπα τεκμηρίωσης που απαιτούνται για την επίλυσή του.

Έχετε τονίσει ότι ο τεχνικά ορθός κώδικας δεν εγγυάται πάντα τη σωστή έκβαση των συναλλαγών. Μπορείτε να μας περιγράψετε ένα συγκεκριμένο παράδειγμα όπου μια συναλλαγή φαίνεται να αποτυγχάνει λόγω χρονικού ορίου, ενώ στην πραγματικότητα έχει ολοκληρωθεί; Τι μπορεί να πάει στραβά όταν το σύστημα επαναλαμβάνει αυτόματα τη λειτουργία και πώς μπορούν οι μηχανικοί να αποτρέψουν τις διπλές συναλλαγές;

Ας εξετάσουμε μια υποθετική πληρωμή 50 δολαρίων. Η εφαρμογή στέλνει ένα αίτημα, η υπηρεσία πληρωμών το καταγράφει με επιτυχία, αλλά η απόκριση χάνεται προτού φτάσει στην εφαρμογή.

Ο πελάτης βλέπει ότι έληξε το χρονικό όριο, παρότι η πληρωμή έχει ήδη πραγματοποιηθεί. Αν η εφαρμογή υποβάλει νέο αίτημα πληρωμής, ενδέχεται να χρεώσει ξανά τον πελάτη.

Η λήξη του χρονικού ορίου σάς λέει ότι η απόκριση δεν έφτασε εγκαίρως. Δεν σας λέει αν η υποκείμενη συναλλαγή ολοκληρώθηκε επιτυχώς.

Μια συνηθισμένη δικλίδα ασφαλείας είναι η ιδιότητα της επαναληψιμότητας (idempotency): η δυνατότητα επανάληψης του ίδιου λογικού αιτήματος χωρίς να προκύπτει νέα οικονομική χρέωση. Η εφαρμογή διατηρεί το ίδιο αναγνωριστικό λειτουργίας σε κάθε επανάληψη και η υπηρεσία που λαμβάνει το αίτημα το αναγνωρίζει ως το αρχικό, όχι ως νέα αγορά.

Το σημαντικό δεν είναι απλώς να προστεθεί ένα αναγνωριστικό. Η υπηρεσία πρέπει να επιβάλλει τη μοναδικότητά του και να διατηρεί επαρκείς πληροφορίες, ώστε να διακρίνει μια ολοκληρωμένη λειτουργία από μία που βρίσκεται ακόμη σε εξέλιξη. Ένα αναγνωριστικό δεν μπορεί να προστατεύσει μια επόμενη ενέργεια που το αγνοεί.

Όταν η έκβαση παραμένει αβέβαιη, η διαδικασία ανάκαμψης πρέπει να ελέγχει την υπάρχουσα συναλλαγή και να αντιπαραβάλλει τα σχετικά αρχεία, αντί να δημιουργεί αμέσως μια νέα συναλλαγή στη θέση της.

Θα έθετα επίσης όρια στις επαναλήψεις και θα όριζα τι πρέπει να συμβαίνει όταν η αυτόματη ανάκαμψη δεν μπορεί να προσδιορίσει την έκβαση. Ο πελάτης χρειάζεται σαφή ένδειξη ότι η συναλλαγή εκκρεμεί και έναν τρόπο επίλυσής της, όχι επαναλαμβανόμενες χρεώσεις ή μια οθόνη επεξεργασίας που δεν τελειώνει ποτέ.

Στα κατανεμημένα συστήματα, μια βάση δεδομένων, μια υπηρεσία υποστήριξης και ένα φυσικό περίπτερο αυτοεξυπηρέτησης μπορεί να αναφέρουν αντικρουόμενες πληροφορίες για την ίδια συναλλαγή. Έχετε συναντήσει τέτοιου είδους ασυνέπεια σε περιβάλλον παραγωγής και πώς διερευνήθηκε και επιλύθηκε; Ποιον ρόλο θα μπορούσε, αν υπάρχει, να διαδραματίσει η τεχνητή νοημοσύνη στην αντιπαραβολή αυτών των αντικρουόμενων αρχείων;

Ναι, η διερεύνηση ασυνεπειών στην κατάσταση των συναλλαγών αποτελεί μέρος της εργασίας μου σε περιβάλλοντα παραγωγής. Για να εξηγήσω το σκεπτικό χωρίς να αναφερθώ σε περιστατικό από τον χώρο εργασίας μου, θα χρησιμοποιήσω ένα υποθετικό παράδειγμα.

Ας εξετάσουμε ένα τυπικό ταμείο αυτοεξυπηρέτησης. Η υπηρεσία πληρωμών καταγράφει μια επιτυχημένη αγορά, ο εκτυπωτής αναφέρει ότι αποδέχτηκε την εργασία εκτύπωσης της απόδειξης και, στη συνέχεια, η οθόνη εμφανίζει ένα σφάλμα. Αυτές οι παρατηρήσεις μπορεί να αφορούν διαφορετικά στάδια της συναλλαγής και όχι να αποδεικνύουν ότι απέτυχε ολόκληρη η αγορά.

Αρχικά, θα ανασυνέθετα τη σειρά των γεγονότων χρησιμοποιώντας το αναγνωριστικό της συναλλαγής και τα σχετικά αρχεία καταγραφής της υπηρεσίας και της συσκευής. Έπειτα, θα προσδιόριζα τι αποδεικνύει κάθε παρατήρηση. Το ότι ένας εκτυπωτής αποδέχτηκε μια εργασία δεν αποδεικνύει κατ’ ανάγκη ότι το χαρτί έφτασε στον πελάτη. Το ότι παραλήφθηκε ένα αίτημα δεν αποδεικνύει κατ’ ανάγκη ότι ολοκληρώθηκε η οικονομική του επίδραση.

Η επίλυση εξαρτάται από το στάδιο στο οποίο σημειώθηκε η αστοχία. Η επανάληψη ολόκληρης της συναλλαγής μπορεί να είναι ακατάλληλη, αν χρειάζεται να αντιμετωπιστεί μόνο το στάδιο της εκτύπωσης. Όταν τα διαθέσιμα στοιχεία δεν αρκούν για να διαπιστωθεί τι συνέβη, η σχετική λειτουργία θα πρέπει να παραμείνει υπό έλεγχο όσο κάποιος διερευνά το ζήτημα.

Η μόνιμη διόρθωση πρέπει επίσης να αντιμετωπίζει την αιτία που επέτρεψε να προκύψει η ασυνέπεια και όχι απλώς να διορθώνει μία εγγραφή.

Η τεχνητή νοημοσύνη θα μπορούσε να βοηθήσει στη συσχέτιση συμβάντων και στον εντοπισμό πληροφοριών που λείπουν. Θα της ζητούσα να παρουσιάσει εναλλακτικές εξηγήσεις και τα στοιχεία που στηρίζουν καθεμία. Θα πρέπει να συμβάλλει στον περιορισμό της έρευνας, όχι να επιλύει αντικρουόμενες εγγραφές επιλέγοντας την εξήγηση που ακούγεται πιο πειστική.

Καθώς οι πράκτορες τεχνητής νοημοσύνης εξελίσσονται από τη διάγνωση συμβάντων σε περιβάλλοντα παραγωγής στην πρόταση ή την εκτέλεση ενεργειών αποκατάστασης, ποιες δικλίδες ασφαλείας θα πρέπει να υπάρχουν προτού ένα σύστημα τεχνητής νοημοσύνης μπορέσει να επαναλάβει, να αντιστρέψει ή να τροποποιήσει μια συναλλαγή; Πώς μπορούν ντετερμινιστικοί έλεγχοι, όπως τα κλειδιά idempotency, τα αρχεία καταγραφής συναλλαγών και οι μηχανισμοί συμφωνίας, να εμποδίσουν την τεχνητή νοημοσύνη να προκαλέσει πρόσθετες αστοχίες;

Θα διαχώριζα την πρόταση μιας ενέργειας από την έγκριση και την εκτέλεσή της.

Ένας πράκτορας τεχνητής νοημοσύνης μπορεί να προτείνει την επανάληψη μιας συναλλαγής, αλλά ένας ξεχωριστός μηχανισμός ελέγχου θα πρέπει να αποφασίζει αν αυτή επιτρέπεται. Θα πρέπει να ελέγχει την τρέχουσα κατάσταση της συναλλαγής, την ταυτότητα της ενέργειας, τα δικαιώματα του πράκτορα και τις συνθήκες υπό τις οποίες η ενέργεια είναι ασφαλής.

Ο έλεγχος αυτός πρέπει να γίνεται κατά την εκτέλεση της ενέργειας και όχι μόνο όταν το μοντέλο εξετάζει αρχικά το συμβάν. Στο μεταξύ, κάποια άλλη διαδικασία μπορεί να έχει ολοκληρώσει τη συναλλαγή.

Τα εργαλεία που έχει στη διάθεσή του ο πράκτορας θα πρέπει επίσης να είναι περιορισμένα. Η άδεια ανάκτησης της κατάστασης μιας συναλλαγής διαφέρει από την άδεια αντιστροφής μιας πληρωμής ή τροποποίησης ενός οικονομικού αρχείου. Ο πράκτορας δεν θα πρέπει να μπορεί να διευρύνει τα δικαιώματά του επειδή η λύση που προτιμά απαιτεί μεγαλύτερη πρόσβαση.

Η idempotency περιορίζει τις διπλές επιδράσεις. Τα αρχεία καταγραφής διατηρούν το ιστορικό που χρειάζεται για τη διερεύνηση. Η συμφωνία ελέγχει αν τα σχετικά αρχεία συμφωνούν μεταξύ τους. Κανένα από αυτά, από μόνο του, δεν αποδεικνύει ότι μια προτεινόμενη ενέργεια είναι κατάλληλη.

Θα κατέγραφα επίσης τα στοιχεία που χρησιμοποιήθηκαν, τη σύσταση, την απόφαση έγκρισης και το πραγματικό αποτέλεσμα. Έτσι καθίσταται δυνατή η εκ των υστέρων αξιολόγηση της παρέμβασης.

Οι έλεγχοι αυτοί θα πρέπει να επιβάλλονται από λογισμικό που μπορεί να ελεγχθεί μέσω δοκιμών και λειτουργεί εκτός του μοντέλου. Οι οδηγίες προς έναν πράκτορα να ενεργεί με προσοχή αποτελούν χρήσιμη καθοδήγηση, αλλά δεν συνιστούν μηχανισμό έγκρισης.

Ας εξετάσουμε ένα σενάριο στο οποίο ένα σύστημα παρακολούθησης με τεχνητή νοημοσύνη εντοπίζει μια φαινομενική αποτυχία συναλλαγής και προτείνει την αυτόματη αντιστροφή της. Αν η συναλλαγή ολοκληρώθηκε στην πραγματικότητα, αλλά η επιβεβαίωση καθυστέρησε, αυτή η παρέμβαση θα μπορούσε να δημιουργήσει νέο πρόβλημα. Πώς θα πρέπει οι ομάδες μηχανικών να σχεδιάζουν συστήματα αποκατάστασης με τεχνητή νοημοσύνη, ώστε να αναγνωρίζουν την αβεβαιότητα και να αποφεύγουν διορθωτικές ενέργειες που βασίζονται σε ελλιπείς πληροφορίες;

Το σύστημα χρειάζεται μια πραγματική κατάσταση «άγνωστης έκβασης». Διαφορετικά, είναι πιθανό να εκλάβει την έλλειψη πληροφοριών ως εσφαλμένη απόφαση ότι η συναλλαγή απέτυχε.

Η καθυστέρηση μιας επιβεβαίωσης αποτελεί λόγο για διερεύνηση, όχι αυτομάτως λόγο για αντιστροφή μιας συναλλαγής. Η αντιστροφή είναι μια ακόμη οικονομική πράξη, με δικές της συνέπειες. Απαιτεί αιτιολόγηση που έχει τεκμηριωθεί ανεξάρτητα, καθώς και την κατάλληλη έγκριση.

Θα διαχώριζα την αντιμετώπιση σε δύο σκέλη. Το σκέλος της διερεύνησης μπορεί να ανακτά την κατάσταση, να συλλέγει συμβάντα που λείπουν, να συγκρίνει εγγραφές και να ειδοποιεί την αρμόδια ομάδα. Το σκέλος των οικονομικών ενεργειών παραμένει αποκλεισμένο μέχρι να ικανοποιηθούν οι σχετικές προϋποθέσεις.

Έτσι αποτρέπεται η αντικατάσταση των αποδεικτικών στοιχείων για τη συναλλαγή από μια βαθμολογία εμπιστοσύνης της τεχνητής νοημοσύνης. Ένα μοντέλο μπορεί να είναι απολύτως βέβαιο για μια εξήγηση που έχει διαμορφωθεί με βάση ελλιπείς πληροφορίες.

Πρέπει επίσης να έχει οριστεί ένα σαφές σημείο κλιμάκωσης. Το να παραμένει μια συναλλαγή σε εκκρεμότητα επ’ αόριστον δεν αποτελεί ικανοποιητική έκβαση για τον πελάτη. Κάποιος πρέπει να αναλάβει την ευθύνη για την ανεπίλυτη υπόθεση, έχοντας αρκετό πλαίσιο για να καθορίσει το επόμενο ασφαλές βήμα.

Επομένως, η διαδικασία αποκατάστασης θα πρέπει να μπορεί να πει τόσο «Δεν μπορώ ακόμη να δικαιολογήσω την αλλαγή αυτής της συναλλαγής» όσο και «Να τι πρέπει να γίνει για να επιλυθεί το ζήτημα».

Η αναγνώριση της αβεβαιότητας είναι χρήσιμη μόνο όταν το σύστημα διαθέτει πρακτικό τρόπο να τη διαχειριστεί.

Ένα από τα σημαντικότερα ζητήματα γύρω από την αυτόνομη ΤΝ είναι να καθοριστεί πότε εξακολουθεί να είναι απαραίτητη η ανθρώπινη έγκριση. Ποιες ενέργειες αποκατάστασης σε περιβάλλον παραγωγής θεωρείτε ότι θα πρέπει να επιτρέπεται να εκτελεί αυτόνομα η ΤΝ και ποιες θα πρέπει πάντα να απαιτούν ανθρώπινη εξουσιοδότηση; Πώς θα πρέπει οι οργανισμοί να θέτουν αυτά τα όρια όταν διακυβεύονται οικονομικές συναλλαγές, η συμμόρφωση με κανονιστικές απαιτήσεις ή η εμπιστοσύνη των πελατών;

Θα έθετα το όριο με βάση τις συνέπειες ενός λάθους και όχι με βάση το αν μια ενέργεια χαρακτηρίζεται «ΤΝ».

Μια εύλογη αφετηρία είναι η διερεύνηση μόνο για ανάγνωση, εφόσον ο παράγοντας έχει πρόσβαση αποκλειστικά σε πληροφορίες για τις οποίες έχει εξουσιοδοτηθεί. Μπορεί να συλλέγει διαγνωστικά αρχεία, να ομαδοποιεί σχετικές ειδοποιήσεις και να συντάσσει σύνοψη του περιστατικού, χωρίς να του επιτρέπεται να αλλάζει την υποκείμενη συναλλαγή.

Ορισμένες προκαθορισμένες διαδικασίες αποκατάστασης μπορεί επίσης να είναι κατάλληλες για αυτοματοποίηση, όταν οι προϋποθέσεις τους επαληθεύονται ανεξάρτητα και οι επιπτώσεις τους είναι περιορισμένες.

Θα απαιτούσα ανθρώπινη εξουσιοδότηση όταν μια προτεινόμενη παρέμβαση δεν εμπίπτει σε εγκεκριμένη διαδικασία, όταν τα αρχεία αντικρούονται και η οικονομική έκβαση παραμένει αδιευκρίνιστη ή όταν η ενέργεια θα άλλαζε τους ελέγχους ασφαλείας ή τα δικαιώματα πρόσβασης του ίδιου του παράγοντα. Ο παράγοντας δεν θα πρέπει να εξουσιοδοτεί ο ίδιος τέτοιες αποφάσεις.

Αυτό δεν σημαίνει ότι κάθε συνήθης οικονομική πράξη απαιτεί έγκριση από κάποιον. Η επεξεργασία βάσει καθιερωμένων κανόνων διαφέρει από το να επιτρέπεται σε ένα μοντέλο να επινοεί μια διόρθωση κατά τη διάρκεια ενός περιστατικού.

Η ανθρώπινη εξέταση πρέπει επίσης να είναι ουσιαστική. Η οθόνη έγκρισης θα πρέπει να παρουσιάζει τα τεκμήρια που τη στηρίζουν, τις αβεβαιότητες που παραμένουν, την αναμενόμενη επίδραση και τις διαθέσιμες εναλλακτικές. Το να ζητείται από κάποιον να εγκρίνει μια κατηγορηματική διατύπωση χωρίς αυτό το πλαίσιο προσφέρει ελάχιστη προστασία.

Τα όρια αυτά θα πρέπει να έχουν συμφωνηθεί πριν από την ανάπτυξη του συστήματος. Μια διακοπή λειτουργίας δεν είναι η κατάλληλη στιγμή για να αποφασιστεί πόση εξουσία θα πρέπει να έχει ένα αυτοματοποιημένο σύστημα.

Έχετε εργαστεί εκτενώς σε ανθεκτικά σε σφάλματα συστήματα υποστήριξης, εργαλεία παρατηρησιμότητας και διασυνδέσεις μεταξύ υπηρεσιών λογισμικού και φυσικού εξοπλισμού. Τι είδους τηλεμετρικά δεδομένα και τεκμήρια από το περιβάλλον παραγωγής θα χρειαζόταν ένας παράγοντας ΤΝ για να διαγνώσει αξιόπιστα ένα περιστατικό; Πώς μπορούν οι ομάδες μηχανικών να ξεχωρίζουν τις χρήσιμες συστάσεις που παράγει η ΤΝ από εύλογα, αλλά εσφαλμένα, συμπεράσματα που θα μπορούσαν να επιδεινώσουν μια διακοπή λειτουργίας;

Θα ξεκινούσα από τεκμήρια που συνδέουν τη λειτουργία του πελάτη σε όλα τα εμπλεκόμενα συστήματα: αναγνωριστικά συναλλαγών, συμβάντα υπηρεσιών, μόνιμες αλλαγές κατάστασης, αποκρίσεις συσκευών και αστοχίες επικοινωνίας.

Σημασία έχουν επίσης οι εκδόσεις λογισμικού και οι αλλαγές διαμόρφωσης. Μια βλάβη που ξεκινά μετά την κυκλοφορία μιας έκδοσης αποτελεί χρήσιμο στοιχείο για τη διερεύνηση, αλλά η χρονική ακολουθία από μόνη της δεν αποδεικνύει αιτιώδη συνάφεια.

Ο παράγοντας πρέπει επίσης να κατανοεί τους περιορισμούς των τεκμηρίων. Τα αρχεία καταγραφής μπορεί να είναι ελλιπή, οι εγγραφές να φτάνουν με καθυστέρηση και τα ρολόγια να μη συμφωνούν. Η απουσία επιβεβαίωσης δεν αποδεικνύει ότι δεν πραγματοποιήθηκε καμία ενέργεια.

Μια χρήσιμη διάγνωση θα πρέπει να διαχωρίζει τις παρατηρήσεις από τις ερμηνείες. «Ο πελάτης κατέγραψε υπέρβαση του χρονικού ορίου» είναι παρατήρηση. «Το σύστημα υποστήριξης δεν ήταν διαθέσιμο» είναι εξήγηση που χρειάζεται περαιτέρω τεκμηρίωση.

Θα περίμενα από μια σύσταση να προσδιορίζει τα αρχεία στα οποία βασίζεται, να εξηγεί τι παραμένει άγνωστο και να καθορίζει ποιος πρόσθετος έλεγχος θα επιβεβαίωνε ή θα διέψευδε το συμπέρασμά της.

Στη συνέχεια, οι μηχανικοί θα πρέπει να επαληθεύουν τις συστάσεις με σημαντικές συνέπειες βάσει των αρχικών αρχείων, αντί να βασίζονται μόνο στη σύνοψη του παράγοντα. Αυτό είναι ιδιαίτερα σημαντικό όταν μια σύνοψη συμπυκνώνει ένα μακροσκελές ή αντιφατικό ιστορικό συμβάντων.

Το κριτήριο που θα έθετα είναι απλό: μπορεί ένας άλλος μηχανικός να ακολουθήσει τα τεκμήρια και να καταλήξει σε ένα συμπέρασμα που μπορεί να υποστηρίξει με πειστικά επιχειρήματα; Αν η εξήγηση δεν αντέχει σε αυτόν τον έλεγχο, δεν είναι έτοιμη να οδηγήσει σε αλλαγή στο περιβάλλον παραγωγής.

Στην δημοσιευμένη έρευνά σας για την ανθεκτικότητα απέναντι σε επιθέσεις λυτρισμικού σε τερματικά λοταριών και στοιχημάτων, αξιολογήσατε ένα πλαίσιο ασφάλειας με υποστήριξη ΤΝ, χρησιμοποιώντας ένα συνθετικό περιβάλλον που προσομοίωνε 500 τερματικά. Ποια ήταν τα σημαντικότερα ευρήματα και ποιους περιορισμούς θα πρέπει να έχουν υπόψη τους οι αναγνώστες κατά την ερμηνεία αυτών των αποτελεσμάτων; Ποια πρόσθετη επικύρωση θα ήταν απαραίτητη πριν από την εφαρμογή της προτεινόμενης αρχιτεκτονικής σε ζωντανό περιβάλλον παραγωγής;

Ήθελα να εξετάσω την ανθεκτικότητα πέρα από τον εντοπισμό: πώς θα μπορούσε ένα περιβάλλον τερματικών να περιορίσει μια επίθεση, να την αναγνωρίσει και να ανακάμψει, διατηρώντας παράλληλα τα τεκμήρια για όσα συνέβησαν.

Το Πλαίσιο Ανθεκτικής Ασφάλειας που προέκυψε συνδύαζε προληπτικούς ελέγχους, ανίχνευση ανωμαλιών με υποστήριξη ΤΝ και καθορισμένους μηχανισμούς απόκρισης και αποκατάστασης. Η συνιστώσα ΤΝ αφορούσε τον εντοπισμό ύποπτης συμπεριφοράς. Δεν επρόκειτο για πείραμα στο οποίο επιτρεπόταν σε έναν παράγοντα βασισμένο σε γλωσσικό μοντέλο να τροποποιεί αυτόνομα οικονομικές συναλλαγές.

Η αξιολόγηση χρησιμοποίησε ένα συνθετικό περιβάλλον που αναπαριστούσε 500 τερματικά σε προσομοίωση διάρκειας 72 ωρών, με προσομοιώσεις της συμπεριφοράς επιθέσεων λυτρισμικού και όχι με ανάπτυξη του συστήματος σε 500 φυσικά τερματικά.

Σε σύγκριση με τη γραμμή βάσης της μελέτης, η οποία βασιζόταν αποκλειστικά σε λογισμικό προστασίας από ιούς, ο μέσος χρόνος εντοπισμού μειώθηκε από 52 σε 31 λεπτά και ο μέσος χρόνος αποκατάστασης από 120 σε 56 λεπτά.

Αυτά είναι τα αποτελέσματα του συνδυαστικού πλαισίου υπό τις πειραματικές συνθήκες. Δεν θα πρέπει να αποδίδονται αποκλειστικά στην ΤΝ ούτε να θεωρούνται εγγυήσεις απόδοσης σε πραγματικό περιβάλλον. Ένα χρήσιμο εύρημα ήταν ότι η έγκαιρη ανίχνευση, από μόνη της, δεν οδήγησε στην ίδια βελτίωση ως προς την αποκατάσταση. Σημασία είχε επίσης ο σχεδιασμός του περιορισμού και της αποκατάστασης.

Οι περιορισμοί είναι σημαντικοί. Τα προσομοιωμένα φορτία εργασίας, οι συνθήκες δικτύου, οι συμπεριφορές των επιθέσεων και οι βασικές άμυνες δεν αντιπροσωπεύουν κάθε επιχειρησιακό περιβάλλον. Για διαφορετικές συσκευές και εφαρμογές θα απαιτούνταν νέα επικύρωση.

Πριν από τη χρήση σε παραγωγή, θα ήθελα δοκιμές σε αντιπροσωπευτικό υλικό, ανεξάρτητη αξιολόγηση της ασφάλειας, αξιολογήσεις μεγαλύτερης διάρκειας και προσεκτική μέτρηση των ψευδών συναγερμών και της επιβάρυνσης από την επεξεργασία.

Θα δοκίμαζα επίσης τη διαδικασία αποκατάστασης σε συνθήκες νόμιμης συναλλακτικής δραστηριότητας. Δεν αρκεί η επαναφορά μιας λειτουργικής εικόνας λογισμικού, αν κατά τη διαδικασία χάνονται οι πληροφορίες που χρειάζονται για την καταγραφή των συναλλαγών που έχουν ολοκληρωθεί.

Η μελέτη παρέχει βάση για περαιτέρω δοκιμές. Η απόδειξη ότι το σύστημα λειτουργεί με ασφάλεια σε πραγματικό επιχειρησιακό περιβάλλον είναι ένα ξεχωριστό βήμα.

Η οπτική σας συνδυάζει πολυετή εμπειρία στη μηχανική λογισμικού παραγωγής με ακαδημαϊκή έρευνα για την αξιοπιστία λογισμικού και την ασφάλεια με βάση την ΤΝ. Μπορείτε να διακρίνετε τους μηχανισμούς αξιοπιστίας που έχετε υλοποιήσει ή διαχειριστεί προσωπικά σε ζωντανά συστήματα παραγωγής από τις προσεγγίσεις που έχετε διερευνήσει μέσω έρευνας ή προσομοιωμένων δοκιμών; Ποιες δυνατότητες αποκατάστασης με βάση την ΤΝ θεωρείτε ήδη εφαρμόσιμες σήμερα και ποιες παραμένουν σε μεγάλο βαθμό πειραματικές;

Η επαγγελματική μου εμπειρία σε περιβάλλοντα παραγωγής περιλαμβάνει ανάπτυξη και ενσωμάτωση λογισμικού, επικύρωση συναλλαγών, αντιμετώπιση προβλημάτων, δοκιμές και επικύρωση εκδόσεων.

Η δημοσιευμένη έρευνά μου αποτελεί ξεχωριστό μέρος της δουλειάς μου και κάθε μελέτη πρέπει να αξιολογείται με βάση τις μεθόδους και τους περιορισμούς που αναφέρει.

Η εργασία για το ransomware αξιολογεί ένα προτεινόμενο πλαίσιο ασφάλειας σε συνθετικό περιβάλλον δοκιμών. Η εργασία μου για την τεχνητή νοημοσύνη στην περιφέρεια είναι ανάλυση της βιβλιογραφίας σχετικά με τη νοημοσύνη που λειτουργεί στη συσκευή και τις πιθανές εφαρμογές της σε τερματικά συναλλαγών. Το άρθρο μου στο IEEE FeedForward εξετάζει μια αρχιτεκτονική αξιοπιστίας υποβοηθούμενη από ΤΝ μέσω ελεγχόμενης προσομοίωσης, η οποία περιλαμβάνει παρακολούθηση, κλιμάκωση και εφεδρική λειτουργία.

Καμία από αυτές τις δημοσιεύσεις δεν θα πρέπει να εκληφθεί ως απόδειξη ότι έχω αναπτύξει έναν αυτόνομο πράκτορα ΤΝ με εξουσία επί ζωντανών χρηματοοικονομικών συναλλαγών.

Για πρακτική χρήση, θα έδινα προτεραιότητα σε εργαλεία υποστήριξης που οι μηχανικοί μπορούν να ελέγχουν: περιλήψεις περιστατικών με συνδέσμους προς τα πρωτογενή αρχεία, συσχετίσεις μεταξύ ειδοποιήσεων και προτεινόμενους διαγνωστικούς ελέγχους. Η χρησιμότητά τους πρέπει και πάλι να μετρηθεί στο περιβάλλον όπου θα λειτουργήσουν.

Το δυσκολότερο πρόβλημα είναι η αποκατάσταση σε απρόβλεπτες συνθήκες, όταν ένα μοντέλο επιλέγει και εκτελεί αλλαγές σε καταστάσεις που δεν είχαν προβλεφθεί. Αυτό απαιτεί πολύ υψηλότερο επίπεδο τεκμηρίωσης από μια χρήσιμη διαγνωστική πρόταση.

Βλέπω την εμπειρία μου σε περιβάλλοντα παραγωγής και την έρευνά μου ως συμπληρωματικές: η πρώτη καθορίζει τα επιχειρησιακά προβλήματα που γνωρίζω, ενώ η δεύτερη διερευνά προσεγγίσεις που πρέπει ακόμη να αποδείξουν την αξία τους μέσω επικύρωσης.

Κοιτώντας προς το μέλλον, καθώς οι πράκτορες ΤΝ αποκτούν μεγαλύτερη ικανότητα να ανιχνεύουν ανωμαλίες, να διαγιγνώσκουν αστοχίες και να συντονίζουν την αποκατάσταση σε κατανεμημένα συστήματα, πώς φαντάζεστε ότι θα εξελιχθεί η σχέση ανάμεσα στα αυτόνομα συστήματα και τους ανθρώπινους μηχανικούς; Ποιες τεχνικές δικλίδες ασφαλείας, επιχειρησιακά τεκμήρια και μηχανισμοί λογοδοσίας θα χρειάζονταν προτού οι οργανισμοί μπορέσουν να αναθέσουν με εμπιστοσύνη στην ΤΝ μεγαλύτερη εξουσία επί υποδομών παραγωγής κρίσιμων λειτουργιών;

Πιστεύω ότι η ΤΝ θα αναλάβει μεγαλύτερο μέρος της εργασίας για τη συγκέντρωση μιας ολοκληρωμένης εικόνας του περιστατικού. Οι μηχανικοί θα μπορούσαν να ξεκινούν με ένα χρήσιμο χρονολόγιο, τα επηρεαζόμενα στοιχεία, τις πιθανές εναλλακτικές εξηγήσεις και τα στοιχεία που λείπουν, αντί να αφιερώνουν τόσο χρόνο στη χειροκίνητη συλλογή αυτών των πληροφοριών.

Έτσι, οι άνθρωποι θα είχαν περισσότερο χρόνο για αποφάσεις που απαιτούν κατανόηση των υποχρεώσεων του συστήματος και των συνεπειών μιας αλλαγής σε αυτό.

Θα διεύρυνα σταδιακά την εξουσία εκτέλεσης. Ένας πράκτορας θα μπορούσε αρχικά να λειτουργεί σε σκιώδη λειτουργία, διατυπώνοντας συστάσεις χωρίς να ενεργεί βάσει αυτών. Οι ομάδες θα μπορούσαν να συγκρίνουν αυτές τις συστάσεις με αποτελέσματα που έχουν εξεταστεί και να δοκιμάζουν πώς συμπεριφέρεται ο πράκτορας όταν οι πληροφορίες είναι ελλιπείς, αντιφατικές ή παρωχημένες.

Η αξιολόγηση θα πρέπει να περιλαμβάνει εσφαλμένες παρεμβάσεις, προβλήματα που δεν εντοπίστηκαν, περιττή κλιμάκωση και αποκατάσταση μετά από λάθη του ίδιου του πράκτορα. Μια γρήγορη σύσταση δεν έχει αξία αν οδηγεί την ομάδα αντιμετώπισης προς τη λάθος κατεύθυνση.

Η ευρύτερη εξουσία θα πρέπει επίσης να παραμένει υπό όρους. Μια ενημέρωση του μοντέλου ή μια σημαντική αλλαγή στο σύστημα μπορεί να ακυρώσει προηγούμενες δοκιμές. Οι ομάδες χρειάζονται τη δυνατότητα να περιορίζουν ή να ανακαλούν τα δικαιώματα του πράκτορα όταν η συμπεριφορά του δεν πληροί πλέον το απαιτούμενο πρότυπο.

Η ανθρώπινη ευθύνη δεν εξαφανίζεται όσο εξελίσσεται ο αυτοματισμός. Κάποιος πρέπει να έχει την ευθύνη για τους κανόνες λειτουργίας, τα τεκμήρια που απαιτούνται για μια αλλαγή και τη διαδικασία διερεύνησης αστοχιών.

Πιστεύω ότι οι μηχανικοί θα αφιερώνουν λιγότερο χρόνο στη συλλογή πληροφοριών και περισσότερο στον καθορισμό, τη δοκιμή και τη διατήρηση των συνθηκών υπό τις οποίες δικαιολογείται η αυτοματοποιημένη δράση.

Σας ευχαριστούμε για την εξαιρετική συνέντευξη. Οι αναγνώστες που επιθυμούν να παρακολουθούν το έργο του στον τομέα της αξιοπιστίας των κατανεμημένων συναλλαγών και της υπεύθυνης αποκατάστασης με τη βοήθεια της τεχνητής νοημοσύνης μπορούν να επικοινωνήσουν με τον Sapan Pandya.