Οι άνθρωποι αγωνίζονται για τη ζωή τους καθώς η AI επιταχύνει την παράδοση λογισμικού

Για το μεγαλύτερο μέρος της ιστορίας της ανάπτυξης λογισμικού, οι άνθρωποι ήταν ο έλεγχος. Ένας προγραμματιστής κάνει μια αλλαγή, κάποιος άλλος την ελέγχει, κάποιος την εγκρίνει, και τελικά αυτή αναπτύσσεται.

Η AI επιταχύνει ολόκληρο αυτό το σύστημα ενώ προσπαθούμε ακόμη να κρατήσουμε τους ανθρώπους στο κέντρο του. Οι προγραμματιστές μπορούν τώρα να δημιουργούν κώδικα και αλλαγές σε δευτερόλεπτα. Οι πράκτορες μπορούν να λειτουργούν σε αποθετήρια, εργαλεία, υποδομές και άλλα συστήματα με λιγότερη ανθρώπινη παρέμβαση.

Το ένστικτό μας είναι να επαναφέρουμε τους ανθρώπους στη διαδικασία. Ελέγχουμε το pull request, εγκρίνουμε την κλήση του εργαλείου, ελέγχουμε την αλλαγή και επιβεβαιώνουμε την ανάπτυξη επειδή θέλουμε να βεβαιωθούμε ότι η AI δεν έκανε κάτι που δεν έπρεπε να κάνει. Κρατιόμαστε για τη ζωή μας.

Αυτό το ένστικτο έχει νόημα. Η ανθρώπινη ανασκόπηση μας έδωσε έναν τρόπο να διατηρούμε τον έλεγχο καθώς το λογισμικό προχωρά προς την παραγωγή. Αλλά η AI αρχίζει να λειτουργεί με τέτοια ταχύτητα και όγκο που οι άνθρωποι δεν μπορούν να παραμείνουν η μονάδα κλίμακας για τη διακυβέρνηση.

Η AI ήδη κινείται πιο γρήγορα από την ανθρώπινη ανασκόπηση

Το πρώτο κύμα της γενετικής AI στην ανάπτυξη λογισμικού επικεντρώθηκε κυρίως στη βοήθεια των προγραμματιστών να γράφουν κώδικα πιο γρήγορα. Αυτό μόνο αλλάζει την παράδοση λογισμικού. Περισσότερος κώδικας σημαίνει περισσότερες αλλαγές εφαρμογών, αλλαγές υποδομής και αλλαγές βάσεων δεδομένων που περνούν από δοκιμές, ασφάλεια, ανασκόπηση, ανάπτυξη και παραγωγή.

Το πρόβλημα δεν είναι απαραίτητα ότι η AI δημιουργεί χειρότερες αλλαγές. Δημιουργεί περισσότερες αλλαγές, πιο γρήγορα. Αν ο έλεγχος για όλη αυτή τη νέα παραγωγή είναι ένας άλλος άνθρωπος που εξετάζει κάθε αλλαγή, τελικά τα μαθηματικά δεν λειτουργούν.

Ήδη βλέπουμε σημάδια του. Η Anthropic ανέφερε πρόσφατα ότι οι χρήστες του Claude Code εγκρίνουν περίπου το 93 % των προτροπών αδειών. Η εταιρεία διαπίστωσε ότι οι επαναλαμβανόμενες προτροπές μπορούν να δημιουργήσουν κόπωση από έγκριση, με τους ανθρώπους να δίνουν λιγότερη προσοχή καθώς αυξάνεται ο αριθμός των εγκρίσεων. Η Anthropic χρησιμοποιεί τώρα έναν αυτόματη ταξινομητής για να αξιολογεί τις ενέργειες και να σταματά ενδεχομένως επικίνδυνες αντί να ζητά από κάποιον να εγκρίνει τα πάντα.

Σκεφτείτε τι σημαίνει αυτό για την ανθρώπινη επίβλεψη. Αν κάποιος εγκρίνει το 93 % του χρόνου, η προσθήκη μιας ακόμη έγκρισης δεν σημαίνει απαραίτητα περισσότερο έλεγχο. Σε κάποιο σημείο, ο άνθρωπος γίνεται ένα ακόμη βήμα στη ροή εργασίας.

Μπορούμε να χρησιμοποιήσουμε την AI για να δημιουργήσουμε περισσότερο λογισμικό. Δεν μπορούμε να ανταποκριθούμε δημιουργώντας μια εξίσου μεγάλη λειτουργία ανθρώπινου ελέγχου πίσω από αυτό.

Η AI μεταβαίνει από τη δημιουργία κώδικα στην ανάληψη δράσης

Οι βοηθοί κωδικοποίησης έδωσαν στην AI έναν ρόλο στην ανάπτυξη. Οι πράκτορες δίνουν στην AI τη δυνατότητα να συμμετέχει σε πολύ περισσότερα στάδια του SDLC. Ένας πράκτορας μπορεί να λάβει έναν στόχο, να αποφασίσει πώς να τον υλοποιήσει, να χρησιμοποιήσει εργαλεία, να παρατηρήσει τα αποτελέσματα και να προσαρμόσει την επόμενη ενέργειά του.

Στο λογισμικό engineering, αυτό μπορεί να σημαίνει τροποποίηση αρχείων, εκτέλεση εντολών, αλληλεπίδραση με αποθετήρια, κλήση API, δοκιμή κώδικα ή εργασία με υποδομές. Οι άνθρωποι επίσης αισθάνονται πιο άνετα να αφήνουν τους πράκτορες να λειτουργούν αυτόνομα. Σε μια μελέτη εκατομμυρίων αλληλεπιδράσεων ανθρώπου-πράκτορα, η Anthropic διαπίστωσε ότι οι έμπειροι χρήστες του Claude Code χρησιμοποίησαν πλήρη αυτόματη έγκριση σε περισσότερα από το 40 % των συνεδριών, περίπου δύο φορές περισσότερο από τους νέους χρήστες.

Αυτό δεν σημαίνει ότι οι αυτόνομοι πράκτορες τρέχουν περιβάλλοντα παραγωγής παντού σήμερα. Δεν το κάνουν. Αλλά η ανάπτυξη λογισμικού μας δίνει μια πρώιμη εικόνα του που κατευθύνεται αυτό.

Σήμερα, η AI δημιουργεί περισσότερες αλλαγές, και η ανθρώπινη ανασκόπηση αρχίζει να υποφέρει. Στη συνέχεια, η AI θα συμμετέχει σε περισσότερα στάδια του SDLC. Τελικά, οι πράκτορες θα δημιουργούν, επικυρώνουν, αναπτύσσουν, παρακολουθούν και διορθώνουν αλλαγές με πολύ λιγότερη ανθρώπινη παρέμβαση.

Σε κάθε βήμα, αφαιρούμε ένα ακόμη σημείο όπου ένας άνθρωπος παρείχε έλεγχο. Η ερώτηση αλλάζει από το αν η AI μπορεί να κάνει τη δουλειά στο τι θα πρέπει να επιτρέπεται στην AI να κάνει αυτόνομα.

Η Άδεια δεν είναι Εξουσία

Οι πράκτορες χρειάζονται πρόσβαση για να κάνουν χρήσιμη εργασία. Ένας πράκτορας που βοηθά στην ανάπτυξη λογισμικού μπορεί να χρειάζεται πρόσβαση σε αποθετήριο, σύστημα CI/CD, περιβάλλον cloud ή βάση δεδομένων. Αν αφαιρέσετε αυτήν την πρόσβαση, αφαιρείτε επίσης μεγάλο μέρος του τι κάνει τον πράκτορα χρήσιμο.

Αλλά η πρόσβαση και η εξουσία δεν είναι το ίδιο. Η παροχή άδειας σε έναν πράκτορα για να φτάσει σε ένα σύστημα δεν σημαίνει ότι πρέπει να έχει την εξουσία να εκτελέσει κάθε ενέργεια που είναι διαθέσιμη μέσα σε αυτό το σύστημα.

Ο παραδοσιακός έλεγχος πρόσβασης μπορεί να μας πει αν ένας πράκτορας έχει άδεια να φτάσει σε κάτι. Χρειαζόμαστε επίσης έναν τρόπο να καθορίσουμε αν η συγκεκριμένη ενέργεια που θέλει να εκτελέσει πρέπει να συμβεί. Αυτό γίνεται πιο σημαντικό όταν το σύστημα που λαμβάνει την απόφαση μπορεί να ερμηνεύσει μια εργασία διαφορετικά από το άτομο που την ανέθεσε, να αντιμετωπίσει ένα εμπόδιο και να επιλέξει άλλη διαδρομή, ή να χρησιμοποιήσει ένα νόμιμο εργαλείο με τρόπο που κανείς δεν είχε προβλέψει.

Το OWASP περιγράφει μια εκδοχή αυτού του προβλήματος ως Υπερβολική Εξουσιοδότηση. Επισημαίνει την υπερβολική λειτουργικότητα, τα δικαιώματα και την αυτονομία ως αιτίες επιζήμιων ενεργειών και συνιστά ανεξάρτητη έγκριση για ενέργειες υψηλού αντίκτυπου.

Η NVIDIA αντιμετωπίζει το ίδιο πρόβλημα σε επίπεδο αρχιτεκτονικής. Η Open Agent Safety Platform της θέτει την επιβολή πολιτικής εκτός του πράκτορα και κάνει ένα απλό σημείο: δεν μπορεί να αναμένεται ένας πράκτορας να διαχειρίζεται πλήρως τη δική του συμπεριφορά.

Αυτό θα πρέπει να διαμορφώσει τον τρόπο με τον οποίο χτίζουμε το AI SDLC. Ένας πράκτορας μπορεί να χρειάζεται άδεια πρόσβασης σε μια βάση δεδομένων, σε περιβάλλον υποδομής ή σε σύστημα ανάπτυξης. Αυτό δεν σημαίνει ότι ο πράκτορας πρέπει να αποφασίζει μόνος του ότι κάθε αλλαγή που θέλει να κάνει είναι ασφαλής.

Η AI λαμβάνει αποφάσεις βάσει πιθανοτήτων. Δεν πρέπει να επιτρέπουμε σε κάθε μία από αυτές τις αποφάσεις να μετατρέπεται αυτόματα σε ενέργεια εναντίον ενός κρίσιμου συστήματος.

Ο άνθρωπος στο βρόχο δεν μπορεί να είναι η πλήρης απάντηση

Η προφανής αντίδραση είναι να διατηρούμε ένα άτομο μπροστά σε σημαντικές ενέργειες της AI. Για ορισμένες αποφάσεις, αυτό είναι ακριβώς αυτό που πρέπει να κάνουμε. Το λάθος είναι να μετατρέπουμε το «άνθρωπο στο βρόχο» σε απάντηση για κάθε απόφαση.

Αν κάθε ενέργεια που εκτελεί ένας πράκτορας απαιτεί κάποιον να την ελέγξει και να κάνει κλικ στην έγκριση, έχουμε ξαναδημιουργήσει το στενό σημείο που η AI έπρεπε να αφαιρέσει. Επιπλέον, αρκετές εγκρίσεις μπορούν να μετατρέψουν την εποπτεία σε συνήθεια. Ένα άτομο που κάνει κλικ στην έγκριση όλη μέρα δεν ασκεί απαραίτητα κριτική.

Πρέπει να είμαστε πιο σκόπιμοι σχετικά με το πού λαμβάνονται οι αποφάσεις. Η AI μπορεί να παίρνει αποφάσεις εντός του ρόλου που της έχουμε αναθέσει. Η πολιτική μπορεί να διαχειρίζεται αποφάσεις όπου οι κανόνες είναι ήδη γνωστοί. Οι άνθρωποι μπορούν να διαχειρίζονται εξαιρέσεις και αποφάσεις που πραγματικά απαιτούν κρίση.

Μια αλλαγή χαμηλού κινδύνου που συμμορφώνεται με την καθιερωμένη πολιτική δεν πρέπει να απαιτεί κάποιον να την παρακολουθεί. Μια αλλαγή που παραβιάζει την πολιτική θα πρέπει να σταματά αυτόματα. Μια εξαίρεση με σημαντικές επιχειρηματικές, ασφαλιστικές ή λειτουργικές συνέπειες μπορεί να απαιτεί ένα άτομο να πάρει την απόφαση.

Αυτό είναι ένα πολύ διαφορετικό μοντέλο από το απλό να τοποθετούμε έναν άνθρωπο σε κάθε βρόχο. Ο στόχος δεν είναι η απομάκρυνση των ανθρώπων. Πρόκειται να σταματήσουμε να κάνουμε την ανθρώπινη προσοχή το στοιχείο από το οποίο εξαρτάται κάθε ενέργεια και να κάνουμε τη διακυβευόμενη πορεία τη πιο εύκολη.

Τοποθετήστε τον έλεγχο εκεί όπου συμβαίνει η ενέργεια

Οι επιχειρήσεις δεν πρόκειται να ενοποιήσουν ένα μόνο μοντέλο AI ή έναν μόνο πράκτορα. Οι προγραμματιστές θα χρησιμοποιούν διαφορετικούς βοηθούς. Οι ομάδες θα πειραματίζονται με διάφορα μοντέλα. Η AI θα εμφανίζεται μέσα σε εργαλεία προγραμματιστών, προϊόντα ασφαλείας, πλατφόρμες δεδομένων και εσωτερικές εφαρμογές.

Η προσπάθεια δημιουργίας διαφορετικής διαδικασίας διακυβέρνησης γύρω από κάθε εργαλείο AI δεν θα κλιμακωθεί. Ο έλεγχος πρέπει να βρίσκεται πιο κοντά στην ενέργεια που η AI θέλει να εκτελέσει.

Αν μια αλλαγή που δημιουργείται από AI εισέλθει σε μια γραμμή ανάπτυξης, θα πρέπει να αντιμετωπίζει τις ίδιες πολιτικές με μια αλλαγή που δημιουργείται από άνθρωπο. Αν ένας πράκτορας θέλει να τροποποιήσει υποδομή, δεδομένα ή μια παραγωγική βάση δεδομένων, οι έλεγχοι γύρω από αυτό το σύστημα δεν πρέπει να εξαφανιστούν επειδή άλλαξε ο ενεργός.

Η πηγή της αλλαγής δεν καθορίζει τον κίνδυνο. Η ίδια η αλλαγή το κάνει. Ένας προγραμματιστής, βοηθός κώδικα, αυτοματοποιημένη διαδικασία ή αυτόνομος πράκτορας μπορεί να ακολουθήσει διαφορετική διαδρομή προς την ίδια ενέργεια, αλλά αυτή η ενέργεια μπορεί ακόμη να αντιμετωπίζει την ίδια πολιτική πριν γίνει σημαντική.

Αυτό επίσης επιτρέπει στην τεχνολογία να εξελίσσεται χωρίς να αναγκάζει τις εταιρείες να ξαναχτίζουν τη διακυβέρνηση κάθε φορά. Τα μοντέλα θα αλλάξουν. Οι πράκτορες θα γίνουν πιο ικανοί. Οι έλεγχοι γύρω από κρίσιμα συστήματα μπορούν να παραμείνουν συνεπείς.

Το NIST υιοθετεί παρόμοια προσέγγιση βασισμένη στον κίνδυνο στο AI Risk Management Framework, η οποία αντιμετωπίζει τη διακυβέρνηση ως κάτι που πρέπει να λειτουργεί σε όλο τον κύκλο ζωής της AI αντί ως μια μοναδική έγκριση στο τέλος. Για την παράδοση λογισμικού, αυτό σημαίνει ενσωμάτωση ελέγχων στη διαδρομή που ακολουθεί ήδη η AI αντί να προσθέτουμε μια επιπλέον χειροκίνητη διαδικασία.

Όταν ο άνθρωπος φεύγει, τα αποδεικτικά στοιχεία δεν μπορούν να φύγουν μαζί του

Υπάρχει ένα ακόμη πρόβλημα που κρύβεται μέσα στο μοντέλο ανθρώπινης αξιολόγησης. Όταν αφαιρείτε το άτομο από τη διαδικασία, δεν χάνετε μόνο την αξιολόγηση. Μπορείτε επίσης να χάσετε το άτομο που βοήθησε να αποδείξει ότι η αξιολόγηση πραγματοποιήθηκε.

Αυτό γίνεται σοβαρό ζήτημα για τις εταιρείες με απαιτήσεις ασφαλείας, συμμόρφωσης και ελέγχου. Πρέπει ακόμη να γνωρίζουν τι άλλαξε, ποιος ή τι το ξεκίνησε, ποια πολιτική εφαρμόστηκε, αν πέρασε, ποιος ενέκρινε μια εξαίρεση, πού εκτελέστηκε η αλλαγή και τι συνέβη μετά.

Δεν μπορείτε να αυτοματοποιήσετε την αλλαγή και να αφήσετε τα αποδεικτικά στοιχεία χειροκίνητα. Σε μια διαδικασία που καθοδηγείται από ανθρώπους, οι ομάδες μπορούν να ανασυνθέσουν τα αποδεικτικά στοιχεία αργότερα από εισιτήρια, εγκρίσεις, αρχεία αγωγών, στιγμιότυπα οθόνης και συνομιλίες. Αυτή η προσέγγιση γίνεται πιο δύσκολη καθώς αυξάνεται ο όγκος των αλλαγών και γίνεται μη ρεαλιστική όταν τα μηχανήματα δημιουργούν και εκτελούν αλλαγές συνεχώς.

Τα αποδεικτικά στοιχεία πρέπει να γίνουν μέρος της διαδικασίας παράδοσης. Οι αποφάσεις πολιτικής, οι εγκρίσεις, οι εξαιρέσεις, οι εκτελέσεις και τα αποτελέσματα πρέπει να δημιουργούν αρχεία καθώς γίνεται η εργασία. Τα αποδεικτικά ελέγχου γίνονται παράγωγο της παράδοσης λογισμικού αντί για κάτι που οι ομάδες συναθροίζουν μετά το γεγονός.

Αυτό αφήνει δύο διαφορετικά καθήκοντα για τη διακυβέρνηση σε ένα AI‑προσανατολισμένο SDLC. Πριν από μια ενέργεια, προσδιορίστε αν πρέπει να πραγματοποιηθεί. Μετά την ενέργεια, αποδείξτε τι συνέβη.

Οι άνθρωποι δεν θα εξαφανιστούν. Η δουλειά μας αλλάζει.

Υπάρχει ένα κατανοητό ένστικτο να μετράμε τον έλεγχο με βάση πόσες φορές εμπλέκεται ένα άτομο. Περισσότερες αξιολογήσεις φαίνονται πιο ασφαλείς. Περισσότερες εγκρίσεις φαίνονται πιο ασφαλείς. Η διατήρηση ενός ανθρώπου σε κάθε βρόχο φαίνεται πιο ασφαλής.

Η AI θα δοκιμάσει αυτήν την υπόθεση. Αν η AI συνεχίσει να αυξάνει την ποσότητα λογισμικού που μπορούμε να δημιουργήσουμε, οι άνθρωποι δεν θα μπορούν να αξιολογούν κάθε αλλαγή, να εγκρίνουν κάθε ενέργεια, να παρακολουθούν κάθε ανάπτυξη και να ανασυνθέτουν κάθε απόφαση μετά. Η προσπάθεια να το κάνουμε αυτό είτε θα επιβραδύνει την AI είτε θα μετατρέψει την ανθρώπινη εποπτεία σε απλή σφραγίδα.

Το AI SDLC χρειάζεται διαφορετική κατανομή εργασιών. Η AI μπορεί να αναλάβει περισσότερη δουλειά, ενώ η πολιτική διέπει επαναλαμβανόμενες αποφάσεις και οι άνθρωποι παρεμβαίνουν όταν κάτι πραγματικά απαιτεί κρίση. Τα αποδεικτικά πρέπει να δημιουργούνται αυτόματα κατά τη διάρκεια.

Θα δώσουμε στην AI περισσότερη πρόσβαση, επειδή έτσι γίνεται χρήσιμη. Θα δώσουμε στους πράκτορες περισσότερη αυτονομία, επειδή έτσι εξασφαλίζουμε μεγαλύτερο μοχλό δράσης από αυτούς. Η πρόκληση είναι να διασφαλίσουμε ότι η αυξημένη πρόσβαση και αυτονομία δεν θα μετατραπούν αθόρυβα σε απεριόριστη εξουσία.

Οι άνθρωποι δεν χρειάζεται να σφίξουν περισσότερο το κράτημα. Ο στόχος δεν είναι λιγότερος έλεγχος. Είναι ένα μοντέλο ελέγχου που δεν εξαρτάται από το να κρατάμε κάθε απόφαση μόνοι μας. Πρέπει να δημιουργήσουμε τους ελέγχους που θα μας επιτρέπουν να χαλαρώσουμε το κράτημα χωρίς να χάσουμε τον έλεγχο.