Η πρακτορική ΤΝ χρειάζεται περισσότερους ελεγκτές, όχι λιγότερους

Η πρακτορική ΤΝ αλλάζει ριζικά τον τρόπο με τον οποίο διατίθεται το λογισμικό. Οι βοηθοί συντάσσουν αιτήματα ενσωμάτωσης, οι πράκτορες ανοίγουν εργασίες μετάβασης και τα ρομπότ ελέγχου διαβεβαιώνουν ότι μια αλλαγή είναι ασφαλής προτού προλάβει κάποιος να τελειώσει τον καφέ του. Ο κλάδος συχνά παρουσιάζει αυτή την εξέλιξη ως δρόμο προς λιγότερους ανθρώπους στον τομέα της ποιότητας. Αυτή η θεώρηση είναι ανάποδη. Όταν οι μηχανές γράφουν μεγαλύτερο μέρος της βάσης κώδικα, η δεξιότητα που σπανίζει δεν είναι η παραγωγή κώδικα. Είναι η ανεξάρτητη επαλήθευσή του.

Η Έρευνα προγραμματιστών του Stack Overflow για το 2025 διαπίστωσε ότι το 84% των ερωτηθέντων χρησιμοποιεί ή σχεδιάζει να χρησιμοποιήσει εργαλεία ΤΝ στην ανάπτυξη και ότι το 51% των επαγγελματιών προγραμματιστών τα χρησιμοποιεί καθημερινά. Η θετική στάση μειώθηκε στο 60%, ενώ περισσότεροι προγραμματιστές δηλώνουν ότι δεν εμπιστεύονται την ακρίβεια της ΤΝ (46%) παρά ότι την εμπιστεύονται (33%). Η συχνότερη αιτία απογοήτευσης, την οποία ανέφερε το 66%, ήταν οι λύσεις που είναι σχεδόν σωστές, αλλά όχι ακριβώς. Η έρευνα DORA του 2025 κατέγραψε ότι η υιοθέτηση της ΤΝ μεταξύ των επαγγελματιών ανάπτυξης λογισμικού έφτασε το 90%, με πάνω από το 80% να δηλώνει ότι η ΤΝ βελτίωσε την παραγωγικότητα· ωστόσο, μόλις το 24% ανέφερε ότι την εμπιστεύεται πολύ ή πάρα πολύ. Η χρησιμότητα χωρίς εμπιστοσύνη είναι ακριβώς η συνθήκη που διευρύνει τον ρόλο του ελεγκτή, δεν τον περιορίζει.

Η ταχύτητα δεν αποτελεί απόδειξη

Εργάζομαι ως μηχανικός διασφάλισης ποιότητας λογισμικού, με αντικείμενο τις δοκιμές πρακτορικών συστημάτων και τις πύλες CI για κώδικα που έχει συνταχθεί από ΤΝ. Στο εσωτερικό της εταιρείας, διαθέσαμε ένα εργαλείο ελέγχου αιτημάτων ενσωμάτωσης και ένα εργαλείο δημιουργίας περιπτώσεων δοκιμών. Και τα δύο είναι εργαλεία σύνταξης προσχεδίων. Κανένα τους δεν αξιολογεί τη δική του δουλειά. Αυτός ο κανόνας έχει σημασία, επειδή οι πράκτορες μιλούν με βεβαιότητα. Η βεβαιότητα δεν ισοδυναμεί με ορθότητα.

Το μάθαμε με τον δύσκολο τρόπο. Σε μια πιλοτική εφαρμογή εργαλείου ελέγχου αιτημάτων ενσωμάτωσης που είχε δημιουργηθεί με ΤΝ, μία αλλαγή πέρασε το CI σε λιγότερο από 4 λεπτά. Δύο ημέρες αργότερα, ένας μεταγενέστερος πίνακας ελέγχου εμφάνισε αδύνατες θερμοκρασίες. Σε μία διαδρομή κώδικα, την οποία η σουίτα δοκιμών δεν εκτελούσε ποτέ, είχε αντιστραφεί η μετατροπή της κλίμακας από Κελσίου σε Φαρενάιτ. Η διαδικασία ολοκλήρωσης ήταν επιτυχής. Το προϊόν ήταν λανθασμένο. Ένα πράσινο CI που δεν έθεσε ποτέ το δύσκολο ερώτημα είναι θέατρο.

Το περιστατικό αυτό εντάσσεται σε ένα ευρύτερο μοτίβο. Η Έκθεση για την κατάσταση της παραγωγής κώδικα από ΤΝ έναντι ανθρώπων της CodeRabbit ανέλυσε 470 αιτήματα ενσωμάτωσης ανοιχτού κώδικα στο GitHub (320 συνταγμένα από κοινού με ΤΝ, 150 αποκλειστικά από ανθρώπους). Οι αλλαγές που συντάχθηκαν με ΤΝ εμφάνισαν συνολικά περίπου 1,7 φορές περισσότερα προβλήματα, ενώ τα ζητήματα λογικής και ορθότητας ήταν κατά 75% συχνότερα και τα ευρήματα ασφαλείας έως και 2,74 φορές περισσότερα. Η Έκθεση για την ασφάλεια κώδικα με παραγωγική ΤΝ της Veracode για το 2026 δοκίμασε μοντέλα σε εργασίες ασφαλείας και διαπίστωσε ότι το μέσο ποσοστό επιτυχίας στους ελέγχους ασφαλείας ήταν 56% — σχεδόν αμετάβλητο σε σχέση με το 55% της προηγούμενης έκθεσης — ενώ περίπου το 44% των εργασιών παραγωγής κώδικα με ΤΝ εισήγαγε μια γνωστή ευπάθεια. Η σύνταξη έχει σχεδόν λυθεί. Η ασφαλής και ορθή συμπεριφορά όχι. Οι ελεγκτές είναι εκείνοι που αρνούνται να συγχέουν τα δύο.

Οι παραισθητικές εξαρτήσεις είναι πρόβλημα δοκιμών

Η παραγωγή κώδικα επινοεί επίσης πακέτα. Η έρευνα του USENIX Security 2025, Έχουμε ένα πακέτο για εσάς!, αξιολόγησε τις παραισθήσεις ονομάτων πακέτων σε 16 LLM που παράγουν κώδικα και 576.000 δείγματα. Τα εμπορικά μοντέλα επινοούσαν πακέτα κατά μέσο όρο τουλάχιστον στο 5,2% των περιπτώσεων· για τα μοντέλα ανοιχτού κώδικα, ο μέσος όρος ήταν 21,7%, με 205.474 μοναδικά επινοημένα ονόματα. Τα επίμονα ανύπαρκτα πακέτα δημιουργούν πρόσφορο έδαφος για την κατάληψη πλασματικών ονομάτων πακέτων: οι επιτιθέμενοι κατοχυρώνουν το επινοημένο όνομα και περιμένουν να το εγκαταστήσει κάποιος προγραμματιστής ή πράκτορας.

Οι έλεγχοι προέλευσης των εξαρτήσεων ανήκουν στην ίδια κατηγορία με τις λειτουργικές δοκιμές. Αν ένας πράκτορας επινοήσει ένα πακέτο NuGet ή npm, η συγχώνευση πρέπει να αποτυγχάνει πριν συζητήσει κανείς αν οι δοκιμές μονάδας ήταν επαρκείς. Ο έλεγχος προέλευσης δεν είναι προαιρετική πρακτική υγιεινής. Είναι πύλη ποιότητας για αλλαγές που έχουν συνταχθεί από ΤΝ.

Πύλες ελέγχου που κλιμακώνονται μαζί με τους πράκτορες

Όταν πραγματοποιήσαμε σε επίπεδο ολόκληρου του οργανισμού αναβάθμιση από .NET 8 σε .NET 10, σε περίπου δύο εβδομάδες με αυτοματοποίηση υποβοηθούμενη από ΤΝ, ανέλαβα τις πύλες ποιότητας. Η ταχύτητα ήταν πραγματική. Το ίδιο πραγματική ήταν και η ανάγκη για ελέγχους που δεν εμπιστεύονται την περίληψη του πράκτορα. Οι πύλες που εφαρμόζω στον κώδικα που έχει αλλάξει περιλαμβάνουν:

• Στόχοι βαθμολογίας μεταλλακτικών στο εύρος 60% έως 70% για τη λογική που έχει τροποποιηθεί, ώστε η σουίτα να πρέπει να εντοπίζει πραγματικές μεταλλάξεις και όχι απλώς να καλύπτει γραμμές κώδικα
• Δοκιμές βασισμένες σε ιδιότητες για λογική υψηλού κινδύνου, όπου τα παραδείγματα από μόνα τους δεν προσδιορίζουν επαρκώς τη συμπεριφορά
• Έλεγχοι προέλευσης εξαρτήσεων για την αντιμετώπιση της κατάληψης πλασματικών ονομάτων πακέτων και των παραισθητικών πακέτων
• Ενδείξεις διπλοτύπων και συχνών αλλαγών που επισημαίνουν τις ατέρμονες επαναλήψεις αντιγραφής και επικόλλησης από πράκτορες
• Ανεξάρτητη επαλήθευση ισχυρισμών των πρακτόρων, όπως «η μετάβαση ολοκληρώθηκε», επειδή ένας ισχυρισμός παραμένει υπόθεση μέχρι να προσκομιστούν στοιχεία

Η βαθμολογία μεταλλακτικών δεν είναι δείκτης ματαιοδοξίας. Ελέγχει αν οι δοκιμές σας αντιλαμβάνονται ένα σκόπιμα εισαγμένο σφάλμα. Η κάλυψη μπορεί να αυξηθεί, ενώ η σουίτα εξακολουθεί να παραβλέπει τη διαδρομή Κελσίου. Οι έλεγχοι βάσει ιδιοτήτων απαιτούν από το μοντέλο του συστήματος να ισχύει σε ολόκληρα εύρη τιμών και όχι μόνο σε μία ιδανική διαδρομή. Ο έλεγχος προέλευσης κλείνει την αποθήκη των πακέτων. Οι συχνές αλλαγές και τα διπλότυπα εντοπίζουν τη συνήθεια των πρακτόρων να ξαναγράφουν την ίδια ιδέα με τρεις διαφορετικούς τρόπους. Μαζί, διαμορφώνουν μια στάση: θεωρείτε ότι ο πράκτορας κάνει λάθος μέχρι να αποδείξει το αντίθετο η σουίτα δοκιμών. Κρατώ αυτή την αρχή ως σημείο αναφοράς κατά την επισκόπηση.

Τίποτε από αυτά δεν αντικαθιστά τις δοκιμές API, τις δοκιμές ελέγχου ταυτότητας, τις δοκιμές καπνού ή την αυτοματοποίηση διεπαφής χρήστη. Τα FlaUI και PowerShell εξακολουθούν να εντοπίζουν όσα διαφεύγουν από τις δοκιμές API. Η συσκευασία μέσω NuGet, MSI και MSM εξακολουθεί να απαιτεί επικύρωση της εγκατάστασης και της αθόρυβης εγκατάστασης. Οι πρακτορικές ροές εργασίας αυξάνουν τον όγκο. Δεν καταργούν αυτές τις πρακτικές.

Περισσότεροι ελεγκτές, διαφορετική δουλειά

Ο φόβος είναι ότι οι πράκτορες θα γράφουν τις δοκιμές και οι άνθρωποι θα καταστούν περιττοί. Οι πράκτορες μπορούν να συντάσσουν περιπτώσεις δοκιμών. Δεν πρέπει όμως να πιστοποιούν τα δικά τους προσχέδια. Όσοι απάντησαν στο Stack Overflow και σχεδιάζουν να χρησιμοποιήσουν στο μέλλον την ΤΝ για δοκιμές εξακολουθούν να θεωρούν την ανθρώπινη δυσπιστία καθοριστικής σημασίας: όταν θα ζητούσαν βοήθεια από κάποιον άλλον, ο κυριότερος λόγος ήταν ότι δεν εμπιστεύονταν τις απαντήσεις της ΤΝ. Αυτό το ένστικτο είναι το ισχυρό χαρτί του κλάδου.

Έχει σημασία να προσλαμβάνονται και να υποστηρίζονται άνθρωποι που ακολούθησαν μη παραδοσιακές επαγγελματικές διαδρομές. Εγώ στράφηκα στον τομέα της ποιότητας έπειτα από μια σταδιοδρομία στις λειτουργίες ανθρώπινου δυναμικού και στα δεδομένα, ολοκλήρωσα μεταπτυχιακές σπουδές στα Πληροφοριακά Συστήματα στο UMBC τον Μάιο του 2024 και τώρα αφιερώνω τις μέρες μου στο να κάνω πρακτικές τις πύλες ελέγχου για συστήματα πρακτορικής ΤΝ. Η πρακτορική ΤΝ δεν θα περιμένει να εμφανιστούν άνθρωποι με ένα και μοναδικό εκπαιδευτικό ή επαγγελματικό υπόβαθρο. Χρειάζεται περισσότερους ανθρώπους που μπορούν να σχεδιάζουν τεκμήρια και όχι λιγότερους που εγκρίνουν μηχανικά builds που εμφανίζονται ως επιτυχημένα.

Το ερώτημα για το προϊόν είναι απλό. Αν οι πράκτορες παραδίδουν ταχύτερα απ’ όσο μπορεί να επεξεργαστεί η επαλήθευσή σας, δεν έχετε κέρδος παραγωγικότητας. Έχετε ένα συμβάν που απλώς αναβάλλεται. Επενδύστε σε δοκιμαστές που αντιμετωπίζουν με καχυποψία κάθε ισχυρισμό πράκτορα, ενσωματώνουν τις δοκιμές μετάλλαξης και την ιχνηλασιμότητα προέλευσης στο CI και διατηρούν την ανεξάρτητη κρίση τους εκεί όπου το μοντέλο εκφράζεται με τη μεγαλύτερη ευχέρεια και είναι λιγότερο αξιόπιστο. Η πρακτορική ΤΝ χρειάζεται περισσότερους δοκιμαστές, όχι λιγότερους.