Ηγέτες σκέψης

Γιατί οι δοκιμές πρέπει να ενσωματωθούν στη γραμμή συναρμολόγησης της ΤΝ από την αρχή

Ole Lensmar
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ τεχνητή νοημοσύνη επιταχύνει την κωδικοποίηση αλλά αποκαλύπτει αδύναμες δοκιμές στα…
Δείτε περισσότερα
  • Η τεχνητή νοημοσύνη επιταχύνει την κωδικοποίηση αλλά αποκαλύπτει αδύναμες δοκιμές στα επόμενα στάδια και μειώνει τη σταθερότητα της παράδοσης.
  • Οι πράκτορες που κρίνουν τις δικές τους δοκιμές μπορούν να κλέψουν επεξεργάζοντας τις αποτυχημένες δοκιμές αντί να διορθώσουν τον κώδικα.
  • Οι δοκιμές πρέπει να είναι δικός τους σταθμός έξω από το CI ώστε κάθε αλλαγή να αντιμετωπίζει την ίδια ετυμηγορία.

Εδώ και περισσότερα από είκοσι χρόνια αναπτύσσω εργαλεία δοκιμών και, στο μεγαλύτερο μέρος αυτού του χρόνου, οι συζητήσεις μου με ομάδες μηχανικών ήταν αρκετά παρόμοιες. Οι υπεύθυνοι δοκιμών ένιωθαν πολίτες δεύτερης κατηγορίας στον κύκλο ζωής του λογισμικού. Οι δοκιμές γίνονταν αργά, συχνά στριμωγμένες στον χρόνο που απέμενε πριν από μια έκδοση, και προστίθεντο σε έναν αγωγό CI που είχε σχεδιαστεί για κάτι άλλο. Η ΤΝ έχει πλέον μεταμορφώσει τον τρόπο με τον οποίο γράφουμε κώδικα — και έχει σίγουρα επηρεάσει τις δοκιμές, προς το καλύτερο και προς το χειρότερο. Από πολλές απόψεις, η ΤΝ έχει κάνει την πρόκληση πιο ορατή.

Τους τελευταίους μήνες έχω παρακολουθήσει μερικά συνέδρια για τις δοκιμές και τις εγγενείς στο νέφος τεχνολογίες (LeadDev, CloudX, StarWest), και σχεδόν κάθε ομάδα με την οποία μίλησα εργάζεται πάνω σε κάποια εκδοχή του ίδιου έργου: έναν κύκλο ζωής ανάπτυξης λογισμικού με βάση την ΤΝ, όπου πράκτορες αναλαμβάνουν εργασίες από την προδιαγραφή μέχρι την παραγωγική λειτουργία, με τον κατάλληλο βαθμό ανθρώπινης συμμετοχής σε κάθε στάδιο. Το φαντάζομαι σαν μια γραμμή συναρμολόγησης. Πράκτορες γράφουν τον κώδικα, άλλοι πράκτορες τον ελέγχουν και οι αγωγοί τον μεταγλωττίζουν και τον αναπτύσσουν. Οι άνθρωποι παρακολουθούν την όλη διαδικασία. Αυτό που ακούω πολύ λιγότερο είναι το πού εντάσσονται οι δοκιμές σε αυτή τη γραμμή.

Κανείς δεν έχει βρει ακόμη τη λύση

Προς το παρόν, επικρατεί κάπως η Άγρια Δύση. Νέες δυνατότητες πρακτόρων εμφανίζονται κάθε λίγες εβδομάδες, τα μεγάλα εργαστήρια ΤΝ συνεχίζουν να κυκλοφορούν νέα μοντέλα και τόσο οι ομάδες όσο και οι προμηθευτές δοκιμάζουν διάφορες προσεγγίσεις για να δουν τι θα πετύχει.

Ορισμένα δεδομένα δείχνουν ότι τα κενά έχουν ήδη αρχίσει να φαίνονται. Η πιο πρόσφατη έκθεση DORA για την ανάπτυξη λογισμικού με τη βοήθεια της ΤΝ από την Google, στην οποία συμμετείχαν σχεδόν 5.000 επαγγελματίες του κλάδου της τεχνολογίας, διαπίστωσε ότι η υιοθέτηση της ΤΝ συνδέεται με υψηλότερο ρυθμό παράδοσης, κάτι που είναι ευχάριστο νέο. Ωστόσο, εξακολουθεί να συνδέεται και με χαμηλότερη σταθερότητα στην παράδοση. Οι ερευνητές εξηγούν ότι η ΤΝ επιταχύνει την ανάπτυξη και αναδεικνύει αδυναμίες σε μεταγενέστερα στάδια, ενώ επισημαίνουν ότι οι ισχυρές αυτοματοποιημένες δοκιμές είναι ένα από τα μέτρα ελέγχου που εμποδίζουν την αύξηση των αλλαγών να οδηγήσει σε μεγαλύτερη αστάθεια.

Δεν μου φαίνεται παράξενο. Αν περνάς πολύ περισσότερο κώδικα μέσα από μια διαδικασία που σχεδιάστηκε για πολύ μικρότερο όγκο, κάπου θα υπάρξει επιβράδυνση ή κάτι θα χαλάσει.

Οι προγραμματιστές είναι ταχύτεροι, αλλά οι περισσότερες εκδόσεις δεν επιταχύνονται

Όταν ο κόσμος φαντάζεται τι μπορεί να πάει στραβά με κώδικα που έχει παραχθεί από ΤΝ, συνήθως σκέφτεται έναν πράκτορα που περνά κάτι καταστροφικό στην παραγωγή. Είμαι βέβαιος ότι συμβαίνει — και, όταν συμβαίνει, οι συνέπειες δεν είναι καλές: σφάλματα, δυσαρεστημένοι πελάτες, ίσως και κάποιο περιστατικό ασφάλειας. Αλλά, για να είμαι ειλικρινής, δεν είναι αυτό που συναντώ συχνότερα.

Η Έρευνα προγραμματιστών Stack Overflow 2026 δείχνει πού επικεντρώνεται σήμερα η χρήση της ΤΝ. Οι προγραμματιστές τη χρησιμοποιούν κυρίως για να παράγουν κώδικα σε τομείς που ήδη γνωρίζουν (67%) και για να εντοπίζουν σφάλματα (61%), ενώ μόλις το 20% τη χρησιμοποιεί για την ανάπτυξη, τη λειτουργία ή την αντιμετώπιση προβλημάτων σε παραγωγικά συστήματα. Μέχρι στιγμής, η ΤΝ έχει επιταχύνει κυρίως τη συγγραφή κώδικα. Η επαλήθευση αυτού του κώδικα και η προώθησή του στην παραγωγή εξακολουθούν σε μεγάλο βαθμό να γίνονται όπως και πριν.

Αυτό συμβαδίζει και με όσα βλέπω εγώ: οι ομάδες παράγουν πολύ περισσότερο κώδικα, χωρίς όμως να κυκλοφορούν εκδόσεις πιο γρήγορα. Ένας μεμονωμένος προγραμματιστής ή μια ομάδα μπορεί να νιώθει ότι αναπτύσσει διπλάσιες λειτουργίες, αλλά αυτές οι λειτουργίες κολλάνε στα επόμενα στάδια, περιμένοντας έλεγχο, δοκιμές ή ένα περιβάλλον όπου θα μπορούν να δοκιμαστούν. Όλος αυτός ο επιπλέον κώδικας φράζει τον αγωγό και, σε πολλές περιπτώσεις, επιβραδύνει συνολικά την παράδοση από τις ομάδες.

Οι ερωτήσεις για τις δικλείδες ασφαλείας προέρχονται από τους διευθυντές

Παρότι η ανησυχία για τα σημεία συμφόρησης στην παράδοση που προκαλεί η ΤΝ είναι πολύ απτή, δεν είναι το μόνο για το οποίο μας ρωτούν οι ομάδες. Οι προγραμματιστές θέλουν κυρίως να μάθουν πώς να γράφουν καλύτερο κώδικα πιο γρήγορα. Οι ερωτήσεις για τις δικλείδες ασφαλείας προέρχονται από διευθυντές μηχανικών και από όσους οργανώνουν αυτές τις ροές εργασίας που βασίζονται σε πράκτορες. Πώς διασφαλίζουμε ότι οι πράκτορες δεν θα ενεργήσουν ανεξέλεγκτα; Πώς ξέρουμε ότι δεν εισάγουν παλινδρομήσεις ή ότι δεν παραλείπουν σιωπηρά εργασίες που έπρεπε να εκτελέσουν; Πώς διασφαλίζουμε ότι οι δοκιμές που γράφουν πράγματι (και με ειλικρίνεια!) επαληθεύουν όσα υποτίθεται ότι πρέπει να επαληθεύουν;

Νομίζω ότι αυτό συμβαίνει επειδή εξετάζουν διαφορετικά πράγματα. Ένας προγραμματιστής εξετάζει ένα αίτημα ενσωμάτωσης κάθε φορά. Ένας διευθυντής μηχανικών είναι υπεύθυνος για ό,τι κυκλοφορεί μέσω πολλών πρακτόρων και πολλών ανθρώπων και είναι εκείνος που πρέπει να δώσει εξηγήσεις όταν κάτι χαλάσει στην παραγωγή.

Και έχουν λόγο να είναι προσεκτικοί. Ερευνητές δημιούργησαν ένα σημείο αναφοράς με την ονομασία ImpossibleBench, χρησιμοποιώντας εργασίες προγραμματισμού στις οποίες οι δοκιμές μονάδας αντιφάσκουν με τις προδιαγραφές, έτσι ώστε ο μόνος τρόπος να πετύχει κανείς να είναι η εξαπάτηση. Τα κορυφαία μοντέλα έκαναν συχνά ακριβώς αυτό, για παράδειγμα τροποποιώντας ή διαγράφοντας τις αποτυχημένες δοκιμές αντί να διορθώσουν τον κώδικα (!!). Μια ξεχωριστή μελέτη αιτημάτων ενσωμάτωσης που συνέταξαν πράκτορες εντόπισε αδυναμίες στον τρόπο με τον οποίο οι πράκτορες δοκιμάζουν τις δικές τους αλλαγές και παραπέμπει σε παλαιότερη έρευνα, σύμφωνα με την οποία σχεδόν το ένα τρίτο των αιτημάτων ενσωμάτωσης που συνέταξαν πράκτορες και συγχωνεύτηκαν χρειάστηκε διορθώσεις ή αναδιαμόρφωση εκ των υστέρων.

Το συμπέρασμα που βγάζω είναι ότι οι δικλείδες ασφαλείας δεν μπορούν να βρίσκονται μόνο μέσα στο περιβάλλον του ίδιου του πράκτορα, ούτε να ενεργοποιούνται μόνο αφού κυκλοφορήσει ο κώδικας. Αν ο πράκτορας που έγραψε τον κώδικα αποφασίζει και αν πέρασε τον έλεγχο, το αποτέλεσμα δεν σου λέει πολλά. Αυτό δεν σημαίνει ότι οι πράκτορες δεν πρέπει να γράφουν δοκιμές. Σημαίνει ότι η τελική κρίση πρέπει να προέρχεται από κάπου που ο πράκτορας δεν μπορεί να τροποποιήσει. Οι δοκιμές πρέπει να αποτελούν ξεχωριστό σταθμό στη γραμμή, από τον οποίο περνά κάθε αλλαγή, είτε την έχει γράψει άνθρωπος είτε πράκτορας.

Τι χρειάζεται αυτός ο σταθμός

Η απάντηση δεν είναι ένα εντελώς νέο είδος δοκιμών. Τα περισσότερα από όσα χρειάζονται είναι πράγματα που ζητούν εδώ και καιρό οι καλές ομάδες διασφάλισης ποιότητας. Απλώς έχουν πλέον μεγαλύτερη σημασία.

Οι δοκιμές πρέπει να ελέγχονται ως προς την ακρίβειά τους σε σχέση με τις απαιτήσεις — όπως ακριβώς και ο κώδικας που δοκιμάζουν. Πρέπει επίσης να εκτελούνται στο περιβάλλον όπου λειτουργεί το λογισμικό. Το ότι μια δοκιμή περνά στο περιβάλλον απομόνωσης ενός πράκτορα δεν λέει πολλά για τα περιβάλλοντα δοκιμών αποδοχής ή παραγωγής, ενώ μπορεί να κρύβει ποιες εξαρτήσεις αντικαταστάθηκαν με προσομοιώσεις — ή με ποιον τρόπο. Μια πρόσφατη μελέτη σχεδόν 180.000 αρχείων δοκιμών που δημιουργήθηκαν από πράκτορες διαπίστωσε ότι οι πράκτορες κάλυπταν περισσότερες ακραίες περιπτώσεις από τις δοκιμές που έγραψαν άνθρωποι, αλλά οι δοκιμές τους εμφάνιζαν περισσότερες ενδείξεις αστάθειας, κυρίως επειδή οι πράκτορες δεν γνώριζαν αρκετά για το περιβάλλον στο οποίο θα εκτελούνταν οι δοκιμές. Η έγκαιρη εκτέλεση δοκιμών σε πραγματική υποδομή βοηθά να εντοπιστεί αυτό το πρόβλημα.

Οι δοκιμές και τα αποτελέσματά τους πρέπει να διατηρούνται. Αν ένας πράκτορας γράψει μια δοκιμή, θα πρέπει να έχει ως πλαίσιο αναφοράς τις υπάρχουσες δοκιμές και τα αποτελέσματά τους, ώστε να μαθαίνει τόσο από την κάλυψη όσο και από την πιθανή αστάθεια. Οι δοκιμές πρέπει να ελέγχονται και να υπόκεινται σε έλεγχο εκδόσεων, όπως κάθε άλλος κώδικας, ώστε να εκτελούνται ξανά στην επόμενη αλλαγή και να μη χάνονται όταν τελειώσει η συνεδρία.

Ένα επιτυχές αποτέλεσμα πρέπει να σημαίνει το ίδιο πράγμα ανεξάρτητα από το ποιος το ζήτησε — είτε πρόκειται για μια διοχέτευση, έναν προγραμματιστή ή έναν πράκτορα. Αυτό σημαίνει ότι εκτελούνται οι ίδιες δοκιμές στην ίδια υποδομή και ότι τα αποτελέσματα συγκεντρώνονται σε ένα μέρος.

Και οι άνθρωποι πρέπει να διατηρούν την κρίση τους. Είμαι πρόθυμος να αφήσω στους πράκτορες τις τυποποιημένες εργασίες και τις διασυνδέσεις. Το να αποφασίζουμε τι αξίζει να δοκιμαστεί και τι σημαίνει μια αποτυχία εξακολουθεί να είναι ανθρώπινη δουλειά (τουλάχιστον προς το παρόν…).

Αυτό σημαίνει επίσης ότι οι δοκιμές δεν μπορούν να περιορίζονται μόνο στο CI/CD (αν κρατήσετε ένα μόνο πράγμα από αυτό το άρθρο, ας είναι αυτό!). Οι διοχετεύσεις CI σχεδιάστηκαν για τη δημιουργία και τη διάθεση κώδικα· δεν προορίζονταν ποτέ για την εκτέλεση αυτοματοποιημένων δοκιμών σε μεγάλη κλίμακα. Καθώς στρεφόμαστε προς έναν κύκλο ζωής ανάπτυξης λογισμικού με πράκτορες και ο όγκος του κώδικα συνεχίζει να αυξάνεται, το CI αποδεικνύεται ακόμη λιγότερο κατάλληλο για την εκτέλεση δοκιμών. Οι δοκιμές πρέπει να αποτελούν βασικό στοιχείο της διαδικασίας διάθεσης λογισμικού και όχι ένα βήμα που προστίθεται στο τέλος μιας διοχέτευσης. Αυτό σημαίνει ότι πρέπει να οργανώνονται ως αυτόνομο σύστημα, σε όλα τα εργαλεία και τα περιβάλλοντα που χρησιμοποιεί μια ομάδα, ανεξάρτητα από το ποιος αναλαμβάνει την εργασία — ένας πράκτορας ή ένας άνθρωπος.

Από πού να ξεκινήσετε

Οι περισσότερες ομάδες έχουν ήδη δοκιμές που εμπιστεύονται στο Playwright, το Cypress, το k6, το Postman ή σε όποιο άλλο εργαλείο έχουν επιλέξει ως πρότυπο, και αυτό είναι ένα εξαιρετικό σημείο εκκίνησης. Μερικά πράγματα που θα πρότεινα:

  1. Χαρτογραφήστε πώς περνά σήμερα μια αλλαγή από την προτροπή στην παραγωγή και σημειώστε σε ποια σημεία εκτελείται μια δοκιμή. Αν υπάρχει μόνο ένα σημείο, κοντά στο τέλος, θα ξεκινούσα από εκεί.
  2. Να είστε προσεκτικοί όταν επιτρέπετε στους πράκτορες να αλλάζουν αθόρυβα υπάρχουσες δοκιμές. Οι ερευνητές του ImpossibleBench διαπίστωσαν ότι ο περιορισμός της πρόσβασης των πρακτόρων στις δοκιμές μείωνε την εξαπάτηση. Όταν ένας πράκτορας χρειάζεται πράγματι να αλλάξει μια δοκιμή, η αλλαγή θα πρέπει να υποβάλλεται ως αίτημα ενσωμάτωσης και να ελέγχεται από κάποιον άνθρωπο, όπως κάθε άλλος κώδικας.
  3. Εκτελείτε τις δοκιμές σας σε περιβάλλοντα δοκιμών — κατά προτίμηση πραγματικά — και όχι σε περιβάλλοντα απομόνωσης πρακτόρων, όσο το δυνατόν νωρίτερα, ακόμη κι αν πρόκειται μόνο για μια μικρή σουίτα βασικών ελέγχων στο περιβάλλον δοκιμών αποδοχής, για κάθε αλλαγή που δημιουργεί ένας πράκτορας. Αν χρησιμοποιείτε τεχνητή νοημοσύνη για τη σύνταξη δοκιμών, μην αποδέχεστε καμία πριν εκτελεστεί εκεί.
  4. Συγκεντρώστε τα αποτελέσματα των δοκιμών σας σε ένα κεντρικό επίπεδο ελέγχου — είτε πρόκειται για εργαλείο αναφορών, τη λύση APM που χρησιμοποιείτε είτε για ειδική πλατφόρμα δοκιμών. Βεβαιωθείτε ότι τα αποτελέσματα είναι διαθέσιμα τόσο στους ανθρώπους όσο και στους πράκτορες.
  5. Μετρήστε την παράδοση και όχι τη δραστηριότητα. Ο αριθμός των αιτημάτων ενσωμάτωσης λέει ελάχιστα. Οι μετρικές παράδοσης της DORA, όπως ο χρόνος από την έναρξη έως τη διάθεση μιας αλλαγής και το ποσοστό αποτυχίας αλλαγών, δείχνουν πολύ καλύτερα αν η τεχνητή νοημοσύνη βοηθά.
  6. Αφήστε τους πράκτορες να χρησιμοποιούν την ίδια υποδομή δοκιμών με τους ανθρώπους της ομάδας σας, ώστε η δουλειά τους να ελέγχεται με τα ίδια κριτήρια.

Αισιοδοξία, με προϋποθέσεις

Είμαι από τη φύση μου αισιόδοξος όσον αφορά την τεχνητή νοημοσύνη και πιστεύω ότι θα κάνει τις ομάδες λογισμικού πολύ πιο ικανές και, τελικά, πιο παραγωγικές. Για να φτάσουν όμως εκεί, οι ομάδες πρέπει να εμπιστεύονται αρκετά τα αποτελέσματα των πρακτόρων τους ώστε να τα διαθέτουν, ενώ χρειάζονται και μια συνολική προσέγγιση στις δοκιμές σε έναν κύκλο ζωής ανάπτυξης λογισμικού με πράκτορες — εκεί ακριβώς όπου αυτή η εμπιστοσύνη είτε οικοδομείται είτε χάνεται.

Αν επιδιώκετε έναν κύκλο ζωής ανάπτυξης λογισμικού με πράκτορες, ποια θέση έχουν σήμερα οι δοκιμές σε αυτόν;

Ο Ole Lensmar είναι συνιδρυτής και διευθυντής τεχνολογίας της Testkube, της ανοιχτής πλατφόρμας δοκιμών για ομάδες μηχανικών που αξιοποιούν την τεχνητή νοημοσύνη. Δημιούργησε το SoapUI, ένα από τα ευρύτερα χρησιμοποιούμενα εργαλεία δοκιμών API, και στο παρελθόν διετέλεσε πρόεδρος της OpenAPI Initiative.