Ανθρώπινος Κώδικας Από το 2020 Κατέστρεψε τους Vibe-Coded Agents σε Αγωνιστικούς Τεστ

Το ChatGPT και άλλα εργαλεία vibe-coding υποβεβληθηκαν σε τεστ σε σχεδόν 40.000 αγώνες – και ηττήθηκαν από τον κώδικα που γράφτηκε από φοιτητές πριν από την εφεύρεση των Μεγάλων Μοντέλων Γλώσσας.

Σε μια νέα μελέτη από το Ηνωμένο Βασίλειο, ερευνητές αντιπαρατέθηκαν ανθρώπινους κωδικοποιημένους πράκτορες με vibe-coded πράκτορες που αναπτύχθηκαν με τα τελευταία Μεγάλα Μοντέλα Γλώσσας (LLMs), όπως το ChatGPT-5 και το Claude, και διαπίστωσαν ότι οι πράκτορες που δημιουργήθηκαν χωρίς τη βοήθεια του AI νίκησαν πολύ εύκολα τις εκδόσεις που υποστηρίζονται από AI.

Και οι δύο ομάδες πρακτόρων δημιουργήθηκαν από διαφορετικές γενιές φοιτητών από το Εργαστήριο Τεχνητής Νοημοσύνης του Ομοσπονδιακού Τεχνολογικού Ινστιτούτου της Λωζανής. Οι μη-AI πράκτορες αναπτύχθηκαν ως μέρος του μαθήματος το 2020, δύο χρόνια πριν από την εφεύρεση του ChatGPT και την έναρξη της επανάστασης των LLM, ενώ οι νέοι πράκτορες δημιουργήθηκαν από τους τρέχοντες φοιτητές, με τη βοήθεια των τελευταίων και καλύτερων LLM που διατίθενται.

Ακόμη και με ένα ριγμένο παιχνίδι, οι vibe-coded λύσεις δεν μπορούσαν να κερδίσουν, και οι πέντε πρώτες θέσεις κατελήφθησαν συνεχώς από ‘ακατέργαστους’ πράκτορες, με την πλειοψηφία των LLM πρακτόρων (33 από 40) να ηττώνται εύκολα από ‘πολύ απλούς’ βασικούς πράκτορες, σε 38.304 αγώνες σε ένα τουρνουά, σε ένα ευρύ φάσμα μεταβλητών και περιστάσεων.

Το έγγραφο αναφέρει:

‘Η εργασία μας αποδεικνύει ότι ενώ τα state-of-the-art LLMs μπορούν να γεννήσουν κώδικα που τρέχει (δηλ. χωρίς σφάλματα σύνταξης), η γεννημένη λύση δεν είναι ανταγωνιστική με τις ανθρώπινες λύσεις σε διαστάσεις όπως η στρατηγική σχεδίαση, η βελτιστοποίηση ή η ανταγωνιστική πολυ-πράκτορας.

‘Έτσι, αυτή η εργασία φέρνει στο προσκήνιο αυτό το νέο μέτωπο στη γεννήση κώδικα, και στοχεύει να διευκολύνει την ανάπτυξη βεντσών, συνόλων δεδομένων και ανοιχτών πηγαίων που δίνουν έμφαση στη σύνθεση κώδικα που οδηγείται από τη σκέψη.’

Η πρόκληση που σχεδιάστηκε ήταν να συμμετάσχει δημιουργικά σε δημοπρασίες, σε eine ποικιλία στρατηγικών, και να διευθετήσει την логιστική της παράδοσης των κερδισμένων αντικειμένων στους νικητές.

Οι συγγραφείς σημειώνουν ότι ένας αριθμός πλεονεκτημάτων δόθηκε στα LLMs, όπως η παρέμβαση στον κώδικά τους για να βελτιώσουν την απόδοσή τους – ένα πλεονέκτημα που δεν επιτρεπόταν στον κώδικα της εποχής 2020.尽管如此, ακόμη και όταν παρέχονταν διορθωτικός κώδικας που θα είχε βελτιώσει σίγουρα τα αποτελέσματά τους, τα LLMs δεν μπορούσαν να τα αποδεχθούν ή να τα χρησιμοποιήσουν:

‘[Στο] μας βεστικό, ακόμη και όταν εκθέτουμε μια καλή λύση στο контέκστ, το LLM δεν μπορεί να τη χρησιμοποιήσει.

‘Αυτό το αποτέλεσμα επίσης θέτει ενδιαφέροντα ερωτήματα για τα όρια της μάθησης και της λύσης προβλημάτων σε σύνθετες καταστάσεις.’

Τα LLMs που χρησιμοποιήθηκαν στο τεστ ήταν GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1, ΚΑΙ DeepSeek R1*.

Το νέο έγγραφο έχει τον τίτλο Μπορεί το Vibe Coding να Νικήσει τους Φοιτητές του Μεταπτυχιακού; Ένας Αγώνας LLM vs. Ανθρώπινου Κώδικα σε Αγωνιστική Στρατηγική, και προέρχεται από έναν συγγραφέα στο Πανεπιστήμιο του Southampton και έναν άλλον στο Πανεπιστήμιο του Oxford και το Ινστιτούτο Alan Turing. Η βεστική θα κυκλοφορήσει σύντομα, όπως αναφέρουν οι συγγραφείς.

Μέθοδος

Οι συγγραφείς σημειώνουν ότι οι παραδοσιακές δοκιμές σε αυτή τη σφαίρα εστιάζουν σε προκλήσεις με σαφώς καθορισμένες δυαδικές λύσεις (σωστές ή λΑΘΟΣ), που επαληθεύονται μέσω τεστ μονάδας. Υποστηρίζοντας ότι αυτό δεν είναι ο ιδανικός τρόπος για να εξερευνηθούν τα όρια του κώδικα που υποστηρίζεται από LLM, οι συγγραφείς αντίθετα σχεδίασαν μια πιο σύνθετη πρόκληση, με πολλαπλά εσωτερικά βεστικά και ορόσημα, όπου η νίκη είναι δυνατή, αλλά μακριά από απλή:

Σύγκριση των τυπικών, unit-test-βασισμένων προσεγγίσεων (πάνω), και του πιο ανοιχτού σценαρίου πρόκλησης που σχεδιάστηκε από τους συγγραφείς (σε μπλε, κάτω). Πηγή

Η πρόκληση του Προβλήματος Δημοπρασιών, Παραλαβής και Παράδοσης (APDP) που χρησιμοποιήθηκε για τη μελέτη των συγγραφέων ήταν εν μέρει αυτο-επιλεγμένη, λόγω της διαθεσιμότητας eines σώματος εργασίας φοιτητών του 2020 από το Ελβετικό πανεπιστήμιο· εργασία που αποσκοπούσε στη δημιουργία αυτόματων πρακτόρων για την εργασία APDP, πριν από την ικανότητα να ενισχύσει την ανάπτυξη μέσω AI. Έτσι ήταν σχετικά εύκολο να ζητηθεί από τους σύγχρονους φοιτητές να εκτελέσουν την ίδια εργασία, αλλά να τους παρέχουν τα τρέχοντα εργαλεία.

Οι συγγραφείς ζήτησαν να αποφύγουν δημοφιλείς πλαισίες δοκιμών όπως HumanEval, BigCodeBench και WebDev Arena (μεταξύ πολλών άλλων), поскольку αυτή η κατηγορία δοκιμαστικών διαδικασιών έχει την τάση να υποφέρει από μόλυνση δεδομένων (δηλ. περιπτώσεις όπου το σύστημα μπορεί να έχει εκπαιδευτεί σε δεδομένα δοκιμής αντί να σέβεται ένα διαχωρισμό).

Το APDP είναι ένα δίωρο πρόβλημα λογιστικής που βασίζεται σε αντίστροφες δημοπρασίες και δίαυλος οχημάτων. Στο πρώτο στάδιο, οι πράκτορες ανταγωνίζονται για να κερδίσουν εργασίες παράδοσης υποβάλλοντας προσφορές για το πόσο θα πρέπει να πληρωθούν για την ολοκλήρωση κάθε μιας. Η προσφορά σε υψηλό ποσοστό σημαίνει απώλεια της εργασίας· η προσφορά σε χαμηλό ποσοστό μπορεί να σημαίνει απώλεια χρημάτων.

Στο δεύτερο στάδιο, κάθε πράκτορας πρέπει να δημιουργήσει einen αποτελεσματικό σχέδιο για την εκπλήρωση μόνο των εργασιών που κέρδισε, αναθέτοντας τις σε οχήματα με διαφορετικές ικανότητες και κόστη, υπό χρονικούς και πόρων περιορισμούς:

Στο APDP, οι εταιρείες συμμετέχουν σε αντίστροφες δημοπρασίες για εργασίες παράδοσης, και στη συνέχεια βελτιστοποιούν τις διαδρομές οχημάτων για να εκπληρώσουν μόνο τις εργασίες που κέρδισαν, με στόχο την μεγιστοποίηση του κέρδους.

Ο στόχος δεν είναι απλά να ολοκληρώσουν τις εργασίες, αλλά να μεγιστοποιήσουν το συνολικό κέρδος προβλέποντας ποια πακέτα εργασιών θα δουλέψουν καλύτερα μαζί, και προβλέποντας τις στρατηγικές των αντιπάλων που προσπαθούν να κάνουν το ίδιο.

Το βασικό πρόβλημα παράδοσης είναι NP-δύσκολο, δηλ. δεν υπάρχει αλγόριθμος που μπορεί να βρει την καλύτερη λύση σε 合理 χρόνο καθώς ο αριθμός των εργασιών αυξάνεται. Αυτό καθιστά την βίαιη προσέγγιση μη εφικτή, και αναγκάζει τους πράκτορες να ανταλλάξουν ακρίβεια για ταχύτητα.

Ο Αγώνας Έχει Ξεκινήσει

Η αξιολόγηση των συγγραφέων σύγκρινε 40 LLM-κωδικοποιημένους πράκτορες με 17 ανθρώπινους κωδικοποιημένους πράκτορες σε μια σειρά από αγώνες. Κάθε ένας από τους 12 αγώνες χρησιμοποιούσε eine διαφορετική συνδυασμό τεσσάρων τοπολογιών οδικών δικτύων, και αποτελούνταν από όλους-παν-πάν ζευγαρώματα, με πράκτορες που αντιμετωπίζουν κάθε άλλον αντίπαλο δύο φορές: μία φορά ελέγχοντας κάθε eine από δύο εταιρείες, με διαφορετικά οχήματα.

Αυτή η ρύθμιση έδωσε 3.192 αγώνες ανά τουρνουά, συνολικά 38.304 αγώνες. Σε κάθε αγώνα, 50 εργασίες παράδοσης δημοπρατήθηκαν, που ορίστηκαν από τους σημεία παραλαβής και παράδοσης και βάρος, και τραβήχτηκαν τυχαία σε οδικά σχέδια που μοντελοποιήθηκαν στη Σουηδία, Γαλλία, Μεγάλη Βρετανία και Ολλανδία:

Απλοποιημένα οδικά δίκτυα που χρησιμοποιήθηκαν στο τουρνουά: Μεγάλη Βρετανία (πάνω αριστερά), Ελβετία (πάνω δεξιά), Ολλανδία (κάτω αριστερά), και Γαλλία (κάτω δεξιά). Μπλε και κόκκινα τετράγωνα σημειώνουν εργασίες παραλαβής και παράδοσης. Χρωματισμένα τρίγωνα δείχνουν τις τρέχουσες θέσεις των οχημάτων των πρακτόρων.

Οι φοιτητές πράκτορες επιλέχθηκαν από ένα τουρνουά φοιτητών το 2020. Όγδοι προέρχονταν από τους κορυφαίους επιδότες σε ένα τελικό μονό ελιμιναção, και τέσσερις επιπλέον επιλέχθηκαν για την ισχυρή απόδοση τους ενάντια στους βασικούς πράκτορες σε αγώνες.

Οι βασικοί πράκτορες ακολούθησαν σταθερές ευριστικές. Απλό υπολόγισε τη συνολική απόσταση και προσέφερε ανάλογα, χρησιμοποιώντας μόνο ένα όχημα και αγνοώντας τη δέσμη; ExpCostFixedBid προσομοίωσε 10 τυχαίες εργασίες, και προσέφερε το μέσο όρο της марγινάλης κόστους; Ειλικρινής υπολόγισε το πραγματικό маргινάλε κόστος της εισαγωγής της εργασίας στο πρόγραμμα; Μοντέλο αντίπαλου έκανε το ίδιο, αλλά πρόσθεσε μια εκτίμηση του κόστους του αντίπαλου, προσέφερε το μέγιστο; και Ρίσκο-αναζητών συνδύασε μια χρονικά-εκπνέουσα προηγούμενη με ζωντανούς εκτιμήσεις κόστους και μοντέλο αντίπαλου – ξανά, προσέφερε το υψηλότερο από τα δύο.

Η αξιολόγηση περιελάμβανε 40 LLM-κωδικοποιημένους πράκτορες που κατασκευάστηκαν χρησιμοποιώντας το (παραπάνω αναφερθέν) GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro, και DeepSeek R1. Κάθε μοντέλο προτράπηκε με πέντε διαφορετικές στρατηγικές, εφαρμοσμένες δύο φορές ανά μοντέλο.

Δύο στρατηγικές χρησιμοποιούσαν στατικές προτροπές γραμμένες από διαφορετικούς συγγραφείς, ενώ μια τρίτη ζήτησε από το μοντέλο να αυτο-ανακλήθηκε και να αναθεώρησε την δική του έξοδο; μια άλλη εμπλέκει κριτική και αναθεώρηση από ένα ξεχωριστό LLM. Η τελική στρατηγική χρησιμοποίησε το GPT-4 για να συνθέσει μια νέα προτροπή αναθεωρώντας όλες τις τέσσερις προηγούμενες προσεγγίσεις.

Η βασική προτροπή αντανακλούσε την αρχική εργασία φοιτητή, περιγράφοντας το περιβάλλον παράδοσης και οδηγώντας το μοντέλο να προσέφερε και να σχεδιάσει για να μεγιστοποιήσει το κέρδος, χωρίς να βασίζεται σε μεθόδους υψηλής πολυπλοκότητας.

Όλοι οι LLM πράκτορες δοκιμάστηκαν σε αυτο-παιχνίδι και τουρνουά ρυθμίσεις μέχρι όλοι οι观察ABLE σφάλματα να επιδιορθωθούν. Η διόρθωση σφαλμάτων χειριζόταν αυτονομamente από τα LLMs themselves, προτρεπόμενα με τις πληροφορίες σφάλματος.

Κοινά LLM αποτυχίες, το έγγραφο σημειώνει, περιελάμβαναν παραβιάσεις ορίων χρόνου, αποτυχία να παραλάβουν ή να παραδώσουν ανατεθειμένες εργασίες, και παραβιάσεις ορίων χωρητικότητας οχήματος – σφάλματα που συχνά προέκυψαν από την αγνόηση ρητών οδηγιών, ή από ελαττωματική λογική επανασχεδίασης^†:

‘Ένα άλλο κοινό ζήτημα που βρήκαμε (κυρίως με Gemini, Claude, και DeepSeek, και όχι τόσο με GPT) είναι ότι khá συχνά το LLM θα αποτύχει να επιλύσει ένα σφάλμα.

‘Για παράδειγμα, ένας πράκτορας θα αποτύχει συνεχώς να επιλύσει ένα σφάλμα, παρά πολλαπλά (π.χ. 5 − 15) κύκλους προτροπής του LLM με το σφάλμα και λήψη της ενημερωμένης έκδοσης του κώδικα.

‘Η μόνη λύση που βρήκαμε για τέτοιες περιπτώσεις (όπου το LLM επαναλαμβάνει να αποτύχει να επιλύσει το ίδιο σφάλμα) είναι να ξαναρχίσω από την αρχή. Συνολικά, παρατηρήσαμε την ανάγκη για σημαντική χειροκίνητη προσπάθεια για να επιτύχουμε απαλλαγμένο από σφάλματα κώδικα. Έπρεπε να γεννήσουμε σημαντικά περισσότερους πράκτορες για να πάρουμε τους 40 απαλλαγμένους από σφάλματα που αξιολογήσαμε.’

Τα αποτελέσματα που εμφανίζονται παρακάτω συνοψίζουν αποτελέσματα από 12 διπλούς γύρους τουρνουά, που καλύπτουν τέσσερις τοπολογίες δικτύων και τρεις τουρνουά ανά τοπολογία, που έδωσαν σχεδόν 40.000 αγώνες:

Για контέκστ, κάθε πράκτορας έπαιξε 112 αγώνες ανά τουρνουά, οπότε το μέγιστο δυνατό μέσο όρο για νίκες ή ήττες ανά πράκτορα είναι 112. Τυπική απόκλιση (SD) αντανακλά τη μεταβλητότητα ανά τουρνουά. Ανθρώπινοι κωδικοποιημένοι πράκτορες εμφανίζονται με έντονα γράμματα. LLM-κωδικοποιημένοι πράκτορες σημειώνονται με το μοντέλο (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), ακολουθούμενο από einen δύο-γραμμάτιο κωδικό προτροπής και έναν αριθμό που υποδεικνύει εάν ο πράκτορας είναι ο πρώτος ή ο δεύτερος που γεννήθηκε με αυτήν την προτροπή. Πηγή

Σχετικά με τα αποτελέσματα που εμφανίζονται παραπάνω, οι συγγραφείς αναφέρουν^†:

‘Τα LLMs δεν παρήγαγαν αναμενόμενες/ανταγωνιστικές λύσεις ακόμη και σε απλούστερες παραλλαγές του προβλήματος APDP (παρά το γεγονός ότι ο κώδικας ήταν σε μεγάλο βαθμό απαλλαγμένος από σφάλματα σύνταξης). Αυτό υπογραμμίζει τη σημασία των βεντσών αξιολόγησης κώδικα που οδηγούνται από τη σκέψη που ξεπερνούν την αυτόματη συμπλήρωση και αναγνωρίζουν новые αδυναμίες των LLMs.’

‘Τα αποτελέσματά μας αποδεικνύουν μια σαφή υπεροχή των ανθρώπινων κωδικοποιημένων πρακτόρων: (i) οι πέντε πρώτες θέσεις κατέχονται συνεχώς από φοιτητές πράκτορες, και (ii) η πλειοψηφία των LLM πρακτόρων (33 από 40) ηττώνται από πολύ απλούς βασικούς πράκτορες (όπως η προσφορά σταθερής маргινάλης κόστους).’

‘Είναι σημαντικό να σημειωθεί ότι δεν διόρθωσαμε τον κώδικα των φοιτητών (ενώ διέτρεξαμε πλήρως το LLM κώδικα, και σε αυτο-παιχνίδι και τουρνουά ρυθμίσεις). Κάθε φορά που ένας φοιτητής πράκτορας κατέρρευε, αυτομάτως δίναμε τη νίκη στο LLM. Ένα μεγάλο αριθμός από αυτές τις καταρρεύσεις θα ήταν εύκολο να διορθωθούν (π.χ. πράκτορες που υπερέβησαν το όριο χρόνου), οπότε οι φοιτητές πράκτορες θα μπορούσαν потенτικά να κατατάσσονται ακόμη υψηλότερα.’

Ως μια περαιτέρω πείραμα, το GPT-5 Thinking προτράπηκε να βελτιώσει τον κώδικα του κορυφαίου ανθρώπινου πράκτορα, Φοιτητής 1; αλλά ο τώρα LLM-τροποποιημένος πράκτορας στη συνέχεια έπεσε στην δέκατη θέση, τώρα η χειρότερη από όλους τους ανθρώπινους βαθμούς. Αντί να βελτιώσει τη λύση, οι αλλαγές των LLMs την χειροτέρεψαν σχεδόν 20%.

Οι συγγραφείς καταλήγουν:

‘[Τα] αποτελέσματά μας υπογραμμίζουν σημαντικά όρια της γεννήσης κώδικα LLM, πιο αξιοσημείωτα τις περιορισμένες ικανότητες σκέψης και σχεδίασης ενώ γεννά κώδικα. Τα σύγχρονα LLMs μπορούν να παρέχουν κώδικα χωρίς σφάλματα σύνταξης που τρέχει, αλλά αυτό δεν είναι το βεστικό που πρέπει να χρησιμοποιούμε για να μετρήσουμε την πρόοδο προς την προηγμένη γενική AI.’

Συμπέρασμα

Οι συγγραφείς παρατηρούν ότι το vibe-coding έχει ενδυναμώσει ανθρώπους όλων των τεχνικών υποβάθρων, και το χαρακτηρίζουν ως μια θετική δύναμη. Ωστόσο, επίσης υποδηλώνουν ότι επειδή το vibe-coding έχει μόλις φτάσει, τα όριά του δεν είναι γνωστά, και μπορεί να υποτεθεί ότι είναι κάπως υψηλότερα από ό,τι μπορεί να αναμενθεί πραγματικά.

Κλείνουν την προσφορά τους καλώντας για μια μετατόπιση στόχου ‘από κώδικα που συντάσσεται σε κώδικα που ανταγωνίζεται’.

Ένα ερώτημα που ο τυχαίος αναγνώστης αυτού του ενδιαφέροντος νέου εγγράφου μπορεί να έχει είναι εάν οι συγγραφείς χτυπούν ψηλά ή χαμηλά,既然 η αγωνιστική εργασία που αναφέρεται είναι σημαντικά πιο σύνθετη και εμπλεκόμενη από το να βγάζει PowerShell scripts και άλλα είδη μικρής λειτουργικότητας και διορθώσεων για τις οποίες το vibe-coding είναι καλά-προσαρμοσμένο.

* Παρακαλώ σημειώστε ότι το έγγραφο αναφέρεται συνεχώς στο ‘DeepThink R1′, το οποίο φαίνεται να μην υπάρχει, εμφανιζόμενο μόνο σε quelques αναφορές στο διαδίκτυο (πιθανότατα από άλλους συγγραφείς που έχουν λανθασμένα γραφτεί ‘DeepSeek R1)’. Εάν αυτό είναι το λάθος μου, παρακαλώ επικοινωνήστε μαζί μου μέσω των πληροφοριών του προφίλ μου, και θα το διορθώσω.

^† Τόνωση των συγγραφέων, όχι δική μου.

Πublished για πρώτη φορά την Τετάρτη, 26 Νοεμβρίου 2025. Τροποποιήθηκε 17:35 est για μορφοποίηση.