Ανθρώπινος Κώδικας από το 2020 Νίκησε τους Vibe-Coded Agents σε Αγωνιστικές Δοκιμές

Το ChatGPT και άλλα εργαλεία vibe coding δοκιμάστηκαν σε σχεδόν 40.000 αγώνες και έχασαν από κώδικα μεταπτυχιακών φοιτητών που είχε γραφτεί πριν από τα Μεγάλα Γλωσσικά Μοντέλα.Νέα βρετανική μελέτη συνέκρινε πράκτορες γραμμένους από ανθρώπους με πράκτορες vibe-coded που δημιουργήθηκαν με τα νεότερα Μεγάλα Γλωσσικά Μοντέλα όπως GPT-5 και Claude. Οι πράκτορες χωρίς AI κέρδισαν εύκολα. Τις δύο ομάδες δημιούργησαν διαφορετικές γενιές φοιτητών του εργαστηρίου AI της EPFL. Οι παλιοί πράκτορες ήταν εργασία του 2020, δύο χρόνια πριν το ChatGPT, ενώ οι νέοι δημιουργήθηκαν με τα καλύτερα σύγχρονα LLM. Παρά τα πλεονεκτήματα που δόθηκαν στην AI, οι λύσεις vibe coding δεν νίκησαν: τις πέντε πρώτες θέσεις πήραν άνθρωποι και 33 από 40 πράκτορες LLM έχασαν από πολύ απλές βασικές στρατηγικές σε 38.304 αναμετρήσεις. Η μελέτη αναφέρει:

«Παρότι τα σύγχρονα LLM παράγουν κώδικα που εκτελείται χωρίς συντακτικά σφάλματα, η λύση δεν ανταγωνίζεται τον ανθρώπινο σχεδιασμό σε στρατηγικό σχεδιασμό, βελτιστοποίηση ή ανταγωνισμό πολλών πρακτόρων.»

«Η εργασία αναδεικνύει ένα νέο όριο στη δημιουργία κώδικα και επιδιώκει benchmark, σύνολα δεδομένων και ανοικτές βάσεις που απαιτούν σύνθεση κώδικα με συλλογισμό.»

Η πρόκληση απαιτούσε δημιουργική συμμετοχή σε δημοπρασίες και σχεδιασμό της εφοδιαστικής για τις εργασίες που κερδήθηκαν. Τα LLM έλαβαν πλεονεκτήματα, όπως διορθώσεις κώδικα που δεν επιτρέπονταν στους πράκτορες του 2020. Ακόμη και όταν τους δόθηκε καλή διορθωτική λύση, δεν μπόρεσαν να τη χρησιμοποιήσουν:

«Ακόμη όταν παρουσιάζουμε μια καλή λύση μέσα στο πλαίσιο, το LLM δεν μπορεί να την αξιοποιήσει.»

«Το αποτέλεσμα θέτει ερωτήματα για τα όρια της μάθησης εντός πλαισίου και της επίλυσης σύνθετων προβλημάτων με ανάκτηση πληροφοριών.»

Δοκιμάστηκαν τα GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 και DeepSeek R1*. Η νέα εργασία τιτλοφορείται Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning και προέρχεται από ερευνητές των University of Southampton, University of Oxford και Alan Turing Institute. Το benchmark θα δημοσιευτεί σύντομα.

Μέθοδος

Οι συνηθισμένες δοκιμές χρησιμοποιούν δυαδικά αποτελέσματα — σωστό ή λάθος — που επαληθεύονται με δοκιμές μονάδας. Οι συγγραφείς σχεδίασαν μια ανοικτή, πολυσταδιακή πρόκληση όπου η νίκη είναι δυνατή αλλά δύσκολη. Σύγκριση τυπικών προσεγγίσεων βάσει δοκιμών μονάδας και της πιο ανοικτής πρόκλησης. ΠηγήΤο Auction, Pickup and Delivery Problem (APDP) επιλέχθηκε επειδή υπήρχε σώμα φοιτητικού κώδικα του 2020, πριν η AI βοηθά την ανάπτυξη. Οι σημερινοί φοιτητές έλαβαν την ίδια εργασία με σύγχρονα εργαλεία. Αποφεύχθηκαν benchmark όπως HumanEval, BigCodeBench και WebDev Arena λόγω μόλυνσης δεδομένων, όπου το σύστημα μπορεί να έχει εκπαιδευτεί στα δεδομένα δοκιμής αντί να τηρήσει τον διαχωρισμό.Αντίστροφες δημοπρασίες και δρομολόγηση οχημάτων συνθέτουν το APDP. Πρώτα οι πράκτορες προσφέρουν τιμή για παραδόσεις: πολύ υψηλή προσφορά χάνει, πολύ χαμηλή μπορεί να φέρει ζημία. Έπειτα σχεδιάζουν μόνο τις κερδισμένες εργασίες με οχήματα διαφορετικής χωρητικότητας και κόστους, υπό περιορισμούς χρόνου και πόρων. Οι εταιρείες υποβάλλουν προσφορές σε αντίστροφες δημοπρασίες και βελτιστοποιούν τις διαδρομές των εργασιών που κερδίζουν.Στόχος είναι το μέγιστο κέρδος, προβλέποντας κατάλληλα πακέτα εργασιών και στρατηγικές αντιπάλων. Κάθε δημοπρασία αλλάζει τις επόμενες επιλογές, άρα απαιτεί συλλογισμό για κόστος, θέση, χρόνο και μακροπρόθεσμες συνέπειες. Το κεντρικό πρόβλημα είναι NP-hard: όσο αυξάνονται οι εργασίες, κανένας αλγόριθμος δεν βρίσκει αξιόπιστα τη βέλτιστη λύση σε εύλογο χρόνο.

Η κούρσα αρχίζει

Η αξιολόγηση συνέκρινε 40 πράκτορες LLM με 17 ανθρώπινους σε 12 τουρνουά και τέσσερις οδικές τοπολογίες με σύστημα όλοι εναντίον όλων. Κάθε ζεύγος έπαιξε δύο φορές, για 3.192 αγώνες ανά τουρνουά και 38.304 συνολικά. Κάθε αγώνας δημοπρατούσε 50 παραδόσεις σε χάρτες Ελβετίας, Γαλλίας, Βρετανίας και Ολλανδίας. Τα οδικά δίκτυα του τουρνουά και οι σημάνσεις εργασιών και οχημάτων.Οι φοιτητικοί πράκτορες προήλθαν από τουρνουά μαθήματος του 2020: οκτώ φιναλίστ και τέσσερις ακόμη ισχυροί απέναντι στις βάσεις. Οι βασικοί πράκτορες ακολουθούσαν σταθερές ευρετικές. Το Naive υπολόγιζε συνολική απόσταση με ένα όχημα· το ExpCostFixedBid προσομοίωνε δέκα εργασίες και πρόσφερε το μέσο οριακό κόστος· το Honest υπολόγιζε το πραγματικό κόστος εισαγωγής· το ModelOpponent πρόσθετε εκτίμηση κόστους αντιπάλου· και το RiskSeeking συνδύαζε μια χρονικά φθίνουσα πρότερη εκτίμηση με ζωντανό κόστος και μοντέλο αντιπάλου. Οι 40 πράκτορες LLM δημιουργήθηκαν με GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro και DeepSeek R1, με πέντε στρατηγικές προτροπής δύο φορές ανά μοντέλο. Δύο ήταν στατικές, μία ζητούσε αυτοκριτική, μία κριτική από άλλο LLM και η τελευταία συντέθηκε από GPT-4. Η βασική προτροπή αντέγραφε την αρχική φοιτητική εργασία. Τα LLM δοκίμαζαν και διόρθωναν τους πράκτορες ώσπου να εξαφανιστούν τα ορατά σφάλματα. Συνήθεις αποτυχίες ήταν τα χρονικά όρια, η μη παραλαβή ή παράδοση εργασιών και οι παραβιάσεις χωρητικότητας, συχνά από αγνόηση οδηγιών ή εσφαλμένο επανασχεδιασμό^†:

«Συχνό πρόβλημα, κυρίως στα Gemini, Claude και DeepSeek, ήταν η επαναλαμβανόμενη αποτυχία επίλυσης ενός σφάλματος.»

«Ένας πράκτορας συνέχιζε να υπερβαίνει το χρονικό όριο παρά 5–15 κύκλους παροχής του σφάλματος και λήψης ενημερωμένου κώδικα.»

«Η μόνη λύση ήταν η επανεκκίνηση από την αρχή. Χρειάστηκε σημαντική χειροκίνητη προσπάθεια και δημιουργήσαμε πολύ περισσότερους πράκτορες για να βρούμε 40 χωρίς σφάλματα.»

Ο πίνακας συνοψίζει τα 12 διπλά τουρνουά, σχεδόν 40.000 αγώνες:

Κάθε πράκτορας έπαιξε 112 αγώνες ανά τουρνουά. Η τυπική απόκλιση (SD) δείχνει τη μεταβλητότητα. Οι ανθρώπινοι πράκτορες εμφανίζονται με έντονα. Οι πράκτορες LLM σημειώνονται με μοντέλο (O = GPT-5 Thinking, G = Gemini 2.5 Pro, A = Claude Opus 4.1, D = DeepSeek R1), κωδικό στρατηγικής και αριθμό πρώτης ή δεύτερης δημιουργίας. ΠηγήΓια τα αποτελέσματα οι συγγραφείς δηλώνουν^†:

«Τα LLM δεν παρήγαγαν αναμενόμενο ή ανταγωνιστικό κώδικα ακόμη και σε απλούστερες παραλλαγές APDP, παρότι ο κώδικας ήταν κυρίως χωρίς συντακτικά σφάλματα. Χρειαζόμαστε benchmark συλλογισμού πέρα από την αυτόματη συμπλήρωση.»

«Οι ανθρώπινοι πράκτορες υπερείχαν καθαρά: οι πέντε πρώτες θέσεις ανήκαν σταθερά σε φοιτητές και 33 από 40 πράκτορες LLM ηττήθηκαν από πολύ απλές βάσεις.»

«Δεν διορθώσαμε τον φοιτητικό κώδικα, αλλά δοκιμάσαμε και διορθώσαμε εξονυχιστικά τον κώδικα LLM. Κάθε κατάρρευση φοιτητή έδινε αυτόματα τη νίκη στο LLM. Πολλές καταρρεύσεις διορθώνονταν εύκολα, άρα οι φοιτητές θα μπορούσαν να καταταχθούν ακόμη ψηλότερα.»

Σε πρόσθετο πείραμα το GPT-5 Thinking προσπάθησε να βελτιώσει τον κορυφαίο ανθρώπινο πράκτορα, Student 1· η τροποποιημένη έκδοση έπεσε στη δέκατη θέση, τη χειρότερη ανθρώπινη. Οι αλλαγές μείωσαν την επίδοση σχεδόν 20%. Οι συγγραφείς καταλήγουν:

«Τα αποτελέσματα αναδεικνύουν σημαντικούς περιορισμούς στη δημιουργία κώδικα από LLM, κυρίως στον συλλογισμό και τον σχεδιασμό. Ο κώδικας χωρίς συντακτικά σφάλματα δεν είναι το κατάλληλο μέτρο προόδου προς προηγμένη γενική AI.»

Συμπέρασμα

Οι συγγραφείς αναγνωρίζουν ότι το vibe coding ενδυναμώνει ανθρώπους κάθε τεχνικού επιπέδου και λειτουργεί εξισωτικά. Επειδή όμως είναι νέο, τα όριά του παραμένουν άγνωστα και πιθανώς χαμηλότερα από ό,τι υποτίθεται. Ζητούν μετατόπιση στόχου «από κώδικα που μεταγλωττίζεται σε κώδικα που ανταγωνίζεται». Ο αναγνώστης μπορεί να αναρωτηθεί αν η σύγκριση είναι υπερβολικά αυστηρή, αφού το συγκεκριμένο πρακτορικό έργο είναι πολύ πιο σύνθετο από μικρά σενάρια PowerShell και διορθώσεις όπου το vibe coding είναι κατάλληλο. * Σημείωση: η εργασία αναφέρει συνεχώς το «DeepThink R1», που φαίνεται ανύπαρκτο και πιθανότατα είναι λανθασμένη γραφή του «DeepSeek R1». Αν κάνω λάθος, επικοινωνήστε μέσω του προφίλ μου και θα το διορθώσω.^† Η έμφαση είναι των συγγραφέων.Πρώτη δημοσίευση Τετάρτη 26 Νοεμβρίου 2025. Τροποποίηση μορφοποίησης στις 17:35 EST.