Kiedy rola AI się rozszerza, cierpi kodowanie Vibe

Nowe badanie wykazało, że kodowanie Vibe poprawia się, gdy ludzie wydają polecenia, ale pogarsza się, gdy to robi AI, a najlepszy hybrydowy układ utrzymuje ludzi na czele, z AI jako arbitrem lub sędzią.

Nowe badanie przeprowadzone w Stanach Zjednoczonych, które bada, co się dzieje, gdy systemy AI są pozwalane na kierowanie kodowaniem Vibe, zamiast po prostu wykonywać polecenia ludzkie, wykazało, że gdy duże modele językowe (LLM) przejmują większą rolę kierowniczą, wyniki są prawie zawsze gorsze.

Chociaż badacze użyli OpenAI’s GPT-5 jako ramy dla swoich eksperymentów ludzko-AI, później potwierdzili, że zarówno Anthropic’s Claude Opus 4.5, jak i Google Gemini 3 Pro były poddane temu sameemu pogorszeniu krzywej w miarę wzrostu odpowiedzialności, stwierdzając, że “nawet ograniczony udział ludzi stale poprawia wyniki”:

‘[Ludzie] zapewniają wyjątkowo skuteczną wysokopoziomową orientację w iteracjach, [podczas gdy] orientacja AI często prowadzi do załamania wydajności. Ponadto stwierdzamy, że staranna alokacja ról, która utrzymuje ludzi na czele kierunku, a ocenę przekazuje AI, może poprawić hybrydową wydajność.’

Aby zapewnić spójne testy, które mogą być równie dobrze oceniane przez ludzi, jak i przez AI, zbudowano kontrolowany ramowy eksperyment wokół iteracyjnego zadania kodowania, w którym odniesieniowy obraz – zawierający zdjęcie kota, psa, tygrysa, ptaka, słonia, pingwina, rekina, zebry, żyrafy lub pandy – musiał być odtworzony za pomocą wektorowych grafik skalowalnych (SVG), a następnie oceniony względem zdjęcia, z którego został wygenerowany:

Zarówno ludzie, jak i uczestnicy AI zostali pokazani odniesieniowy obraz fotograficzny obok AI wygenerowanego SVG, a następnie poproszeni o ocenę, jak bardzo są one podobne do siebie na skali siedmiopunktowej. Źródło

W każdej rundzie jeden agent dostarczał wysokopoziomowe polecenia językowe, aby prowadzić generator kodu, a inny decydował, czy zaakceptować nową wersję, czy wrócić do poprzedniej – strukturalna pętla, która odzwierciedla rzeczywiste współpracę.

Przez szesnaście eksperymentów, w których wzięło udział 604 uczestników i tysiące wywołań API, rundy testowe prowadzone przez ludzi zostały porównane bezpośrednio z rundami prowadzonymi przez AI, w identycznych warunkach.

Niektóre z różnych rozwiązań uzyskanych przez różne kombinacje współpracy ludzko-AI i ich typów (pobranych z większej ilustracji w oryginalnym artykule, do którego odsyłamy czytelników).

Chociaż ludzie i AI wykonywali na podobnym poziomie na początku testów, ich trajektorie rozdzieliły się z czasem: gdy ludzie wydawali polecenia i podejmowali decyzje dotyczące selekcji, wyniki poprawiały się wraz z iteracjami, z ciągłymi wzrostami; ale gdy systemy AI pełniły obie role, wyniki nie pokazywały żadnych ciągłych wzrostów, a często pogarszały się wraz z rundami – nawet jeśli ten sam podstawowy model był używany do generowania kodu, a AI miała dostęp do tych samych informacji, co uczestnicy ludzcy.

Efekt prolixity

Wyniki pokazały również, że polecenia ludzkie były zwykle krótkie i nakierowane na działanie, koncentrując się na tym, co należy zmienić w bieżącym obrazie; odwrotnie, polecenia AI były znacznie dłuższe i bardziej opisowe (co było parametryzowane dla GPT-5), opisując atrybuty wizualne, a nie priorytetowe korekty.

Ale, jak widać na poniższym wykresie, nakładanie surowych limitów słownych na polecenia AI nie odwróciło tego wzorca; nawet gdy ograniczone do 10, 20 lub 30 słów, łańcuchy AI nadal nie poprawiały się w czasie:

Oceny podobieństwa w iteracjach dla łańcuchów ludzkich w porównaniu z pełnymi łańcuchami AI i łańcuchami AI ograniczonymi do 10, 20 lub 30 słów. Ewidencja pokazuje, że skracanie poleceń AI nie zapobiega obserwowanemu spadkowi wydajności w czasie.

Eksperymenty hybrydowe uczyniły wzorzec bardziej wyraźnym, pokazując, że dodanie nawet niewielkiej ilości udziału ludzi poprawiło wyniki, w porównaniu z pełnymi ustawieniami AI; jednak wydajność zwykle spadała, gdy udział AI rosł.

Gdy role były rozdzielone, ocenę i selekcję można było powierzyć AI z relativnie niewielką stratą jakości; ale zastąpienie ludzkich poleceń wysokopoziomowych poleceniami AI prowadziło do zauważalnych spadków wydajności, sugerując, że to, co się liczy, to nie to, kto generuje kod, ale kto ustala i utrzymuje kierunek w iteracjach.

Autorzy wnioskują:

‘Przez wiele eksperymentów, kodowanie ludzkie konsekwentnie poprawiało się w iteracjach, podczas gdy kodowanie AI często załamywało, pomimo dostępu do tych samych informacji i podobnych możliwości wykonawczych.

‘To wskazuje na kluczowe trudności dzisiejszych systemów AI w utrzymaniu spójnego kierunku na wysokim poziomie w czasie, niezbędnego do udanego kodowania Vibe’

Nowy artykuł pt. Dlaczego orientacja ludzka jest ważna w współpracy kodowania Vibe, pochodzi od siedmiu badaczy z Cornell University, Princeton University, Massachusetts Institute of Technology i New York University.

Metoda

Do eksperymentów zbudowano ramę, w której instruktor ludzki patrzył na wygenerowany przez GPT-5 obraz zwierzęcia, wraz z najnowszą powiązaną próbą SVG.

W ten sposób generator wyprodukował nowy SVG w każdej rundzie, tworząc pętlę iteracyjną do testowania, jak efekt orientacji kumuluje się w czasie. Celem były dziesięć obrazów zwierząt wygenerowanych przez GPT-5, pokrywających zakres kształtów i tekstur, tak aby poprawy lub błędy były łatwe do wykrycia:

Schemat przepływu pracy kodowania Vibe użyty w badaniu. W A), instruktor ludzki patrzy na odniesieniowy obraz fotograficzny wraz z najlepszym dotychczas wygenerowanym SVG i pisze polecenia językowe dla generatora kodu, aby wykonać następne SVG; w B), selektor ludzki porównuje nowe SVG z poprzednim i wybiera, które wersja lepiej odpowiada odniesieniowemu obrazowi, zanim prześle wybrany SVG do następnej rundy instrukcji; oraz w C), niezależni oceniający ludzcy oceniają, jak podobne jest każde wygenerowane SVG do jego odniesieniowego obrazu, dostarczając wyniki użyte do oceny ogólnej wydajności.

Selektor ludzki porównywał każde nowo wygenerowane SVG z poprzednim i albo akceptował, albo odrzucał je, co utrzymywało proces zgodny z odniesieniowym obrazem w rundach. W tym podstawowym ustawieniu ten sam człowiek pełnił obie role.

Aby zmierzyć jakość, niezależni oceniający ludzcy oceniali, jak podobne jest każde wygenerowane SVG do jego odniesieniowego obrazu. Przez szesnaście eksperymentów 120 ludzi wykonało 4800 ocen. Wszystkie eksperymenty zostały przeprowadzone na ramie PsyNet, portalu zaprojektowanym do współpracy między ludźmi i systemami AI.

Badanie rekrutowało 604 rodzimych użytkowników języka angielskiego, w testach, które zużyły 4800 wywołań API do generowania kodu i 5327 wywołań API do instrukcji. Chociaż GPT-5 był głównym modelem używanym, mniejsze partie porównawcze zostały wykonane z Claude Opus 4.5 i Gemini 3 Pro, które każde obsłużyły 280 zapytań.

Wyniki

Trzydzieści rund kodowania Vibe zostało przeprowadzonych, z których każda składała się z piętnastu edycji dziesięciu obrazów odniesienia. Dla tych, 45 uczestników ludzkich zostało wybranych, z których każdy pełnił rolę selektora i instruktora przez dziesięć iteracji, w rundach “ludzkich”.

W każdej turze ten sam uczestnik najpierw wybierał między bieżącym a poprzednim SVG, a następnie pisał następną rundę poleceń. Druga wersja testu zastąpiła te decyzje ludzkie wywołaniami API do GPT 5, przy utrzymaniu reszty ustawienia niezmienionej. W wszystkich przypadkach instruktor i selektor rolę wywoływali generator kodu zwykłym językiem.

Przedstawicielny przykład wielorundowego kodowania Vibe pokazuje, jak proces rozchodzi się w czasie; gdy ludzie pełnili rolę selektora i instruktora, wyjście SVG poprawiało się stale w iteracjach, zbliżając się do odniesieniowego obrazu w każdej rundzie:

Przykładowe postępy dla jednego odniesieniowego obrazu podczas kodowania Vibe z ludzkim (góra) i AI (dół) kierownictwem, pokazując stałą poprawę w iteracjach z ludźmi w obu rolach, oraz stagnację lub dryf, gdy obie role są obsługiwane przez AI.

Odwrotnie, w wersji AI, wczesne rundy czasami uchwyciły kluczowe cechy wizualne, ale późniejsze próby nie zbudowały na tych zdobyczach i w niektórych przypadkach odeszły od celu:

Końcowe wyniki z ostatniej iteracji, porównujące tury ludzkie (góra) z łańcuchami AI (dół) w tym samym zestawie obrazów odniesienia. Wyniki ludzkie są bardziej zbliżone do oryginalnych zwierząt, a wyniki AI pokazują widoczne zniekształcenia lub utratę kluczowych cech.

Aby zmierzyć pojawiające się trendy ilościowo, końcowe obrazy zostały pokazane niezależnym oceniającym ludzkim i oceniono podobieństwo do obrazów odniesienia. Na początku rund, wyniki ludzkie i AI były podobne; ale do piętnastej rundy różnica była wyraźna, z obrazami wybranymi przez ludzi ocenianymi jako znacznie bliższe celom. W czasie wyniki ludzkie rosły stale, z największym względnym zyskiem wynoszącym 27,1%.

Średnie oceny podobieństwa w iteracjach dla kodowania Vibe z ludzkim i AI kierownictwem, pokazując stałą poprawę, gdy ludzie pełnią rolę selektora i instruktora, oraz stopniowy spadek, gdy obie role są obsługiwane przez GPT 5.

Aby upewnić się, że pojawiające się trendy nie były spowodowane zbiorową siłą wielu uczestników ludzkich, badacze rekrutowali dziesięciu dodatkowych ludzi, aby pracować samodzielnie, z których każdy prowadził trzy rundy samodzielnie – i wyniki poprawiły się w ten sam stały sposób, pokazując, że zyski nie były przypadkową koleją losu.

Całokształt

Jednakże, czy GPT-5 uznałoby, że wyniki ludzkie są lepsze, gdyby samo oceniło wyniki? Oceny ludzkie i AI poruszały się zwykle w tym samym kierunku, więc model mógł odróżnić dobre od złych, jednak konsekwentnie oceniał obrazy AI wygenerowane wyżej niż ludzie.

‘Konkretnie, zapytaliśmy, czy agenci AI rozpoznają, że ich własne wyniki są gorsze niż te wytworzone przez ludzi, czy też wykażą preferencję dla swoich własnych tworów, co wskazywałoby na potencjalny problem z wyalignowaniem.’

Okazało się, że istnieje rzeczywiście problem z wyalignowaniem*:

‘Oceniający AI przyznawali wyższe oceny wynikom AI. Te wyniki sugerują, że obserwowane różnice w wydajności mogą wynikać z niezgodności w reprezentacjach między ludźmi i AI.’

Podczas badania, jak ludzie i AI formułują swoje polecenia, różnice stały się widoczne w testach. Jak widać na poniższym wykresie, zarówno focus, jak i długość są przedmiotem rozbieżności między AI a ludźmi:

Porównanie, jak ludzie i AI dawali polecenia podczas zadania kodowania. ‘A’ pokazuje, że ludzie piszą krótkie, bezpośrednie polecenia, podczas gdy AI pisze długie, szczegółowe opisy. ‘B’ mapuje polecenia, ujawniając, że polecenia ludzkie skupiają się razem, podczas gdy polecenia AI rozchodzą się w zależności od zwierzęcia. ‘C’ śledzi, jak ograniczanie długości polecenia AI nie naprawia jego słabych wyników w czasie; oraz ‘D’ ilustruje, że ludzie dają więcej zróżnicowanych i zbalansowanych poleceń niż AI, nawet gdy nakładane są limity słowne.

Polecenia ludzkie tendencję miały być krótkie i na punkcie, oferując wyraźne edycje, które mogą być stosowane ogólnie w celach. Polecenia AI były gęste w opisowych szczegółach i często napuchnięte opisami cieni, tekstur, oświetlenia lub anatomicznych drobiazgów – opisami, które mogą mieć sens w izolacji, ale nie zapewniają użytecznych następnych kroków dla modelu (i które będą znane tym, którzy są świadomi problemów LLM z długością kontekstu, tj. zdolnością do utrzymania “dużego obrazu” w miarę rozwoju i wzrostu projektu).

Aby sprawdzić, czy zmniejszona werbalność poprawiłaby wyniki, GPT-5 został ograniczony do 10, 20 lub 30 słów na polecenie; jednak nawet te ściśnięte polecenia nie pokazały żadnej poprawy (patrz dolna część wykresu powyżej).

Wspólne przedsięwzięcia

Aby przetestować, co się dzieje, gdy ludzie i AI dzielą kontrolę, badacze przeprowadzili zadania kodowania z różnymi mieszaninami wejść ludzkich i AI, od przeważająco ludzkich do przeważająco AI.

Każda mieszana konfiguracja przewyższała pełną kontrolę AI, tak że nawet niewielka ilość udziału ludzi poprawiła wyniki:

Ustawienia kodowania hybrydowego z różnymi mieszankami ludzkimi i AI. (A) Pokazuje, jak ludzie i AI brali na siebie role instruktorów i selektorów w każdym kroku kodowania; (B) pokazuje, że większy udział ludzi prowadził do lepszych wyników, podczas gdy większy wkład AI obniżał oceny; oraz (C) ilustruje stopniowy spadek jakości końcowych wyników wraz ze spadkiem udziału ludzi, potwierdzając, że bardziej konsekwentne kierownictwo ludzkie prowadzi do lepszych wyników.

Gdy AI przejmowało więcej procesu, wyniki spadały, z najlepszymi wynikami, gdy ludzie prowadzili większość rund, a najgorszymi, gdy AI prowadziło większość rund. Żadne z tych mieszanek nie zdołało utrzymać poprawy w każdej nowej rundzie, sugerując, że kierownictwo ludzkie działa najlepiej, gdy jest stałe i konsekwentne, a nie okazjonalne.

Odwrotność ról

Badanie również sprawdziło, czy to, kto co robi w tego typu zadaniach, ma znaczenie, i przetestowało to. Zadanie to obejmowało dwa zadania: jeden uczestnik dyktował, jak zmienić obraz, a inny wybierał wersję preferowaną.

Gdy obie role były pełnione przez ludzi, jakość była utrzymana; ale gdy człowiek wydawał polecenia, a nikt nie wybierał wersji, jakość się pogorszyła:

Testy podziału ról w kodowaniu Vibe: w (A), usunięcie roli selektora prowadziło do gorszych wyników, nawet gdy człowiek wydawał polecenia; w (B), zastąpienie ludzkiego selektora przez AI obniżyło jakość nieco, ale nie tak bardzo, jak całkowite pominięcie selekcji.

Gdy AI było odpowiedzialne, pominięcie kroku wyboru nie miało znaczenia, ponieważ jego wyniki pozostały spójne w obu przypadkach; ale gdy ludzie wydawali polecenia, a AI wybierało wyniki, jakość pozostała bliska do ustawienia całkowicie ludzkiego.

Odwrócenie się nie działało: gdy AI wydawało polecenia, a ludzie wybierali wyniki, prowadziło to do słabszych wyników, sugerując, że kreatywna orientacja ludzka pozostaje niezbędna, podczas gdy zadanie wyboru opcji można powierzyć AI bez większej straty.

Artykuł kończy się:

‘[Wysokiego poziomu] generowanie pomysłów i instrukcje są krytycznymi wkładami ludzkimi, podczas gdy ocena i selekcja mogą być często delegowane do AI bez straty w wydajności.

‘To sugeruje praktyczną zasadę projektowania systemów hybrydowych: ludzie powinni ustalać kierunek, podczas gdy AI może wspierać ocenę i wykonanie.’

Podsumowanie

Nadal pozostaje nieznane, w jakim stopniu poprawione i/lub zwiększone okna kontekstowe wpłyną na wyniki LLM w zadaniach tego typu. Dzień, w którym “amnezja LLM” przestanie być codziennym problemem współpracy ludzko-AI, może być powodem do świętowania i alarmu, ponieważ problem, który AI stara się rozwiązać, jest ludźmi.

Niemniej, praca autorów również pokazuje, że istnieją wrodzone i krytyczne niezgodności między AI a ludźmi dotyczące jakości, które mogą być jeszcze określone przez konsumentów jako niezastąpiony ludzki pojęcie.

* Moja konwersja cytatów wstawionych przez autorów na hiperłącza.

Pierwotnie opublikowane w piątek, 13 lutego 2026