Branża rozwoju oprogramowania jest dziedziną, która często opiera się na konsultacjach i intuicji, charakteryzując się skomplikowanymi strategiami podejmowania decyzji. Ponadto, rozwój, utrzymanie i eksploatacja oprogramowania wymagają dyscyplinowanego i metodycznego podejścia. Jest to powszechne, że programiści opierają swoje decyzje na intuicji, a nie na konsultacjach, w zależności od złożoności problemu. W celu poprawy wydajności inżynierii oprogramowania, w tym skuteczności oprogramowania i zmniejszenia kosztów rozwoju, naukowcy badają możliwość wykorzystania ramowych opartych na głębokim uczeniu się do rozwiązywania różnych zadań w procesie rozwoju oprogramowania. Z ostatnimi postępami i rozwojem w sektorach głębokiego uczenia się i sztucznej inteligencji, programiści szukają sposobów na transformację procesów rozwoju oprogramowania i praktyk. Robią to, wykorzystując zaawansowane projekty wdrożone na różnych etapach procesu rozwoju oprogramowania.

Dziś, omówimy ChatDev, innowacyjne podejście oparte na modelach językowych (LLM), które ma na celu rewolucjonizować dziedzinę rozwoju oprogramowania. Ten paradygmat ma na celu wyeliminowanie potrzeby specjalistycznych modeli na każdym etapie procesu rozwoju. Ramy ChatDev wykorzystują możliwości ram LLM, wykorzystując komunikację językową do ujednolicenia i usprawnienia kluczowych procesów rozwoju oprogramowania.

W tym artykule, omówimy ChatDev, wirtualną firmę specjalizującą się w rozwoju oprogramowania. ChatDev przyjmuje model wodospadowy i starannie dzieli proces rozwoju oprogramowania na cztery główne etapy.

1. Projektowanie.
2. Kodowanie.
3. Testowanie.
4. Dokumentacja.

Każdy z tych etapów wykorzystuje zespół wirtualnych agentów, takich jak programiści lub testujący, którzy współpracują ze sobą za pomocą dialogów, co prowadzi do nieprzerwanego przepływu pracy. Łańcuch rozmów działa jako ułatwiający, a rozłamuje każdy etap procesu rozwoju na podzadania atomowe, co umożliwia podwójne role, pozwalając na propozycje i walidację rozwiązań za pomocą komunikacji świadomej kontekstu, co pozwala programistom skutecznie rozwiązać określone podzadania.

Analiza instrumentalna ChatDev wykazuje, że nie tylko ramy ChatDev są niezwykle skuteczne w ukończeniu procesu rozwoju oprogramowania, ale są również niezwykle efektywne pod względem kosztów, gdyż ukończają cały proces rozwoju oprogramowania za mniej niż jeden dolar. Ponadto, ramy nie tylko identyfikują, ale również łagodzą potencjalne słabości, prostują potencjalne halucynacje, przy zachowaniu wysokiej wydajności i efektywności kosztowej.

ChatDev: Wprowadzenie do rozwoju oprogramowania opartego na LLM

Tradycyjnie, branża rozwoju oprogramowania opiera się na dyscyplinowanym i metodycznym podejściu nie tylko do tworzenia aplikacji, ale również do ich utrzymania i eksploatacji. Tradycyjnie, typowy proces rozwoju oprogramowania jest skomplikowanym, czasochłonnym i starannym procesem z długimi cyklami rozwoju, gdyż jest wiele ról zaangażowanych w procesie rozwoju, w tym koordynacja wewnątrz organizacji, przydział zadań, pisanie kodu, testowanie i ostatecznie dokumentacja.

W ostatnich latach, dzięki modelom językowym (LLM), społeczność AI osiągnęła znaczące kamienie milowe w dziedzinach widzenia komputerowego i przetwarzania języka naturalnego, a po przeszkoleniu na „przewidywaniu następnego słowa” modele te wykazały swoją skuteczność w wielu zadań, takich jak tłumaczenie maszynowe, odpowiedzi na pytania i generowanie kodu.

Chociaż modele językowe mogą pisać kod dla całego oprogramowania, mają one znaczącą wadę: halucynacje kodu, które są podobne do halucynacji spotykanych w ramach przetwarzania języka naturalnego. Halucynacje kodu mogą obejmować problemy, takie jak nieodkryte błędy, brakujące zależności i niepełne implementacje funkcji. Są dwie główne przyczyny halucynacji kodu.

• Brak określenia zadania: Podczas generowania kodu oprogramowania w jednym kroku, nieokreślenie szczegółów zadania myli modele LLM, gdyż zadania w procesie rozwoju oprogramowania, takie jak analiza wymagań użytkowników lub wybór preferowanego języka programowania, często zapewniają ukierunkowane myślenie, czego brakuje w zadaniach o wysokim poziomie obsługiwanym przez te modele.
• Brak przekrojowego badania: Istotne ryzyko pojawia się, gdy nie jest przeprowadzane badanie przekrojowe, zwłaszcza podczas procesów podejmowania decyzji.

ChatDev ma na celu rozwiązanie tych problemów i ułatwienie modelom LLM tworzenie najnowocześniejszych i skutecznych aplikacji oprogramowania, tworząc wirtualną firmę rozwoju oprogramowania, która ustanawia model wodospadowy i starannie dzieli proces rozwoju oprogramowania na cztery główne etapy,

1. Projektowanie.
2. Kodowanie.
3. Testowanie.
4. Dokumentacja.

Każdy z tych etapów wykorzystuje zespół wirtualnych agentów, takich jak programiści lub testujący, którzy współpracują ze sobą za pomocą dialogów, co prowadzi do nieprzerwanego przepływu pracy. Ponadto, ChatDev wykorzystuje łańcuch rozmów, który działa jako ułatwiający, a rozłamuje każdy etap procesu rozwoju na podzadania atomowe, co umożliwia podwójne role, pozwalając na propozycje i walidację rozwiązań za pomocą komunikacji świadomej kontekstu, co pozwala programistom skutecznie rozwiązać określone podzadania.

W tym podejściu, ramy ChatDev najpierw analizują wymagania klienta, generują pomysły, projektują i wdrażają systemy prototypowe, identyfikują i rozwiązują potencjalne problemy, tworzą atrakcyjne grafiki, wyjaśniają informacje debugowania i generują instrukcje użytkownika. Ostatecznie, ramy ChatDev dostarczają oprogramowanie użytkownikowi wraz z kodem źródłowym, instrukcjami użytkownika i specyfikacjami środowiska zależności.

ChatDev: Architektura i działanie

Teraz, gdy mamy krótkie wprowadzenie do ChatDev, przyjrzyjmy się architekturze i działaniu ram ChatDev, zaczynając od łańcucha rozmów.

Łańcuch rozmów

Jak już wspomniano w poprzedniej sekcji, ramy ChatDev wykorzystują model wodospadowy do rozwoju oprogramowania, który dzieli proces rozwoju oprogramowania na cztery fazy: projektowanie, kodowanie, testowanie i dokumentację. Każda z tych faz ma unikalną rolę w procesie rozwoju, a istnieje potrzeba skutecznej komunikacji między nimi, a także potencjalne wyzwania związane z identyfikacją osób do zaangażowania i określeniem sekwencji interakcji.

Aby rozwiązać ten problem, ramy ChatDev wykorzystują łańcuch rozmów, uogólnioną architekturę, która rozłamuje każdą fazę na podzadania atomowe, z każdą z tych faz koncentrującą się na zadaniach zorientowanych na rolę, które angażują podwójne role. Pożądany wynik dla rozmowy stanowi istotny komponent docelowego oprogramowania i jest osiągany w wyniku współpracy i wymiany instrukcji między agentami biorącymi udział w procesie rozwoju. Paradygmat łańcucha rozmów dla rozwiązywania zadań pośrednich jest ilustrowany na poniższym obrazie.

Dla każdej rozmowy, instruktor najpierw inicjuje instrukcje, a następnie kieruje dialog w kierunku ukończenia zadania, a tymczasem asystenci wykonują instrukcje określone przez instruktora, dostarczają idealne rozwiązania i angażują się w dyskusje na temat wykonalności rozwiązania. Instruktor i agent angażują się w wieloetapowe dialogi, aż do osiągnięcia porozumienia i uznania zadania za wykonane pomyślnie. Łańcuch rozmów zapewnia użytkownikom przejrzysty widok procesu rozwoju, rzuca światło na ścieżkę podejmowania decyzji i oferuje możliwości debugowania błędów, gdy się pojawiają, co pozwala użytkownikom końcowym analizować i diagnozować błędy, inspekcjonować wyniki pośrednie i interweniować w procesie, jeśli jest to konieczne. Dzięki włączeniu łańcucha rozmów, ramy ChatDev są w stanie skoncentrować się na każdym konkretnym podzadaniu w skali granularnej, co nie tylko ułatwia skuteczną współpracę między agentami, ale również prowadzi do szybkiego osiągnięcia wymaganych wyników.

Projektowanie

W fazie projektowania, ramy ChatDev wymagają pomysłu początkowego jako wejścia od klienta, a istnieją trzy role przeddefiniowane w tej fazie.

1. CEO lub Dyrektor Generalny.
2. CPO lub Dyrektor Produktu.
3. CTO lub Dyrektor Techniczny.

Łańcuch rozmów wchodzi w grę, dzieląc fazę projektowania na sekwencyjne zadania rozmów, w tym język programowania (CTO i CEO) oraz modalność oprogramowania docelowego (CPO i CEO). Faza projektowania obejmuje trzy kluczowe mechanizmy: Przypisanie roli, Strumień pamięci i Samoocena.

Przypisanie roli

Każdy agent w ramach ChatDev jest przypisany do roli za pomocą specjalnych wiadomości lub specjalnych podpowiedzi podczas procesu role-playing. W przeciwieństwie do innych modeli językowych, ramy ChatDev ograniczają się wyłącznie do inicjowania scenariuszy role-playing między agentami. Te podpowiedzi są używane do przypisania ról agentom przed dialogami.

Początkowo, instruktor przyjmuje odpowiedzialność CEO, a następnie angażuje się w interaktywne planowanie, podczas gdy odpowiedzialność CPO jest obsługiwana przez agenta, który wykonuje zadania i dostarcza wymagane odpowiedzi. Ramy wykorzystują „inicjowanie podpowiedzi” do specjalizacji roli, co pozwala agentom wypełniać swoje role skutecznie. Podpowiedzi asystenta i instruktora składają się z istotnych informacji dotyczących przypisanych ról i zadań, kryteriów zakończenia, protokołów komunikacyjnych i kilku ograniczeń, których celem jest zapobieganie niepożądanym zachowaniom, takim jak pętle nieskończone, nieinformacyjne odpowiedzi i redundancja instrukcji.

Strumień pamięci

Strumień pamięci jest mechanizmem wykorzystywanym przez ramy ChatDev, który utrzymuje kompleksowy zapis rozmów poprzednich agenta i ułatwia proces podejmowania decyzji w sposób świadomy kontekstu. Ramy ChatDev wykorzystują podpowiedzi do ustanowienia wymaganych protokołów komunikacyjnych. Na przykład, gdy strony zaangażowane osiągają porozumienie, wiadomość końcowa, która spełnia określone wymagania formatowania, takie jak (<MODALITY>: Aplikacja na pulpit). Aby zapewnić zgodność z określonym formatem, ramy nieustannie monitorują i ostatecznie pozwalają na zakończenie bieżącej rozmowy.

Samoocena

Twórcy ram ChatDev zaobserwowali sytuacje, w których obie strony osiągnęły porozumienie, ale określone protokoły komunikacyjne nie zostały wyzwolone. Aby rozwiązać te problemy, ramy ChatDev wprowadzają mechanizm samooceny, który ułatwia odzyskiwanie i ekstrakcję wspomnień. Aby wdrożyć mechanizm samooceny, ramy ChatDev inicjują nową i świeżą rozmowę, wylistowując „pseudo-ja” jako nowego pytającego. „Pseudo-ja” analizuje poprzednie dialogi i historyczne rekordy, a następnie informuje bieżącego asystenta, po czym prosi o podsumowanie konkluzji i informacji godnych podjęcia działań, jak pokazano na poniższym obrazie.

Dzięki mechanizmowi samooceny, asystent ChatDev jest zachęcany do refleksji i analizy podjętych decyzji.

Kodowanie

Istnieją trzy role przeddefiniowane w fazie kodowania: CTO, programista i projektant grafiki. Jak zwykle, łańcuch rozmów dzieli fazę kodowania na indywidualne podzadania atomowe, takie jak generowanie kodu (programista i CTO) lub projektowanie interfejsu użytkownika (programista i projektant). CTO instruuje programistę, aby użyć formatu markdown do wdrożenia systemu oprogramowania, a następnie projektant grafiki proponuje interfejs użytkownika przyjazny i interaktywny, wykorzystujący ikony graficzne do interakcji z użytkownikami, zamiast polegać na tradycyjnych poleceniach tekstowych.

Zarządzanie kodem

Ramy ChatDev wykorzystują języki programowania zorientowane obiektowo, takie jak Python, Java i C++, do obsługi złożonych systemów oprogramowania, gdyż modularność tych języków umożliwia wykorzystanie samodzielnych obiektów, które nie tylko ułatwiają rozwiązywanie problemów, ale również rozwój współpracy i usuwanie redundancji poprzez ponowne wykorzystanie obiektów za pomocą pojęcia dziedziczenia.

Wskazówki myślowe

Tradycyjne metody odpowiedzi na pytania często prowadzą do nieistotnych informacji lub nieścisłości, zwłaszcza podczas generowania kodu, gdyż dostarczanie naiwnych wskazówek może prowadzić do halucynacji LLM, co może stać się wyzwaniem. Aby rozwiązać ten problem, ramy ChatDev wprowadzają mechanizm „wskazówek myślowych”, który czerpie inspirację z podpowiedzi łańcucha myśli. Mechanizm „wskazówek myślowych” wyraźnie odnosi się do poszczególnych myśli rozwiązywania problemów zawartych w wskazówkach, podobnie jak rozwiązywanie zadań w sekwencyjny i zorganizowany sposób.

Testowanie

Pisanie kodu bezbłędnego w pierwszej próbie jest wyzwaniem nie tylko dla modeli LLM, ale również dla programistów ludzkich, a zamiast całkowicie odrzucić niepoprawny kod, programiści analizują swój kod, aby zidentyfikować błędy i je naprawić. Faza testowania w ramach ChatDev jest podzielona na trzy role: programista, testujący i recenzent. Proces testowania jest dalej podzielony na dwa sekwencyjne podzadania atomowe: Przegląd rówieśniczy lub debugowanie statyczne (recenzent i programista), oraz testowanie systemowe lub debugowanie dynamiczne (programista i testujący). Debugowanie statyczne lub przegląd rówieśniczy analizuje kod źródłowy, aby zidentyfikować błędy, podczas gdy debugowanie dynamiczne lub testowanie systemowe weryfikuje wykonanie oprogramowania za pomocą testów przeprowadzanych przez interpreter przez programistę. Debugowanie dynamiczne koncentruje się głównie na testowaniu czarnej skrzynki, aby ocenić aplikacje.

Dokumentacja

Po zakończeniu faz projektowania, kodowania i testowania, ramy ChatDev zatrudniają czterech agentów: CEO, CTO, CPO i programistę, aby wygenerować dokumentację dla projektu oprogramowania. Ramy ChatDev wykorzystują modele LLM, aby wykorzystać podpowiedzi z kilkoma przykładami w kontekście do generowania dokumentów. CTO instruuje programistę, aby dostarczyć instrukcje dotyczące konfiguracji zależności środowiskowych i utworzyć dokument, taki jak „wymagania zależności.txt”. Równocześnie, wymagania i projekt systemu są komunikowane CPO przez CEO, aby wygenerować podręcznik użytkownika dla produktu.

Wyniki

Statystyki oprogramowania

Aby przeanalizować wydajność ram ChatDev, zespół deweloperów przeprowadził analizę statystyczną aplikacji oprogramowania wygenerowanych przez ramy na podstawie kilku kluczowych wskaźników, w tym zużytych tokenów, łącznej liczby rozmów, zasobów graficznych, plików oprogramowania, aktualizacji wersji i kilku innych, a wyniki są przedstawione w poniższej tabeli.

Analiza czasu trwania

Aby zbadać czas produkcji ChatDev dla oprogramowania dla różnych sygnałów wejściowych, deweloperzy również przeprowadzili analizę czasu trwania, a różnica w czasie rozwoju dla różnych sygnałów odzwierciedla różną klarowność i złożoność zadań, a wyniki są przedstawione na poniższym obrazie.

Studium przypadku

Poniższy obraz przedstawia ChatDev rozwijający grę Pięć w rzędzie lub Gomoku.

Lewy obraz przedstawia podstawowe oprogramowanie utworzone przez ramy bez użycia interfejsu graficznego. Jak widać, aplikacja bez interfejsu graficznego oferuje ograniczoną interaktywność, a użytkownicy mogą grać w tę grę tylko za pomocą terminala. Następny obraz przedstawia bardziej atrakcyjną grę utworzoną z użyciem interfejsu graficznego, oferującą lepsze doświadczenie użytkownika i zwiększoną interaktywność dla środowiska gry, które może być bardziej przyjemne dla użytkowników. Agent projektanta tworzy dodatkowe grafiki, aby dalej poprawić użyteczność i estetykę środowiska gry, nie wpływając na jego funkcjonalność. Jednak jeśli użytkownicy nie są zadowoleni z obrazu wygenerowanego przez projektanta, mogą zastąpić obrazy po zakończeniu oprogramowania przez ChatDev. Elastyczność oferowana przez ramy ChatDev umożliwia użytkownikom dostosowanie aplikacji do ich preferencji, aby zwiększyć interaktywność i doświadczenie użytkownika, nie wpływając na funkcjonalność oprogramowania.

Końcowe myśli

W tym artykule, omówiliśmy ChatDev, innowacyjne podejście oparte na modelach językowych (LLM), które ma na celu rewolucjonizować dziedzinę rozwoju oprogramowania, eliminując potrzebę specjalistycznych modeli na każdym etapie procesu rozwoju. Ramy ChatDev mają na celu wykorzystać możliwości ram LLM, wykorzystując komunikację językową do ujednolicenia i usprawnienia kluczowych procesów rozwoju oprogramowania. Ramy ChatDev wykorzystują łańcuch rozmów, aby rozłamać proces rozwoju oprogramowania na sekwencyjne podzadania atomowe, co umożliwia skupienie się na granularnym poziomie i promowanie pożądanych wyników dla każdego podzadania.