Industri pengembangan perangkat lunak adalah domain yang sering bergantung pada konsultasi dan intuisi, yang ditandai dengan strategi pengambilan keputusan yang rumit. Selain itu, pengembangan, pemeliharaan, dan operasi perangkat lunak memerlukan pendekatan yang disiplin dan metodis. Biasanya, pengembang perangkat lunak membuat keputusan berdasarkan intuisi daripada konsultasi, tergantung pada kompleksitas masalahnya. Dalam upaya untuk meningkatkan efisiensi rekayasa perangkat lunak, termasuk efektivitas perangkat lunak dan biaya pengembangan yang dikurangi, para ilmuwan menjelajahi penggunaan kerangka kerja berbasis deep learning untuk menangani berbagai tugas dalam proses pengembangan perangkat lunak. Dengan perkembangan dan kemajuan terbaru dalam sektor deep learning dan AI, pengembang mencari cara untuk mengubah proses dan praktik pengembangan perangkat lunak dengan menggunakan desain yang canggih yang diimplementasikan pada berbagai tahap proses pengembangan perangkat lunak.

Hari ini, kita akan membahas ChatDev, sebuah pendekatan inovatif berbasis Large Language Model (LLM) yang bertujuan untuk merevolusi bidang pengembangan perangkat lunak. Paradigma ini bertujuan untuk menghilangkan kebutuhan akan model khusus selama setiap fase proses pengembangan. Kerangka kerja ChatDev memanfaatkan kemampuan kerangka kerja LLM, menggunakan komunikasi bahasa alami untuk mempersatukan dan menyederhanakan proses pengembangan perangkat lunak kunci.

Dalam artikel ini, kita akan menjelajahi ChatDev, sebuah perusahaan virtual yang berspesialisasi dalam pengembangan perangkat lunak. ChatDev mengadopsi model air terjun dan membagi proses pengembangan perangkat lunak menjadi empat tahap utama.

1. Perancangan.
2. Pengkodean.
3. Pengujian.
4. Dokumentasi.

Setiap tahap ini menerapkan tim agen virtual seperti programmer kode atau pengujian yang bekerja sama satu sama lain menggunakan dialog yang menghasilkan alur kerja yang lancar. Rantai obrolan bekerja sebagai fasilitator, dan memecah setiap tahap proses pengembangan menjadi tugas subatomik, sehingga memungkinkan peran ganda, memungkinkan proposal dan validasi solusi menggunakan komunikasi yang sadar konteks yang memungkinkan pengembang untuk efektif menyelesaikan tugas subatomik yang ditentukan.

Analisis instrumental ChatDev menunjukkan bahwa kerangka kerja ChatDev tidak hanya sangat efektif dalam menyelesaikan proses pengembangan perangkat lunak, tetapi juga sangat efisien biaya karena menyelesaikan seluruh proses pengembangan perangkat lunak hanya dengan biaya kurang dari satu dolar. Selain itu, kerangka kerja ini tidak hanya mengidentifikasi, tetapi juga menghilangkan kerentanan potensial, memperbaiki halusinasi potensial, sambil mempertahankan efisiensi tinggi dan efisiensi biaya.

ChatDev : Pengenalan Pengembangan Perangkat Lunak Berbasis LLM

Secara tradisional, industri pengembangan perangkat lunak adalah salah satu yang dibangun di atas fondasi pendekatan yang disiplin dan metodis tidak hanya untuk mengembangkan aplikasi, tetapi juga untuk memelihara dan mengoperasikan perangkat lunak. Secara tradisional, proses pengembangan perangkat lunak yang khas adalah proses yang sangat rumit, kompleks, dan memakan waktu dengan siklus pengembangan yang panjang, karena ada banyak peran yang terlibat dalam proses pengembangan, termasuk koordinasi dalam organisasi, alokasi tugas, penulisan kode, pengujian, dan akhirnya, dokumentasi.

Dalam beberapa tahun terakhir, dengan bantuan LLM atau Large Language Models, komunitas AI telah mencapai tonggak penting dalam bidang penglihatan komputer dan pemrosesan bahasa alami, dan setelah pelatihan pada paradigma “prediksi kata berikutnya”, Large Language Models telah menunjukkan kemampuan mereka untuk mengembalikan kinerja yang efisien pada berbagai tugas downstream seperti terjemahan mesin, pertanyaan dan jawaban, dan generasi kode.

Meskipun Large Language Models dapat menulis kode untuk seluruh perangkat lunak, mereka memiliki kelemahan besar, yaitu halusinasi kode, yang mirip dengan halusinasi yang dihadapi oleh kerangka kerja pemrosesan bahasa alami. Halusinasi kode dapat mencakup masalah seperti bug yang tidak terdeteksi, ketergantungan yang hilang, dan implementasi fungsi yang tidak lengkap. Ada dua penyebab utama halusinasi kode.

• Kurangnya Spesifikasi Tugas: Ketika menghasilkan kode perangkat lunak dalam satu langkah, tidak menentukan spesifikasi tugas membingungkan LLM karena tugas dalam proses pengembangan perangkat lunak seperti menganalisis kebutuhan pengguna atau memilih bahasa pemrograman yang diinginkan sering menyediakan pemikiran yang terarah, sesuatu yang hilang dari tugas tingkat tinggi yang ditangani oleh LLM ini.
• Kurangnya Pemeriksaan Silang : Risiko yang signifikan muncul ketika pemeriksaan silang tidak dilakukan, terutama selama proses pengambilan keputusan.

ChatDev bertujuan untuk memecahkan masalah ini dan memfasilitasi LLM dengan kekuatan untuk menciptakan aplikasi perangkat lunak yang efektif dan canggih dengan membuat perusahaan virtual untuk pengembangan perangkat lunak yang membangun model air terjun dan membagi proses pengembangan perangkat lunak menjadi empat tahap utama,

1. Perancangan.
2. Pengkodean.
3. Pengujian.
4. Dokumentasi.

Setiap tahap ini menerapkan tim agen virtual seperti programmer kode atau pengujian yang bekerja sama satu sama lain menggunakan dialog yang menghasilkan alur kerja yang lancar. Selain itu, ChatDev menggunakan rantai obrolan yang bekerja sebagai fasilitator, dan memecah setiap tahap proses pengembangan menjadi tugas subatomik, sehingga memungkinkan peran ganda, memungkinkan proposal dan validasi solusi menggunakan komunikasi yang sadar konteks yang memungkinkan pengembang untuk efektif menyelesaikan tugas subatomik yang ditentukan.

Dalam pendekatan ini, kerangka kerja ChatDev pertama-tama menganalisis kebutuhan klien, menghasilkan ide kreatif, merancang dan mengimplementasikan sistem prototipe, mengidentifikasi dan mengatasi masalah potensial, membuat grafik yang menarik, menjelaskan informasi debug, dan menghasilkan manual pengguna. Akhirnya, kerangka kerja ChatDev mengirimkan perangkat lunak kepada pengguna bersama dengan kode sumber, manual pengguna, dan spesifikasi lingkungan ketergantungan.

ChatDev : Arsitektur dan Cara Kerja

Sekarang kita telah memiliki pengenalan singkat tentang ChatDev, mari kita lihat arsitektur dan cara kerja kerangka kerja ChatDev, dimulai dengan Rantai Obrolan.

Rantai Obrolan

Seperti yang telah kita sebutkan di bagian sebelumnya, kerangka kerja ChatDev menggunakan metode air terjun untuk pengembangan perangkat lunak yang membagi proses pengembangan perangkat lunak menjadi empat fase, termasuk perancangan, pengkodean, pengujian, dan dokumentasi. Setiap fase ini memiliki peran unik dalam proses pengembangan, dan ada kebutuhan untuk komunikasi yang efektif antara mereka, dan ada tantangan potensial yang dihadapi ketika mengidentifikasi individu untuk berinteraksi, dan menentukan urutan interaksi.

Untuk mengatasi masalah ini, kerangka kerja ChatDev menggunakan Rantai Obrolan, sebuah arsitektur yang umum yang memecah setiap fase menjadi obrolan subatomik, dengan setiap fase ini fokus pada peran yang berorientasi tugas yang melibatkan peran ganda. Keluaran yang diinginkan untuk obrolan ini membentuk komponen yang sangat penting untuk perangkat lunak target, dan ini dicapai sebagai hasil dari kolaborasi dan pertukaran instruksi antara agen yang berpartisipasi dalam proses pengembangan. Paradigma rantai obrolan untuk pemecahan tugas intermediate diilustrasikan dalam gambar di bawah.

Untuk setiap obrolan individu, seorang instruktur pertama-tama memulai instruksi, dan kemudian memandu dialog menuju penyelesaian tugas, dan sementara itu, asisten mengikuti instruksi yang diberikan, memberikan solusi ideal, dan berpartisipasi dalam diskusi tentang kelayakan solusi. Instruktur dan agen kemudian berpartisipasi dalam dialog multi-giliran sampai mereka mencapai kesepakatan, dan mereka menyatakan tugas telah selesai dengan sukses. Rantai obrolan memberikan pengguna dengan pandangan yang transparan tentang proses pengembangan, memperlihatkan cahaya pada jalur untuk membuat keputusan, dan menawarkan kesempatan untuk debugging kesalahan ketika mereka muncul, yang memungkinkan pengguna akhir untuk menganalisis dan mendiagnosa kesalahan, memeriksa keluaran intermediate, dan campur tangan dalam proses jika perlu. Dengan mengintegrasikan rantai obrolan, kerangka kerja ChatDev dapat fokus pada setiap tugas subatomik dengan skala granular yang tidak hanya memfasilitasi kolaborasi yang efektif antara agen, tetapi juga menghasilkan pencapaian keluaran yang diinginkan dengan cepat.

Perancangan

Dalam fase perancangan, kerangka kerja ChatDev memerlukan ide awal sebagai input dari klien manusia, dan ada tiga peran yang telah ditentukan sebelumnya dalam tahap ini.

1. CEO atau Chief Executive Officer.
2. CPO atau Chief Product Officer.
3. CTO atau Chief Technical Officer.

Rantai obrolan kemudian berperan membagi fase perancangan menjadi tugas obrolan subatomik yang berurutan, termasuk bahasa pemrograman (CTO dan CEO), dan modalitas perangkat lunak target (CPO dan CEO). Fase perancangan melibatkan tiga mekanisme kunci: Penugasan Peran atau Spesialisasi Peran, Aliran Memori, dan Refleksi Diri.

Penugasan Peran

Setiap agen dalam kerangka kerja ChatDev diberi peran menggunakan pesan khusus atau prompt khusus selama proses peran. Tidak seperti model bahasa konversasional lainnya, kerangka kerja ChatDev membatasi diri hanya untuk memulai skenario peran antara agen. Prompt ini digunakan untuk menugaskan peran kepada agen sebelum dialog.

Awalnya, instruktur mengambil tanggung jawab sebagai CEO, dan berpartisipasi dalam perencanaan interaktif, sedangkan tanggung jawab CPO ditangani oleh agen yang menjalankan tugas dan memberikan respons yang diperlukan. Kerangka kerja ini menggunakan “prompt inisiasi” untuk spesialisasi peran yang memungkinkan agen untuk memenuhi peran mereka secara efektif. Prompt instruktur dan asisten terdiri dari detail penting tentang peran dan tugas yang ditentukan, kriteria penghentian, protokol komunikasi, dan beberapa konstrain yang bertujuan untuk mencegah perilaku yang tidak diinginkan seperti loop tak terhingga, respons yang tidak informatif, dan redundansi instruksi.

Aliran Memori

Aliran memori adalah mekanisme yang digunakan oleh kerangka kerja ChatDev yang mempertahankan catatan konversasi yang komprehensif dari dialog sebelumnya agen, dan membantu dalam proses pengambilan keputusan yang mengikuti dalam cara yang sadar ucapan. Kerangka kerja ChatDev menggunakan prompt untuk menetapkan protokol komunikasi yang diperlukan. Misalnya, ketika pihak yang terlibat mencapai kesepakatan, pesan akhir yang memenuhi persyaratan format tertentu seperti (<MODALITAS>: Aplikasi Desktop”). Untuk memastikan kepatuhan dengan format yang ditentukan, kerangka kerja ini terus memantau dan akhirnya memungkinkan dialog saat ini untuk mencapai kesimpulan.

Refleksi Diri

Pengembang kerangka kerja ChatDev telah mengamati situasi di mana kedua belah pihak telah mencapai kesepakatan bersama, tetapi protokol komunikasi yang telah ditentukan sebelumnya tidak dipicu. Untuk mengatasi masalah ini, kerangka kerja ChatDev memperkenalkan mekanisme refleksi diri yang membantu dalam pengambilan dan ekstraksi memori. Untuk mengimplementasikan mekanisme refleksi diri, kerangka kerja ChatDev memulai obrolan baru dengan mendaftarkan “pseudo self” sebagai pertanyaan baru. “Pseudo self” menganalisis dialog dan catatan sebelumnya, dan memberitahu asisten saat ini, kemudian meminta ringkasan informasi yang konklusif dan layak untuk tindakan yang ditunjukkan dalam gambar di bawah.

Dengan bantuan mekanisme refleksi diri, asisten ChatDev didorong untuk merefleksikan dan menganalisis keputusan yang telah dia usulkan.

Pengkodean

Ada tiga peran yang telah ditentukan sebelumnya dalam fase pengkodean, yaitu CTO, programmer, dan desainer seni. Seperti biasa, rantai obrolan membagi fase pengkodean menjadi tugas subatomik individual seperti menghasilkan kode (programmer dan CTO), atau merancang antarmuka pengguna grafis (programmer dan desainer). CTO kemudian memerintahkan programmer untuk menggunakan format markdown untuk mengimplementasikan sistem perangkat lunak, kemudian desainer seni mengusulkan antarmuka pengguna yang ramah dan interaktif yang menggunakan ikon grafis untuk berinteraksi dengan pengguna daripada mengandalkan perintah berbasis teks tradisional.

Manajemen Kode

Kerangka kerja ChatDev menggunakan bahasa pemrograman berorientasi objek seperti Python, Java, dan C++ untuk menangani sistem perangkat lunak yang kompleks karena modularitas bahasa pemrograman ini memungkinkan penggunaan objek yang mandiri yang tidak hanya membantu dalam pemecahan masalah, tetapi juga dalam pengembangan kolaboratif, dan membantu dalam menghilangkan redundansi dengan menggunakannya kembali objek melalui konsep warisan.

Petunjuk Berpikir

Metode tradisional untuk menjawab pertanyaan sering menghasilkan informasi yang tidak relevan atau ketidakakuratan, terutama ketika menghasilkan kode karena memberikan instruksi yang naif dapat menyebabkan halusinasi LLM, dan ini dapat menjadi masalah yang menantang. Untuk mengatasi masalah ini, kerangka kerja ChatDev memperkenalkan mekanisme “petunjuk berpikir” yang mengambil inspirasi dari prompt berpikir. Mekanisme “petunjuk berpikir” secara eksplisit mengatasi pemikiran pemecahan masalah individual yang termasuk dalam instruksi, serupa dengan menyelesaikan tugas dalam cara yang berurutan dan terorganisir.

Pengujian

Menulis kode yang bebas dari kesalahan dalam upaya pertama adalah tantangan tidak hanya bagi LLM, tetapi juga bagi programmer manusia, dan bukan dengan membuang kode yang salah, programmer menganalisis kode mereka untuk mengidentifikasi kesalahan dan memperbaikinya. Fase pengujian dalam kerangka kerja ChatDev dibagi menjadi tiga peran: programmer, pengujian, dan peninjau. Proses pengujian lebih lanjut dibagi menjadi dua tugas subatomik berurutan: Pengujian Sejawat atau Debugging Statis (Peninjau dan Programmer), dan Pengujian Sistem atau Debugging Dinamis (Programmer dan Pengujian). Pengujian statis atau pengujian sejawat menganalisis kode sumber untuk mengidentifikasi kesalahan, sedangkan pengujian dinamis atau pengujian sistem memverifikasi eksekusi perangkat lunak melalui berbagai tes yang dilakukan menggunakan interpreter oleh programmer. Pengujian dinamis fokus terutama pada pengujian kotak hitam untuk mengevaluasi aplikasi.

Dokumentasi

Setelah kerangka kerja ChatDev selesai dengan fase perancangan, pengkodean, dan pengujian, maka kerangka kerja ini menggunakan empat agen, yaitu CEO, CTO, CPO, dan Programmer, untuk menghasilkan dokumentasi untuk proyek perangkat lunak. Kerangka kerja ChatDev menggunakan LLM untuk memanfaatkan prompt dengan contoh dalam konteks untuk menghasilkan dokumen. CTO memerintahkan programmer untuk memberikan instruksi untuk konfigurasi ketergantungan lingkungan, dan membuat dokumen seperti “persyaratan ketergantungan.txt”. Secara bersamaan, kebutuhan dan desain sistem dikomunikasikan kepada CPO oleh CEO untuk menghasilkan manual pengguna untuk produk.

Hasil

Statistik Perangkat Lunak

Untuk menganalisis kinerja kerangka kerja ChatDev, tim pengembang menjalankan analisis statistik pada aplikasi perangkat lunak yang dihasilkan oleh kerangka kerja ini berdasarkan beberapa metrik kunci, termasuk token yang dikonsumsi, jumlah giliran dialog, aset gambar, file perangkat lunak, pembaruan versi, dan beberapa lainnya, dan hasilnya ditunjukkan dalam tabel di bawah.

Analisis Durasi

Untuk memeriksa waktu produksi ChatDev untuk perangkat lunak dengan prompt permintaan yang berbeda, pengembang juga melakukan analisis durasi, dan perbedaan dalam waktu pengembangan untuk prompt yang berbeda mencerminkan perbedaan dalam kejelasan dan kompleksitas tugas yang ditugaskan, dan hasilnya ditunjukkan dalam gambar di bawah.

Studi Kasus

Gambar berikut menunjukkan ChatDev mengembangkan permainan Five in a Row atau Gomoku.

Gambar kiri menunjukkan perangkat lunak dasar yang dibuat oleh kerangka kerja ini tanpa menggunakan antarmuka pengguna grafis. Seperti yang dapat dilihat, aplikasi tanpa antarmuka pengguna grafis menawarkan interaktivitas yang terbatas, dan pengguna hanya dapat memainkan permainan ini melalui terminal perintah. Gambar berikutnya menunjukkan permainan yang lebih menarik yang dibuat dengan menggunakan antarmuka pengguna grafis, menawarkan pengalaman pengguna yang lebih baik dan interaktivitas yang ditingkatkan untuk lingkungan permainan yang menarik yang dapat dinikmati oleh pengguna. Desainer kemudian membuat grafik tambahan untuk lebih meningkatkan kemudahan penggunaan dan estetika permainan tanpa mempengaruhi fungsionalitas. Namun, jika pengguna manusia tidak puas dengan gambar yang dihasilkan oleh desainer, mereka dapat menggantikan gambar setelah kerangka kerja ChatDev selesai mengembangkan perangkat lunak. Fleksibilitas yang ditawarkan oleh kerangka kerja ChatDev untuk menggantikan gambar secara manual memungkinkan pengguna untuk menyesuaikan aplikasi sesuai dengan preferensi mereka untuk interaktivitas dan pengalaman pengguna yang ditingkatkan tanpa mempengaruhi fungsionalitas perangkat lunak dengan cara apa pun.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang ChatDev, sebuah paradigma inovatif berbasis LLM yang bertujuan untuk merevolusi bidang pengembangan perangkat lunak dengan menghilangkan kebutuhan akan model khusus selama setiap fase proses pengembangan. Kerangka kerja ChatDev bertujuan untuk memanfaatkan kemampuan kerangka kerja LLM dengan menggunakan komunikasi bahasa alami untuk mempersatukan dan menyederhanakan proses pengembangan perangkat lunak kunci. Kerangka kerja ChatDev menggunakan mekanisme rantai obrolan untuk memecah proses pengembangan perangkat lunak menjadi tugas subatomik berurutan, sehingga memungkinkan fokus granular dan mempromosikan keluaran yang diinginkan untuk setiap tugas subatomik.