La industria del desarrollo de software es un ámbito que a menudo depende tanto de la consulta como de la intuición, y se caracteriza por estrategias intrincadas de toma de decisiones. Además, el desarrollo, mantenimiento y operación de software requieren un enfoque disciplinado y metódico. Es común que los desarrolladores de software basen sus decisiones en la intuición en lugar de en la consulta, dependiendo de la complejidad del problema. En un esfuerzo por mejorar la eficiencia de la ingeniería de software, incluida la efectividad del software y la reducción de los costos de desarrollo, los científicos están explorando el uso de marcos basados ​​en el aprendizaje profundo para abordar diversas tareas dentro del proceso de desarrollo de software. Con los recientes desarrollos y avances en los sectores del aprendizaje profundo y la inteligencia artificial, los desarrolladores están buscando formas de transformar los procesos y prácticas de desarrollo de software. Lo hacen mediante el uso de diseños sofisticados implementados en diferentes etapas del proceso de desarrollo de software.

Hoy vamos a hablar de ChatDev, un enfoque innovador basado en un modelo de lenguaje grande (LLM) que pretende revolucionar el campo del desarrollo de software. Este paradigma busca eliminar la necesidad de modelos especializados durante cada fase del proceso de desarrollo. El marco ChatDev aprovecha las capacidades de los marcos LLM, utilizando la comunicación en lenguaje natural para unificar y optimizar procesos clave de desarrollo de software.

En este artículo, exploraremos ChatDev, una empresa virtual especializada en desarrollo de software. ChatDev adopta el modelo en cascada y divide meticulosamente el proceso de desarrollo de software en cuatro etapas principales.

1. Diseño. 
2. Codificación. 
3. Pruebas. 
4. Documentación. 

Cada una de estas etapas implementa un equipo de agentes virtuales, como programadores de código o evaluadores, que colaboran entre sí mediante diálogos que dan como resultado un flujo de trabajo fluido. La cadena de chat funciona como un facilitador y divide cada etapa del proceso de desarrollo en subtareas atómicas, lo que permite roles duales, permitiendo propuestas y validación de soluciones utilizando comunicaciones conscientes del contexto que permiten a los desarrolladores resolver de manera efectiva las subtareas especificadas. 

El análisis instrumental de ChatDev demuestra que el marco ChatDev no sólo es extremadamente efectivo para completar el proceso de desarrollo de software, sino que también es extremadamente rentable y completa todo el proceso de desarrollo de software en poco menos de un dólar. Además, el marco no solo identifica, sino que también alivia posibles vulnerabilidades, rectifica posibles alucinaciones, todo ello manteniendo una alta eficiencia y rentabilidad. 

ChatDev: una introducción al desarrollo de software impulsado por LLM

Tradicionalmente, la industria del desarrollo de software se basa en los cimientos de un enfoque disciplinado y metódico no sólo para desarrollar las aplicaciones, sino también para mantenerlas y operarlas. Tradicionalmente hablando, un proceso de desarrollo de software típico es un proceso meticuloso, complejo y que requiere mucho tiempo y ciclos de desarrollo largos, ya que hay múltiples roles involucrados en el proceso de desarrollo, incluida la coordinación dentro de la organización, la asignación de tareas, la escritura de código, pruebas y, finalmente, documentación. 

En los últimos años, con la ayuda de LLM o modelos de lenguaje grande, la comunidad de IA ha logrado hitos importantes en los campos de la visión por computadora y el procesamiento del lenguaje natural, y luego de la capacitación en paradigmas de “predicción de la siguiente palabra”, los modelos de lenguaje grandes han demostrado su capacidad para brindar un rendimiento eficiente en una amplia gama de tareas posteriores. como traducción automática, respuesta a preguntas y generación de código. 

Aunque los modelos de lenguaje grandes pueden escribir código para todo el software, tienen un gran inconveniente: alucinaciones de código, que es bastante similar a las alucinaciones que enfrentan los marcos de procesamiento del lenguaje natural. Las alucinaciones de código pueden incluir problemas como errores no descubiertos, dependencias faltantes e implementaciones de funciones incompletas. Hay dos causas principales de las alucinaciones codificadas. 

• Falta de especificación de tareas: Al generar el código de software en un solo paso, no definir lo específico de la tarea confunde a los LLM, ya que tareas en el proceso de desarrollo de software, como analizar los requisitos del usuario o seleccionar el lenguaje de programación preferido, a menudo proporcionan un pensamiento guiado, algo que falta en el alto nivel. Tareas de nivel manejadas por estos LLM. 
• Falta de contrainterrogatorio : Surgen riesgos importantes cuando no se realiza un contrainterrogatorio, especialmente durante los procesos de toma de decisiones. 

ChatDev tiene como objetivo resolver estos problemas y facilitar a los LLM el poder de crear aplicaciones de software efectivas y de última generación mediante la creación de una empresa virtual para el desarrollo de software que establece el modelo en cascada y divide meticulosamente el proceso de desarrollo de software en cuatro principales. etapas,

1. Diseño. 
2. Codificación. 
3. Pruebas. 
4. Documentación. 

Cada una de estas etapas implementa un equipo de agentes virtuales, como programadores de código o evaluadores, que colaboran entre sí mediante diálogos que dan como resultado un flujo de trabajo fluido. Además, ChatDev hace uso de una cadena de chat que funciona como facilitador y divide cada etapa del proceso de desarrollo en subtareas atómicas, lo que permite roles duales, permitiendo propuestas y validación de soluciones utilizando comunicaciones conscientes del contexto que permiten a los desarrolladores resolver las subtareas especificadas. La cadena de chat consta de varios nodos donde cada nodo individual representa una subtarea específica, y estos dos roles participan en discusiones de múltiples turnos conscientes del contexto no solo para proponer, sino también para validar las soluciones. 

En este enfoque, el marco ChatDev primero analiza los requisitos de un cliente, genera ideas creativas, diseña e implementa sistemas prototipo, identifica y aborda problemas potenciales, crea gráficos atractivos, explica la información de depuración y genera los manuales de usuario. Finalmente, el marco ChatDev entrega el software al usuario junto con el código fuente, los manuales de usuario y las especificaciones del entorno de dependencia. 

ChatDev: Arquitectura y Trabajo

Ahora que tenemos una breve introducción a ChatDev, echemos un vistazo a la arquitectura y el funcionamiento del marco ChatDev comenzando con Chat Chain. 

Cadena de chat

Como mencionamos en la sección anterior, el marco ChatDev utiliza un método en cascada para el desarrollo de software que divide el proceso de desarrollo de software en cuatro fases que incluyen diseño, codificación, prueba y documentación. Cada una de estas fases tiene un papel único en el proceso de desarrollo, y existe la necesidad de una comunicación efectiva entre ellas, y se enfrentan desafíos potenciales al identificar personas con las que interactuar y determinar la secuencia de interacciones. 

Para abordar este problema, el marco ChatDev utiliza Chat Chain, una arquitectura generalizada que divide cada fase en un chat subatómico, y cada una de estas fases se centra en juegos de roles orientados a tareas que involucran roles duales. El resultado deseado para el chat constituye un componente vital para el software de destino y se logra como resultado de la colaboración y el intercambio de instrucciones entre los agentes que participan en el proceso de desarrollo. El paradigma de la cadena de chat para la resolución de tareas intermedias se ilustra en la siguiente imagen. 

Para cada charla individual, un instructor primero inicia las instrucciones y luego guía el diálogo hacia la finalización de la tarea y, mientras tanto, los asistentes siguen las instrucciones dadas por el instructor, brindan soluciones ideales y participan en discusiones sobre la viabilidad. de la solución. Luego, el instructor y el agente entablan diálogos de varios turnos hasta que llegan a un consenso y consideran que la tarea se ha realizado con éxito. La cadena proporciona a los usuarios una visión transparente del proceso de desarrollo, arroja luz sobre el camino para tomar decisiones y ofrece oportunidades para depurar los errores cuando surgen, lo que permite a los usuarios finales analizar y diagnosticar los errores, inspeccionar los resultados intermedios, e intervenir en el proceso si lo considera necesario. Al incorporar una cadena de chat, el marco ChatDev puede centrarse en cada subtarea específica en una escala granular que no sólo facilita la colaboración efectiva entre los agentes, sino que también da como resultado el logro rápido de los resultados requeridos. 

Diseño

En la fase de diseño, el marco ChatDev requiere una idea inicial como aportación del cliente humano, y hay tres roles predefinidos en esta etapa. 

1. CEO o Director General. 
2. CPO o director de producto. 
3. CTO o director técnico. 

Luego entra en juego la cadena de chat que divide la fase de diseño en tareas de chat subatómico secuenciales que incluyen el lenguaje de programación (CTO y CEO) y la modalidad del software de destino (CPO y CEO). La fase de diseño implica tres mecanismos clave: asignación de roles o especialización de roles, flujo de memoria y autorreflexión. 

Asignación de funciones

A cada agente en el marco de Chat Dev se le asigna un rol mediante mensajes especiales o indicaciones especiales durante el proceso de juego de roles. A diferencia de otros modelos de lenguaje conversacional, el marco ChatDev se limita únicamente a iniciar escenarios de juego de roles entre los agentes. Estas indicaciones se utilizan para asignar roles a los agentes antes de los diálogos. 

Inicialmente, el instructor asume las responsabilidades del CEO y participa en la planificación interactiva, mientras que las responsabilidades del CPO son manejadas por el agente que ejecuta las tareas y proporciona las respuestas requeridas. El marco utiliza “incitación inicial”para la especialización de roles que permita a los agentes cumplir sus roles de manera efectiva. Las indicaciones del asistente y del instructor constan de detalles vitales sobre las funciones y tareas designadas, criterios de finalización, protocolos de comunicación y varias restricciones que tienen como objetivo evitar comportamientos indeseables como bucles infinitos, respuestas no informativas y redundancia de instrucciones. 

Flujo de memoria

El flujo de memoria es un mecanismo utilizado por el marco ChatDev que mantiene un registro conversacional completo de los diálogos anteriores de un agente y ayuda en el proceso de toma de decisiones que sigue de manera consciente de las expresiones. El marco ChatDev utiliza indicaciones para establecer los protocolos de comunicación necesarios. Por ejemplo, cuando las partes involucradas llegan a un consenso, un mensaje final que satisfaga un requisito de formato específico como ( : Aplicación de escritorio"). Para garantizar el cumplimiento del formato designado, el marco monitorea continuamente y finalmente permite que el diálogo actual llegue a una conclusión. 

autorreflexión

Los desarrolladores del marco ChatDev han observado situaciones en las que ambas partes involucradas habían llegado a un consenso mutuo, pero los protocolos de comunicación predefinidos no se activaron. Para abordar estas cuestiones, el El marco ChatDev introduce un mecanismo de autorreflexión que ayuda en la recuperación y extracción de recuerdos. Para implementar el mecanismo de autorreflexión, el marco ChatDev inicia un chat nuevo y fresco al incluir al "pseudo yo" como nuevo interrogador. El "pseudo yo" analiza los diálogos y registros históricos anteriores, e informa al asistente actual, tras lo cual solicita un resumen de información concluyente y digna de acción, como se demuestra en la siguiente figura. 

Con la ayuda del mecanismo de autoayuda, se anima al asistente de ChatDev a reflexionar y analizar las decisiones que ha propuesto. 

Codificación

Hay tres roles predefinidos en la fase de codificación, a saber, el CTO, el programador y el diseñador de arte. Como de costumbre, el mecanismo de cadena de chat divide la fase de codificación en tareas subatómicas individuales, como generar códigos (programador y CTO) o diseñar una GUI. o interfaz gráfica de usuario (programador y diseñador). Luego, el CTO indica al programador que utilice el formato Markdown para implementar un sistema de software, tras lo cual el diseñador artístico propone una GUI interactiva y fácil de usar que utiliza íconos gráficos para interactuar con los usuarios en lugar de depender de comandos tradicionales basados ​​en texto. 

Gestión de código

El marco ChatDev utiliza lenguajes de programación orientados a objetos como Python, Java y C++ para manejar sistemas de software complejos porque la modularidad de estos lenguajes de programación permite el uso de objetos autónomos que no solo ayudan en la resolución de problemas, sino también en el desarrollo colaborativo. y también ayuda a eliminar redundancias al reutilizar los objetos a través del concepto de herencia. 

Instrucciones de pensamiento

Los métodos tradicionales de respuesta a preguntas a menudo conducen a información irrelevante o imprecisiones, especialmente cuando se genera código, ya que proporcionar instrucciones ingenuas puede provocar alucinaciones de LLM y puede convertirse en un tema desafiante. Para abordar este problema, el marco ChatDev introduce el mecanismo de “instrucciones de pensamiento” que se inspira en indicaciones de cadenas de pensamiento. El mecanismo de “instrucciones de pensamiento” aborda explícitamente pensamientos individuales de resolución de problemas incluidos en las instrucciones, similar a la resolución de tareas de manera secuencial y organizada. 

Pruebas

Escribir un código sin errores en el primer intento es un desafío no sólo para LLM, pero también para programadores humanos, y en lugar de descartar por completo el código incorrecto, los programadores analizan su código para identificar los errores y rectificarlos. La fase de prueba en el marco ChatDev se divide en tres roles: programador, probador y revisor. El proceso de prueba se divide a su vez en dos tareas subatómicas secuenciales: Revisión por pares o depuración estática (Revisor y Programador), y Pruebas del sistema o depuración dinámica (Programador y Tester). La depuración estática o revisión por pares analiza el código fuente para identificar errores, mientras que la depuración dinámica o prueba del sistema verifica la ejecución del software a través de varias pruebas que el programador realiza utilizando un intérprete. La depuración dinámica se centra principalmente en pruebas de caja negra para evaluar las aplicaciones. 

Documentación

Una vez que el marco ChatDev finaliza con las fases de diseño, codificación y prueba, emplea cuatro agentes, a saber, el CEO, el CTO, el CPO y el programador para generar la documentación para el proyecto de software. El marco ChatDev utiliza LLM para aprovechar indicaciones breves con ejemplos en contexto para generar los documentos. El CTO instruye al programador para que proporcione las instrucciones para la configuración de las dependencias ambientales y cree un documento como "requisitos de dependencia.txt". Simultáneamente, el CEO comunica los requisitos y el diseño del sistema al CPO, para generar el manual de usuario del producto. 

Resultados

Estadísticas de software

Para analizar el rendimiento del marco ChatDev, El equipo de desarrolladores realizó un análisis estadístico de las aplicaciones de software generadas por el marco sobre la base de algunas métricas clave que incluyen tokens consumidos, turnos totales de diálogo, activos de imágenes, archivos de software, actualizaciones de versiones y algunas más, y los resultados son demostrado en la siguiente tabla. 

Análisis de duración

Para examinar el tiempo de producción de software de ChatDev para diferentes solicitudes, los desarrolladores también realizaron un análisis de duración, y la diferencia en el tiempo de desarrollo para diferentes solicitudes refleja la claridad y complejidad variables de las tareas asignadas, y los resultados se demuestran en la siguiente figura. . 

Casos de éxito

La siguiente figura muestra a ChatDev desarrollando un juego de cinco en raya o Gomoku. 

La figura más a la izquierda demuestra el software básico creado por el marco sin utilizar ninguna GUI. Como se puede ver claramente, la aplicación sin GUI ofrece interactividad limitada y los usuarios pueden jugar a este juego sólo a través del terminal de comandos. La siguiente figura muestra un juego visualmente más atractivo creado con el uso de GUI, que ofrece una mejor experiencia de usuario y una interactividad mejorada para un entorno de juego atractivo que los usuarios pueden disfrutar mucho más. Luego, el agente diseñador crea gráficos adicionales para mejorar aún más la usabilidad y la estética del juego sin afectar ninguna funcionalidad. Sin embargo, si los usuarios humanos no están satisfechos con la imagen generada por el diseñador, pueden reemplazar las imágenes después de que el marco ChatDev haya completado el software. La flexibilidad que ofrece el marco ChatDev para reemplazar manualmente las imágenes permite a los usuarios personalizar las aplicaciones según sus preferencias para una interactividad y experiencia de usuario mejoradas sin afectar la funcionalidad del software de ninguna manera. 

Consideraciones Finales:

En este artículo hemos hablado de ChatDev, un LLM o modelo de lenguaje grande Paradigma innovador basado en que tiene como objetivo revolucionar el campo del desarrollo de software eliminando el requisito de modelos especializados durante cada fase del proceso de desarrollo. El marco ChatDev tiene como objetivo aprovechar las capacidades de los marcos LLM mediante el uso de comunicación en lenguaje natural para unificar y optimizar procesos clave de desarrollo de software. El marco ChatDev utiliza el mecanismo de cadena de chat para dividir el proceso de desarrollo de software en tareas subatómicas secuenciales, lo que permite un enfoque granular y promueve los resultados deseados para cada tarea subatómica.