I modelli LLM a contesto lungo attuali possono elaborare input fino a 100.000 token, ma faticano a generare output che superino una lunghezza modesta di 2.000 parole. Esperimenti controllati rivelano che la lunghezza di generazione effettiva del modello è inherentemente limitata dagli esempi visti durante la fine-tuning supervisionata (SFT). In altre parole, questa limitazione dell’output deriva dalla scarsità di esempi di output lunghi nei set di dati SFT esistenti.

Recenti progressi nei modelli LLM a contesto lungo hanno portato allo sviluppo di modelli con capacità di memoria significativamente espanse, in grado di elaborare storie che superano i 100.000 token di lunghezza. Tuttavia, nonostante la loro capacità di gestire input estensivi, i modelli LLM a contesto lungo attuali faticano a generare output altrettanto lunghi.

Per esplorare questa limitazione, LongWriter esamina la lunghezza massima di output dei modelli a contesto lungo di stato dell’arte con molteplici query che richiedono risposte di lunghezze diverse, come “Scrivi un articolo di 10.000 parole sulla storia dell’Impero Romano”. I risultati mostrano che tutti i modelli falliscono costantemente nel produrre output più lunghi di 2.000 parole. Nel frattempo, l’analisi dei log di interazione degli utenti rivela che oltre l’1% delle promt degli utenti richiede esplicitamente output che superino questo limite, evidenziando un’esigenza urgente nella ricerca attuale per superare questa limitazione.

Per affrontare questo problema, LongWriter introduce AgentWrite, un’pipeline di agenti basata su modelli LLM pronti all’uso per generare automaticamente dati SFT con output lunghi. AgentWrite opera in due fasi: prima, crea un piano di scrittura dettagliato che descrive la struttura e il conteggio delle parole per ogni paragrafo in base all’input dell’utente. Quindi, seguendo questo piano, richiama il modello per generare il contenuto di ogni paragrafo in modo sequenziale. LongWriter concatena gli output dei sottotask per ottenere il finale output lungo.

LongWriter sviluppa anche LongBench-Write, una piattaforma di valutazione completa per valutare le capacità di generazione ultra-lunga. Il modello da 9B parameter, ulteriormente migliorato con DPO, raggiunge prestazioni di stato dell’arte su questa piattaforma, superando anche modelli proprietari più grandi.

In questo articolo, discuteremo del framework LongWriter, esploreremo la sua architettura e confronteremo le sue prestazioni con quelle dei modelli LLM a contesto lungo di stato dell’arte. Iniziamo.

LongWriter: Framework di Generazione di 10.000+ Parole

Recenti progressi nei modelli LLM a contesto lungo hanno portato alla creazione di modelli con capacità di memoria significativamente espanse, in grado di elaborare storie che superano i 100.000 token. Nonostante la loro capacità di gestire input estensivi, i modelli LLM a contesto lungo attuali faticano a generare output di lunghezza comparabile. Per indagare su questa limitazione, LongWriter esamina la lunghezza massima di output dei modelli a contesto lungo di stato dell’arte attraverso varie query che richiedono risposte di lunghezze diverse.

LongWriter scopre che la limitazione sulla lunghezza di output è principalmente radicata nelle caratteristiche dei set di dati SFT. In particolare, LongWriter trova che la lunghezza massima di generazione di un modello è efficacemente limitata dal limite superiore delle lunghezze di output presenti nel suo set di dati SFT, nonostante l’esposizione a sequenze molto più lunghe durante la fase di pre-addestramento. Ciò spiega il limite di generazione di 2.000 parole ubiquo tra i modelli attuali, poiché i set di dati SFT esistenti raramente contengono esempi che superano questa lunghezza.

Per affrontare questa limitazione, LongWriter introduce AgentWrite, una pipeline di agenti basata su modelli LLM pronti all’uso per generare automaticamente dati SFT con output lunghi. AgentWrite opera in due fasi: prima, crea un piano di scrittura dettagliato che descrive la struttura e il conteggio delle parole per ogni paragrafo in base all’input dell’utente. Quindi, seguendo questo piano, richiama il modello per generare il contenuto di ogni paragrafo in modo sequenziale.

LongWriter sviluppa anche LongBench-Write, una piattaforma di valutazione completa per valutare le capacità di generazione ultra-lunga. Il modello da 9B parameter, ulteriormente migliorato con DPO, raggiunge prestazioni di stato dell’arte su questa piattaforma, superando anche modelli proprietari più grandi.

AgentWrite: Costruzione Automatica di Dati

Per utilizzare modelli LLM pronti all’uso per generare automaticamente dati SFT con output lunghi, LongWriter progetta AgentWrite, una pipeline di agenti basata su modelli LLM pronti all’uso. AgentWrite opera in due fasi: prima, crea un piano di scrittura dettagliato che descrive la struttura e il conteggio delle parole per ogni paragrafo in base all’input dell’utente. Quindi, seguendo questo piano, richiama il modello per generare il contenuto di ogni paragrafo in modo sequenziale.

Step I: Piano

LongWriter utilizza le capacità di pianificazione dei modelli LLM per output un piano di scrittura dato un prompt di scrittura. Il piano include il contenuto principale e il conteggio delle parole per ogni paragrafo.

Step II: Scrittura

Dopo aver ottenuto il piano di scrittura, LongWriter richiama il modello per generare il contenuto di ogni paragrafo in modo sequenziale.

Validazione

LongWriter testa la lunghezza di generazione e la qualità del metodo AgentWrite su due set di dati di scrittura a lungo termine.

Supervised Fine-Tuning

LongWriter esegue l’addestramento basato su due dei modelli open-source più recenti, ovvero GLM-4-9B e Llama-3.1-8B. Entrambi sono modelli base e supportano una finestra di contesto di fino a 128k token, rendendoli naturalmente adatti per l’addestramento su output lunghi.

LongWriter: Esperimenti e Risultati

LongWriter valuta 4 modelli proprietari e 5 modelli open-source su LongBench-Write, insieme ai modelli LongWriter addestrati. I risultati mostrano che i modelli LongWriter forniscono risposte più lunghe e più ricche rispetto ai modelli precedenti.

I modelli precedenti non riescono a soddisfare il requisito di lunghezza di oltre 2.000 parole, mentre i modelli LongWriter forniscono costantemente risposte più lunghe e più ricche a tali prompt.

I risultati mostrano che i modelli precedenti non riescono a raggiungere la lunghezza di output richiesta, mentre i modelli LongWriter raggiungono la lunghezza di output richiesta e forniscono risposte di alta qualità.

DPO migliora efficacemente sia la qualità dell’output del modello che la sua capacità di seguire i requisiti di lunghezza nella generazione lunga.

I risultati mostrano che DPO migliora la qualità dell’output del modello e la sua capacità di seguire i requisiti di lunghezza nella generazione lunga.

Il limite di lunghezza di output dei modelli LongWriter è esteso a tra 10k e 20k parole, mentre sono richiesti più dati con output lunghi per supportare output ancora più lunghi.

I risultati mostrano che i modelli LongWriter raggiungono la lunghezza di output di 10k-20k parole, ma sono necessari più dati con output lunghi per supportare output ancora più lunghi.

Pensieri Finali

In questo lavoro, abbiamo discusso di LongWriter, una pipeline di agenti che decomponga compiti di generazione ultra-lunga in sottocompiti, identifica un limite di generazione di 2.000 parole per i modelli LLM attuali e propone di aumentare la lunghezza di output dei modelli aggiungendo dati con output lunghi durante l’allineamento. Per costruire automaticamente dati con output lunghi, LongWriter sviluppa AgentWrite, una pipeline di agenti che utilizza modelli LLM pronti all’uso per creare output estesi e coerenti.