AI 모델 및 플랫폼

LongWriter: 10,000+ 단어 생성을 위한 Long Context LLMs의 잠재력 해방

게시일 2024년 8월 21일

업데이트일 2026년 5월 21일

작성자

Kunal Kejriwal

Unite.AI를 Google의 선호 소스에 추가

LONGWRITER: UNLEASHING 10,000+ WORD GENERATION FROM LONG CONTEXT LLMS

현재의 긴 문맥을 갖는 대규모 언어 모델(LLM)은 100,000개의 토큰까지 처리할 수 있지만, 2,000 단어 이상의 출력을 생성하는 데 어려움을 겪고 있습니다. 통제된 실험에 따르면, 모델의 효과적인 생성 길이는 감독된 미세 조정(SFT)期間 동안 본 예제에 의해 내在地 제한됩니다. 즉, 출력 제한은 기존 SFT 데이터셋에서 긴 출력 예제의 부족에서 비롯됩니다.

최근의 긴 문맥을 갖는 LLM의 발전은 기억 능력이 크게 확대된 모델의 개발로 이어졌습니다. 이러한 모델은 100,000개의 토큰을 초과하는 길이의 기록을 처리할 수 있습니다. 그러나 이러한 모델은 긴 입력을 처리할 수 있는 능력에도 불구하고, 동일하게 긴 출력을 생성하는 데 어려움을 겪고 있습니다.

이 제한을 조사하기 위해 LongWriter는 여러 질의를 통해 상태 오프-the-쉘프(long-context) 모델의 최대 출력 길이를 조사했습니다. 결과는 모든 모델이 일관되게 2,000 단어 이상의 출력을 생성하지 못한다는 것을 보여줍니다. 또한, 사용자 상호 작용 로그의 분석은 1% 이상의 사용자 프롬프트가 이 제한을 초과하는 출력을 요청한다는 것을 보여줍니다.

이를 해결하기 위해 LongWriter는 AgentWrite를 소개합니다. AgentWrite는 분할-정복 방식의 에이전트 파이프라인으로, off-the-쉘프 LLM을 사용하여 자동으로 확장된 일관된 출력을 생성합니다. AgentWrite는 두 단계로 작동합니다. 첫째, 사용자의 입력에 따라 세부적인 작성 계획을 수립합니다. 둘째, 이 계획에 따라 모델을 순차적으로 호출하여 각 문단의 내용을 생성합니다.

LongWriter는 AgentWrite를 사용하여 6,000개의 긴 출력 SFT 데이터를 생성하고, 이를 기존 모델의 훈련에 추가합니다. 결과는 모델의 출력 길이를 10,000 단어 이상으로 확장하는 데 성공적입니다. 또한, LongWriter는 LongBench-Write 벤치마크를 개발하여 모델의 출력 품질과 길이를 평가합니다.

LongWriter는 또한 LongBench-Write에서 9B 파라미터 모델의 성능을 평가하고, 이를 통해 DPO(직접 선호도 최적화)를 수행하여 모델의 출력 품질과 길이를 향상시킵니다.

LongWriter: 10,000+ 단어 생성 프레임워크

LongWriter의 연구는 모델의 출력 길이에 대한 제한이 주로 감독된 미세 조정(SFT) 데이터셋의 특성에 기인한다는 것을 보여줍니다. 즉, 모델의 최대 생성 길이는 효과적으로 SFT 데이터셋에 있는 출력 길이의 상한에 의해 제한됩니다.

LongWriter는 AgentWrite를 사용하여 6,000개의 긴 출력 SFT 데이터를 생성하고, 이를 기존 모델의 훈련에 추가합니다. 결과는 모델의 출력 길이를 10,000 단어 이상으로 확장하는 데 성공적입니다.

생성 길이 제한 분석: LongWriter는 현재 긴 문맥을 갖는 LLM의 출력 길이에 대한 제한을 식별합니다.
AgentWrite: LongWriter는 AgentWrite를 제안하여, off-the-쉘프 LLM을 사용하여 자동으로 확장된 일관된 출력을 생성합니다.
현재 LLM의 출력 창 크기 확장: LongWriter는 LongWriter-6k 데이터셋을 사용하여 기존 모델의 출력 창 크기를 10,000 단어 이상으로 확장합니다.

AgentWrite: 자동 데이터 생성

LongWriter는 AgentWrite를 설계하여, off-the-쉘프 LLM을 사용하여 자동으로 확장된 일관된 출력을 생성합니다. AgentWrite는 두 단계로 작동합니다. 첫째, 사용자의 입력에 따라 세부적인 작성 계획을 수립합니다. 둘째, 이 계획에 따라 모델을 순차적으로 호출하여 각 문단의 내용을 생성합니다.

단계 I: 계획

LongWriter는 사용자의 입력에 따라 세부적인 작성 계획을 수립합니다. 이 계획은 각 문단의 주요 내용과 단어 수 요구 사항을 포함합니다.

단계 II: 작성

LongWriter는 작성 계획에 따라 모델을 순차적으로 호출하여 각 문단의 내용을 생성합니다.

검증

LongWriter는 AgentWrite 방법의 생성 길이와 품질을 평가합니다.

LongWriter: 실험 및 결과

LongWriter는 LongBench-Write에서 9B 파라미터 모델의 성능을 평가하고, 이를 통해 DPO를 수행하여 모델의 출력 품질과 길이를 향상시킵니다.

대부분의 이전 모델은 2,000 단어 이상의 출력을 생성하는 데 실패합니다.

LongWriter는 이전 모델의 출력 길이와 품질을 평가하고, LongWriter 모델의 성능을 비교합니다.

DPO는 모델의 출력 품질과 길이를 향상시킵니다.

LongWriter는 DPO를 수행하여 모델의 출력 품질과 길이를 향상시킵니다.

LongWriter 모델의 출력 길이 제한은 10,000 단어에서 20,000 단어 사이입니다.

LongWriter는 LongWriter 모델의 출력 길이 제한을 평가하고, 이를 통해 더 긴 출력을 생성하는 데 필요한 데이터를 식별합니다.

최종 생각

LongWriter는 AgentWrite를 사용하여 자동으로 확장된 일관된 출력을 생성하고, 이를 통해 모델의 출력 길이와 품질을 향상시킵니다. 또한, LongWriter는 LongBench-Write에서 9B 파라미터 모델의 성능을 평가하고, 이를 통해 DPO를 수행하여 모델의 출력 품질과 길이를 향상시킵니다.

AgentWrite framework를 사용하여 더 긴 출력을 생성하는 데 필요한 데이터를 생성하고, 이를 통해 모델의 출력 길이와 품질을 향상시키는 데 사용할 수 있습니다. 또한, LongWriter는 더 긴 출력을 생성하는 데 필요한 데이터를 식별하고, 이를 통해 모델의 출력 길이와 품질을 향상시킵니다.

AgentWrite framework를 사용하여 더 긴 출력을 생성하는 데 필요한 데이터를 생성하고, 이를 통해 모델의 출력 길이와 品질을 향상시키는 데 사용할 수 있습니다. 또한, LongWriter는 더 긴 출력을 생성하는 데 필요한 데이터를 식별하고, 이를 통해 모델의 출력 길이와 品질을 향상시킵니다.