대규모 언어 모델 평가: 기술 가이드

대규모 언어 모델(LLM)은 최근 인기를 끌고 있습니다. GPT-4, Claude, LLaMA와 같은 모델은 인상적인 인간과 같은 텍스트를 생성할 수 있습니다. 이러한 AI 시스템은 콘텐츠 생성에서 고객 서비스 챗봇까지 모든 분야에서 사용되고 있습니다.

하지만 이러한 모델이 실제로 좋은 성능을 발휘하는지 어떻게 알 수 있을까요? 새로운 LLM이不断으로 발표되고 있으며, 모두가 더 크고 더 좋은 성능을 보장합니다. 어떻게 하면 이러한 모델의 성능을 평가하고 비교할 수 있을까요?

이 가이드에서는 대규모 언어 모델을 평가하는 최선의 기술을 살펴보겠습니다. 각 접근 방식의 장단점을 살펴보고, 언제 이러한 방법을 적용할 수 있는지, 그리고 어떻게 자신의 LLM 테스트에 활용할 수 있는지 살펴보겠습니다.

작업별 메트릭

대규모 언어 모델을 평가하는 가장 직접적인 방법은 표준화된 메트릭을 사용하여 확립된 NLP 작업을 테스트하는 것입니다. 예를 들어:

요약

요약 작업의 경우, ROUGE(Recall-Oriented Understudy for Gisting Evaluation)와 같은 메트릭이 일반적으로 사용됩니다. ROUGE는 모델이 생성한 요약과 인간이 작성한 “참조” 요약을 비교하여 단어 또는 구의 중복을 계산합니다.

ROUGE에는 여러 가지 변형이 있습니다. 각 변형에는 장단점이 있습니다:

* ROUGE-N: n-그램(단어 시퀀스)의 중복을 비교합니다. ROUGE-1은 단일 단어(unigrams), ROUGE-2는 두 개의 단어(bigrams) 등을 사용합니다. 장점은 단어 순서를 캡처하지만 너무 엄격할 수 있습니다.
* ROUGE-L: 최장 공통 서브시퀀스(LCS)에 기반합니다. 단어 순서에 더 유연하지만 주요 내용에 초점을 맞춥니다.
* ROUGE-W: LCS 일치에 가중치를 부여합니다. ROUGE-L을 개선하려고 시도합니다.

일반적으로 ROUGE 메트릭은 빠르고 자동화되며 시스템 요약을 순위 매기기에 잘 작동합니다. 그러나 일관성이나 의미를 측정하지 않습니다. 요약이 높은 ROUGE 점수를 얻을 수 있지만 여전히 무의미할 수 있습니다.

ROUGE-N의 공식은 다음과 같습니다:

ROUGE-N = ∑∈{Reference Summaries}∑∑∈{Reference Summaries}∑Count(gram_n) / ∑Count(gram_n)

예를 들어, ROUGE-1(단일 단어)의 경우:

* 생성된 요약: “고양이가 앉았다.”
* 참조 요약: “고양이가 매트 위에 앉았다.”
* 중복 단어: “고양이”, “앉았다”
* ROUGE-1 점수 = 3/5 = 0.6

ROUGE-L은 최장 공통 서브시퀀스를 사용합니다. 단어 순서에 더 유연합니다. 공식은 다음과 같습니다:

ROUGE-L = LCS(generated, reference) / max(length(generated), length(reference))

…

번역

기계 번역 작업의 경우, BLEU(Bilingual Evaluation Understudy)와 같은 메트릭이 일반적으로 사용됩니다. BLEU는 모델의 출력 번역과 전문가가 작성한 번역 사이의 유사성을 측정하여 n-그램 정밀도와 간결성 페널티를 사용합니다.

BLEU의 주요 측면은 다음과 같습니다:

* n-그램 중복을 비교합니다(n = 1 ~ 4).
* n-그램 정밀도의 기하학적 평균을 계산합니다.
* 번역이 참조보다 훨씬 짧은 경우 간결성 페널티를 적용합니다.
* 일반적으로 0에서 1 사이의 값을 가지며, 1은 참조와 완전히 일치합니다.

BLEU는 번역 품질에 대한 인간의 판단과 합리적으로 상관관계가 있습니다. 그러나 다음과 같은 제한이 있습니다:

* 참조와의 정밀도만 측정하며, 재현율이나 F1 점수를 측정하지 않습니다.
* 다른 단어를 사용하는 창의적인 번역에 어려움을 겪습니다.
* 번역 트릭을 사용하여 “게임”할 수 있습니다.

다른 번역 메트릭인 METEOR와 TER은 BLEU의 약점을 개선하려고 시도합니다. 그러나 일반적으로 자동 메트릭은 번역 품질을 완전히 캡처하지 못합니다.

기타 작업

요약과 번역 외에도, F1, 정확도, MSE 등과 같은 메트릭을 사용하여 다음과 같은 작업에서 LLM의 성능을 평가할 수 있습니다:

* 텍스트 분류
* 정보 추출
* 질문 응답
* 감성 분석
* 문법 오류 감지

작업별 메트릭의 장점은 자동화된 평가를 표준화된 데이터셋을 사용하여 수행할 수 있다는 것입니다. 결과는 쉽게 추적할 수 있으며 모델이 개선됨에 따라 시간이 지남에 따라 쉽게 비교할 수 있습니다.

그러나 이러한 메트릭은 좁은 범위에 초점을 맞추며, 전체 언어 품질을 측정할 수 없습니다. 단일 작업에 대해 잘 수행하는 LLM은 일반적으로 논리적이고 도움이 되는 텍스트를 생성하는 데 실패할 수 있습니다.

연구 벤치마크

LLM을 평가하는 인기 있는 방법은 다양한 주제와 기술을 다루는 광범위한 연구 벤치마크를 테스트하는 것입니다. 이러한 벤치마크를 사용하면 모델을 빠르게 대규모로 테스트할 수 있습니다.

잘 알려진 벤치마크에는 다음과 같은 것이 있습니다:

* SuperGLUE: 11개의 다양한 언어 작업을 포함하는 도전적인 집합.
* GLUE: 9개의 문장 이해 작업을 포함하는 집합. SuperGLUE보다 더 간단합니다.
* MMLU: 57개의 서로 다른 STEM, 사회 과학, 인문 과학 작업을 포함하는 집합. 지식과 추론 능력을 테스트합니다.
* Winograd Schema Challenge: 공통 감각 추론을 요구하는 대명사 해결 문제.
* ARC: 자연어 추론 작업을 포함하는 집합.
* Hellaswag: 상황에 대한 공통 감각 추론.
* PIQA: 도형이 필요한 물리학 질문.

이러한 벤치마크를 사용하여 모델의 수학, 논리, 추론, 코딩, 공통 감각 및 더 많은 능력을 테스트할 수 있습니다. 질문에 대한 정답률은 모델을 비교하는 데 사용되는 벤치마크 메트릭입니다.

그러나 벤치마크의 주요 문제는 훈련 데이터 오염입니다. 많은 벤치마크에는 모델이 사전 훈련 중에 이미 본 예제가 포함되어 있습니다. 이는 모델이 특정 질문에 대한 답변을 “기억”하고 실제 능력보다 더 잘 수행할 수 있게 합니다.

오염된 벤치마크를 제거하기 위한 시도가 이루어지고 있지만, 모델이 질문의 재구성 또는 번역된 버전을 본 경우 특히 어려울 수 있습니다.

따라서 벤치마크는 광범위한 기술을 효율적으로 테스트할 수 있지만, 실제 추론 능력이나 오염으로 인한 점수 인플레이션을 신뢰할 수 있게 측정할 수 없습니다. 보완적인 평가 방법이 필요합니다.

LLM 자체 평가

LLM을 평가하는 또 다른 접근 방식은 다른 LLM이 평가하는 것입니다. 아이디어는 “더 쉬운” 작업 개념을 활용하는 것입니다:

* 높은 품질의 출력을 생성하는 것은 어려울 수 있습니다.
* 하지만 주어진 출력이 높은 품질인지 판단하는 것은 더 쉬운 작업일 수 있습니다.

예를 들어, LLM이 사실적이고 일관된 문단을 생성하는 데 어려움을 겪을 수 있지만, 주어진 문단이 논리적으로 합리적이고 상황에 맞는지 판단하는 것은 더 쉽습니다.

따라서 프로세스는 다음과 같습니다:

1. 첫 번째 LLM에 입력 프롬프트를 전달하여 출력을 생성합니다.
2. 입력 프롬프트와 생성된 출력을 두 번째 “평가자” LLM에 전달합니다.
3. 평가자 LLM에 출력 품질을 평가하는 질문을 합니다. 예: “위의 응답은 논리적으로 합리적합니까?”

이 접근 방식은 빠르게 구현할 수 있으며 LLM 평가를 자동화합니다. 그러나 다음과 같은 몇 가지 도전이 있습니다:

* 성능은 평가자 LLM과 프롬프트 단어 선택에 크게 의존합니다.
* 원래 작업의 어려움에 의해 제한됩니다. 복잡한 추론을 평가하는 것은 여전히 어려울 수 있습니다.
* API 기반 LLM을 사용하는 경우 계산 비용이 많이 들 수 있습니다.

자체 평가 방법은 특히 RAG(检索-증강 생성) 시스템에서检索된 정보를 평가하는 데 특히 유용합니다. 추가 LLM 쿼리는检索된 컨텍스트가 적절하게 사용되는지 확인할 수 있습니다.

전반적으로, 자체 평가 방법은 잠재력이 있지만 구현에 주의가 필요합니다. 이는 인간 평가를 대체하는 것이 아니라 보완합니다.

인간 평가

자동화된 메트릭과 벤치마크의 제한을 고려할 때, 인간 평가는 여전히 LLM 품질을 철저하게 평가하는 데 표준입니다.

전문가는 다음과 같은 사항에 대한 자세한 질적 평가를 제공할 수 있습니다:

* 정확도 및 사실적 정確성
* 논리, 추론 및 공통 감각
* 일관성 및 가독성
* 톤, 스타일 및 목소리의 적절성
* 문법 및 유창성
* 창의성 및 미묘함

모델을 평가하기 위해, 인간은 입력 프롬프트와 LLM이 생성한 응답의 집합을 받습니다. 그들은 응답의 품질을 평가하며, 일반적으로 등급 척도와 루브릭을 사용합니다.

단점은 수동 인간 평가가 비용이 많이 들고, 느리며, 확장하기 어렵다는 것입니다. 또한 표준화된 기준을 개발하고, 평가자를 일관되게 적용하도록 훈련해야 합니다.

일부 연구자들은 모델 매치업을 평가하고 베팅하는 토너먼트 스타일 시스템을 사용하여 인간 LLM 평가를 크라우드소싱하는 창의적인 방법을 탐색했습니다. 그러나 이는 전체 수동 평가에 비해 여전히 제한적입니다.

품질이 중요하고 원시 규모보다 더 중요한 비즈니스 사용 사례에서 전문가 인간 테스트는 비용에도 불구하고 여전히 표준입니다. 특히 LLM의 위험한 응용 분야에서 그렇습니다.

결론

대규모 언어 모델을 철저하게 평가하려면, 다양한 보완 방법을 사용하여 단일 기술에만 의존하지 않아야 합니다.

자동화된 접근 방식을 사용하여 속도와 인간의 감독을 통해 정확성을 균형 있게 조합하여 신뢰할 수 있는 테스트 방법론을 개발할 수 있습니다. 강력한 평가를 통해, 우리는 LLM의巨大한 잠재력을 실현하고 위험을 책임 있게 관리할 수 있습니다.