Rescale ๋ฏธํŒ… ์˜ˆ์•ฝ

๋ฉ”ํƒ€ ๋ผ๋งˆ๋Š” ์ง„์ •ํ•œ ์˜คํ”ˆ ์†Œ์Šค์ธ๊ฐ€์š”?

์ธ๊ณต์ง€๋Šฅ

๋ฉ”ํƒ€ ๋ผ๋งˆ๋Š” ์ง„์ •ํ•œ ์˜คํ”ˆ ์†Œ์Šค์ธ๊ฐ€์š”?

mm
Meta์˜ Llama๋Š” ์ง„์ •ํ•œ ์˜คํ”ˆ ์†Œ์Šค์ธ๊ฐ€์š”?

์†Œํ”„ํŠธ์›จ์–ด ์‚ฐ์—…์€ ์ ์  ๋” ์˜คํ”ˆ ์†Œ์Šค ๊ธฐ์ˆ ์„ ์ˆ˜์šฉํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ธ์ƒ์ ์ธ 80%์˜ ๊ธฐ์—…์ด ์˜คํ”ˆ ์†Œ์Šค ์†Œํ”„ํŠธ์›จ์–ด ์‚ฌ์šฉ์„ ๋Š˜๋ ธ์Šต๋‹ˆ๋‹ค.์˜์— ๋”ฐ๋ผ 2023 ์˜คํ”ˆ ์†Œ์Šค ํ˜„ํ™ฉ ๋ณด๊ณ ์„œ.

๊ธฐ์ˆ  ์‚ฐ์—…์˜ ์ฃผ์š” ๊ธฐ์—…์œผ๋กœ์„œ Meta์˜ ์†Œํ”„ํŠธ์›จ์–ด ์‚ฌ์—…์€ ์ƒ๋‹นํ•œ ์˜ํ–ฅ๋ ฅ์„ ํ–‰์‚ฌํ•ฉ๋‹ˆ๋‹ค. ๋ฉ”ํƒ€ ๋ผ๋งˆ ํ”„๋กœ์ ํŠธ๋Š” ์˜คํ”ˆ ์†Œ์Šค ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ ์ƒํƒœ๊ณ„์— ์ฃผ๋ชฉํ•  ๋งŒํ•œ ๊ธฐ์—ฌ๋ฅผ ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์˜คํ”ˆ ์†Œ์Šค ์ฃผ์žฅ์„ ์ž์„ธํžˆ ์‚ดํŽด๋ณด๋ฉด ๋ช‡ ๊ฐ€์ง€ ๋ถˆ๊ทœ์น™์„ฑ์„ ๋ฐœ๊ฒฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Meta Llama๋ฅผ ์ž์„ธํžˆ ์‚ดํŽด๋ณด๊ณ  ๋ผ์ด์„ผ์‹ฑ, ๊ณผ์ œ, ์˜คํ”ˆ ์†Œ์Šค ์ปค๋ฎค๋‹ˆํ‹ฐ์— ๋ฏธ์น˜๋Š” ๋” ํฐ ์˜ํ–ฅ์„ ํ‰๊ฐ€ํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

์˜คํ”ˆ์†Œ์Šค๋Š” ๋ฌด์—‡์œผ๋กœ ๊ตฌ์„ฑ๋˜๋‚˜์š”?

๋ณธ์งˆ์— ๋Œ€ํ•œ ์ดํ•ด ์˜คํ”ˆ ์†Œ์Šค ํ‰๊ฐ€ํ•˜๋Š” ๋ฐ ์ค‘์ถ”์ ์ธ ์—ญํ• ์„ ํ•œ๋‹ค ๋ฉ”ํƒ€ ๋ผ๋งˆ. ์˜คํ”ˆ ์†Œ์Šค๋Š” ์†Œ์Šค ์ฝ”๋“œ์— ๋Œ€ํ•œ ์ ‘๊ทผ์„ฑ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ํ˜‘์—…, ํˆฌ๋ช…์„ฑ ๋ฐ ์ปค๋ฎค๋‹ˆํ‹ฐ ์ค‘์‹ฌ ๊ฐœ๋ฐœ์— ๋Œ€ํ•œ ์•ฝ์†์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค.. ๋…์  ์†Œํ”„ํŠธ์›จ์–ด์™€ ๋น„๊ตํ–ˆ์„ ๋•Œ, ์˜คํ”ˆ ์†Œ์Šค ์†Œํ”„ํŠธ์›จ์–ด๋Š” ์ผ๋ฐ˜์ ์œผ๋กœ ๋ผ์ด์„ ์Šค๊ฐ€ ์—†์œผ๋ฉฐ ์ž‘์„ฑ์ž์˜ ๋ช…์‹œ์ ์ธ ํ—ˆ๊ฐ€ ์—†์ด ๋ˆ„๊ตฌ๋‚˜ ๋ณต์‚ฌ, ๋ณ€๊ฒฝ ๋˜๋Š” ๊ณต์œ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฉ”ํƒ€์˜ ๋ผ๋งˆ(Llama)๋Š” ์ด๋Ÿฌํ•œ ๊ธฐ์ค€์„ ์–ผ๋งˆ๋‚˜ ์ค€์ˆ˜ํ•˜๋Š”์ง€ ๋ฉด๋ฐ€ํžˆ ๊ฒ€ํ† ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋ฉ”ํƒ€์˜ ํˆฌ๋ช…์„ฑ, ํ˜‘๋ ฅ์  ๊ฐœ๋ฐœ, ๊ทธ๋ฆฌ๊ณ  ์ฝ”๋“œ ์ ‘๊ทผ์„ฑ์— ๋Œ€ํ•œ ๋…ธ๋ ฅ์„ ํ‰๊ฐ€ํ•ด ๋ณด๋ฉด ์˜คํ”ˆ์†Œ์Šค ์›์น™์— ์–ผ๋งˆ๋‚˜ ๋ถ€ํ•ฉํ•˜๋Š”์ง€ ์•Œ ์ˆ˜ ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋ผ๋งˆ ํ”„๋กœ์ ํŠธ ๊ฐœ์š”

Llama 2 ์‚ฌ์ „ ํ›ˆ๋ จ ๋ฐ ๋ฏธ์„ธ ์กฐ์ • ํ”„๋กœ์„ธ์Šค ๊ฐœ์š”

Llama 2 ์‚ฌ์ „ ํ›ˆ๋ จ ๋ฐ ๋ฏธ์„ธ ์กฐ์ • ํ”„๋กœ์„ธ์Šค ๊ฐœ์š”

๋ฉ”ํƒ€ ์ƒํƒœ๊ณ„์˜ ํ•ต์‹ฌ ๋„๊ตฌ์ธ Llama๋Š” ๊ด‘๋ฒ”์œ„ํ•œ ์˜ํ–ฅ์„ ๋ฏธ์นฉ๋‹ˆ๋‹ค. ๊ฐ•๋ ฅํ•œ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๊ธฐ๋Šฅ์„ ํ†ตํ•ด ๊ฐœ๋ฐœ์ž๋Š” ๊ฐ•๋ ฅํ•œ ์ฑ—๋ด‡, ์–ธ์–ด ๋ฒˆ์—ญ ๋ฐ ์ฝ˜ํ…์ธ  ์ƒ์„ฑ ์‹œ์Šคํ…œ์„ ๊ตฌ์ถ•ํ•˜๊ณ  ์„ธ๋ถ€ ์กฐ์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Llama๋Š” ๋›ฐ์–ด๋‚œ ์ ์‘์„ฑ๊ณผ ์œ ์—ฐ์„ฑ์„ ํ†ตํ•ด ๋”์šฑ ์„ฌ์„ธํ•œ ์–ธ์–ด ์ดํ•ด ๋ฐ ์ƒ์„ฑ์„ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค.

Llama์˜ ์šด์˜์— ์ค‘์š”ํ•œ ๊ฒƒ์€ ๋‹ค์Œ์— ๋ช…์‹œ๋œ ์ง€์นจ ์›์น™์ž…๋‹ˆ๋‹ค. ๋ฉ”ํƒ€์˜ ์‚ฌ์šฉ ์ •์ฑ…. ์ด๋Ÿฌํ•œ ์›์น™์€ ํ”Œ๋žซํผ์˜ ์•ˆ์ „ํ•˜๊ณ  ๊ณต์ •ํ•œ ์‚ฌ์šฉ์„ ์ด‰์ง„ํ•˜๊ณ  ์ฑ…์ž„ ์žˆ๋Š” ์‚ฌ์šฉ์„ ๊ด€๋ฆฌํ•˜๋Š” ์œค๋ฆฌ์  ๊ฒฝ๊ณ„๋ฅผ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค.

์‘์šฉ ํ”„๋กœ๊ทธ๋žจ ๋ฐ ์˜ํ–ฅ

Meta์˜ Llama๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋‹ค๋ฅธ ์ €๋ช…ํ•œ LLM๊ณผ ๋น„๊ต๋ฉ๋‹ˆ๋‹ค. BERT ๊ทธ๋ฆฌ๊ณ  GPT-3. ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๊ฒƒ์œผ๋กœ ๋ฐํ˜€์กŒ์Šต๋‹ˆ๋‹ค. ์‹ค์ ์ด ์ข‹๋‹ค Natural Question ๋ฐ QuAC์™€ ๊ฐ™์€ QA ๋ฐ์ดํ„ฐ ์„ธํŠธ์™€ ๊ฐ™์€ ๋งŽ์€ ์™ธ๋ถ€ ๋ฒค์น˜๋งˆํฌ์—์„œ ์ด๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

๋‹ค์Œ์€ Llama๊ฐ€ ๊ฐœ๋ฐœ์ž์™€ ๋” ๋„“์€ ๊ธฐ์ˆ  ์ƒํƒœ๊ณ„์— ๋ฏธ์น˜๋Š” ์˜ํ–ฅ์„ ๊ฐ•์กฐํ•˜๋Š” ๋ช‡ ๊ฐ€์ง€ ์‚ฌ์šฉ ์‚ฌ๋ก€์ž…๋‹ˆ๋‹ค.

  • ๊ฐ•๋ ฅํ•œ ๋ด‡: Llama๋ฅผ ์‚ฌ์šฉํ•˜๋ฉด ๊ฐœ๋ฐœ์ž๊ฐ€ ๋” ๋ฐœ์ „๋œ ๊ธฐ์ˆ ์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž์—ฐ์–ด ์ƒํ˜ธ์ž‘์šฉ ์ฑ—๋ด‡๊ณผ ๊ฐ€์ƒ ๋น„์„œ๋ฅผ ํ†ตํ•ด ์‚ฌ์šฉ์ž์™€ ์†Œํ†ตํ•ฉ๋‹ˆ๋‹ค.
  • ํ–ฅ์ƒ๋œ ๊ฐ์ • ๋ถ„์„: ๋ผ๋งˆ๋Š” ๊ธฐ์—…๊ณผ ์—ฐ๊ตฌ์ž๊ฐ€ ๋” ์ž˜ ์ดํ•ดํ•˜๋„๋ก ๋„์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ณ ๊ฐ๊ฐ์ • ๋Œ€๋Ÿ‰์˜ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜์—ฌ
  • ๊ฐœ์ธ ์ •๋ณด ๋ณดํ˜ธ: ๋ผ๋งˆ์˜ ์ ์‘๋ ฅ๊ณผ ์œ ์—ฐ์„ฑ์€ ์ž ์žฌ์ ์œผ๋กœ ํŒŒ๊ดด์  ๋‹ค์Œ๊ณผ ๊ฐ™์€ LLM์˜ ํ˜„์žฌ ๋ฆฌ๋”์—๊ฒŒ OpenAI ๊ทธ๋ฆฌ๊ณ  ๊ตฌ๊ธ€. ์ž์ฒด ํ˜ธ์ŠคํŒ… ๋ฐ ์ˆ˜์ • ๊ธฐ๋Šฅ์„ ํ†ตํ•ด ๊ฐœ์ธ ์ •๋ณด ๋ณดํ˜ธ์— ์ดˆ์ ์„ ๋งž์ถ˜ ์‚ฌ์šฉ ์‚ฌ๋ก€์— ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ ๋ฐ ๋ชจ๋ธ์„ ๋” ํšจ๊ณผ์ ์œผ๋กœ ์ œ์–ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฉ”ํƒ€์˜ ์˜คํ”ˆ ์†Œ์Šค ์ฃผ์žฅ

๋ฉ”ํƒ€๋Š” ๋ผ๋งˆ์˜ ์˜คํ”ˆ์†Œ์Šค์  ํŠน์„ฑ์„ ๊ฐ•์กฐํ•˜๋ฉฐ ํ˜‘์—… ์˜์—ญ ๋‚ด์— ์œ„์น˜์‹œํ‚ต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋ฉ”ํƒ€์˜ ์ฃผ์žฅ์„ ๊ฒ€ํ† ํ•˜๋Š” ๊ฒƒ์€ ์ˆ˜์‚ฌํ•™์  ํ‘œํ˜„์—์„œ ์‹ค์ œ ์‚ฌ๋ก€๋ฅผ ํ™•์ธํ•˜๋Š” ๋ฐ ๋งค์šฐ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

์˜คํ”ˆ์†Œ์Šค์˜ ์ •์น˜์  ์ •ํ™•์„ฑ ์™ธ์—๋„ Llama๋ฅผ ์ ‘๊ทผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ๋งŒ๋“œ๋Š” ๊ฒƒ์ด ์œ ๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ์ƒ๋˜๋Š” ์ผ๋ถ€ ์ด์ ์—๋Š” Meta๋ฅผ ํ†ตํ•œ ํ–ฅ์ƒ๋œ ์ปค๋ฎค๋‹ˆํ‹ฐ ์ฐธ์—ฌ, ๊ฐ€์†ํ™”๋œ ํ˜์‹ , ํˆฌ๋ช…์„ฑ ๋ฐ ๊ด‘๋ฒ”์œ„ํ•œ ์œ ํ‹ธ๋ฆฌํ‹ฐ๊ฐ€ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์ด๋Ÿฌํ•œ ์ฃผ์žฅ์˜ ์ง„์‹ค์„ฑ์€ ์„ธ์‹ฌํ•œ ์กฐ์‚ฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

๋ฉ”ํƒ€์˜ ๋ผ๋งˆ ๋ผ์ด์„ ์Šค

์•ผ๋งˆ์˜ ๋ผ์ด์„ ์Šค ๋ชจ๋ธ์—๋Š” ๊ธฐ์กด ์˜คํ”ˆ ์†Œ์Šค ๋ผ์ด์„ ์Šค์™€ ์ฐจ๋ณ„ํ™”๋˜๋Š” ๋ช‡ ๊ฐ€์ง€ ๊ณ ์œ ํ•œ ํŠน์„ฑ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋งŒํผ ๋ผ๋งˆ ๋ผ์ด์„ผ์Šค, ๋งŽ์€ ์ƒ์—…์šฉ ๋ชจ๋ธ์— ๋ถ€์—ฌ๋œ ๋ผ์ด์„ผ์Šค๋ณด๋‹ค ๋” ๊ด€๋Œ€ํ•˜์ง€๋งŒ ํŠน์ • ์ œํ•œ ์‚ฌํ•ญ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ์€ ๋ช‡ ๊ฐ€์ง€ ํ•ต์‹ฌ ์‚ฌํ•ญ์ž…๋‹ˆ๋‹ค.

1. ๋งž์ถคํ˜• ๋ผ์ด์„ ์Šค

Meta๋Š” Llama์— ๋Œ€ํ•ด ์‚ฌ์šฉ์ž ์ •์˜ ๋ถ€๋ถ„์  ์˜คํ”ˆ ๋ผ์ด์„ ์Šค๋ฅผ ์‚ฌ์šฉํ•˜๋Š”๋ฐ, ์ด๋Š” ์‚ฌ์šฉ์ž์—๊ฒŒ Meta์˜ ์ง€์  ์žฌ์‚ฐ๊ถŒ์— ๋”ฐ๋ฅธ ๋น„๋…์ ์ , ์ „ ์„ธ๊ณ„์ , ์–‘๋„ ๋ถˆ๊ฐ€๋Šฅํ•˜๊ณ  ๋กœ์—ดํ‹ฐ๊ฐ€ ์—†๋Š” ์ œํ•œ์  ๋ผ์ด์„ ์Šค๋ฅผ ๋ถ€์—ฌํ•ฉ๋‹ˆ๋‹ค.

2. ์šฉ๋„ ๋ฐ ํŒŒ์ƒ์ƒํ’ˆ

์‚ฌ์šฉ์ž๋Š” ๋ผ์ด์„ ์Šค๋ฅผ ์–‘๋„ํ•˜์ง€ ์•Š๊ณ ๋„ Llama ์ž๋ฃŒ๋ฅผ ์‚ฌ์šฉ, ๋ณต์ œ, ๋ฐฐํฌ, ๋ณต์‚ฌ, ํŒŒ์ƒ๋ฌผ ์ƒ์„ฑ ๋ฐ ์ˆ˜์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

3. ์ƒ์—… ์šฉ์–ด

์ด์ƒ์ธ ๊ธฐ์—… 700 ๋งŒ ์›”๊ฐ„ ํ™œ์„ฑ ์‚ฌ์šฉ์ž๋Š” Meta AI๋กœ๋ถ€ํ„ฐ ์ƒ์šฉ ๋ผ์ด์„ ์Šค๋ฅผ ๋ฐ›์•„์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์ด ์š”๊ตฌ ์‚ฌํ•ญ์€ Llama๋ฅผ ์ผ๋ฐ˜์ ์œผ๋กœ ๊ทธ๋Ÿฌํ•œ ์ œํ•œ์„ ๋ถ€๊ณผํ•˜์ง€ ์•Š๋Š” ๊ธฐ์กด ์˜คํ”ˆ ์†Œ์Šค ๋ผ์ด์„ ์Šค์™€ ์ฐจ๋ณ„ํ™”ํ•ฉ๋‹ˆ๋‹ค.

4. ํŒŒํŠธ๋„ˆ์‹ญ

Llama 2 ๋ชจ๋ธ์€ ๋‹ค์Œ์„ ํ†ตํ•ด ์•ก์„ธ์Šคํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. AWS ๊ทธ๋ฆฌ๊ณ  ํฌ์˜นํ•˜๋Š” ์–ผ๊ตด. Meta๋Š” ๋˜ํ•œ Microsoft์™€ ์ œํœดํ•˜์—ฌ Azure ๋ชจ๋ธ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์— ๋Œ€ํ•œ Llama 2, ๊ฐœ๋ฐœ์ž๊ฐ€ ๋ผ์ด์„ ์Šค ๋น„์šฉ์„ ์ง€๋ถˆํ•˜์ง€ ์•Š๊ณ ๋„ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ๊ตฌ์ถ•ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ผ๋งˆ์˜ ๊ฐœ๋ฐฉ์„ฑ์„ ๋‘˜๋Ÿฌ์‹ผ ๋„์ „๊ณผ ๋…ผ์Ÿ

๋ผ๋งˆ์˜ ๊ฐœ๋ฐฉ์„ฑ์„ ๋‘˜๋Ÿฌ์‹ผ ๋„์ „๊ณผ ๋…ผ์Ÿ

๋ฉ”ํƒ€ ๋‚ด์˜ ์‚ฌ์šฉ์ž ๊ฒฝํ—˜ ์•ผ๋งˆ ์ƒํƒœ๊ณ„์—๋Š” ๋ผ๋งˆ ๋ชจ๋ธ๊ณผ ํŒŒ์ƒ ์ƒํ’ˆ์— ๋Œ€ํ•œ ์ œ์•ฝ์ด ๋“œ๋Ÿฌ๋‚˜๋Š” ํŠน์ • ์‚ฌ๋ก€๋ฅผ ํฌํ•จํ•ด ๋‚˜๋ฆ„๋Œ€๋กœ์˜ ์–ด๋ ค์›€์ด ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋ผ์ด์„ผ์Šค ์ œํ•œ์˜ ๋ฏธ๋กœ๋กœ ์ธํ•ด ํ™˜๊ฒฝ์ด ๋ณต์žกํ•ด์ง€๊ณ  ์‚ฌ์šฉ์ž๊ฐ€ ์ด๋Ÿฌํ•œ ๊ณ ๊ธ‰ ๋ชจ๋ธ๊ณผ ์ƒํ˜ธ ์ž‘์šฉํ•˜๊ณ  ํ™œ์šฉํ•˜๋Š” ๋ฐฉ์‹์— ์˜ํ–ฅ์„ ๋ฏธ์นฉ๋‹ˆ๋‹ค.
  • ์„ ํƒ์  ์•ก์„ธ์Šค ์žฅ์• ๋ฌผ์ด ๋‚˜ํƒ€๋‚˜ ์‚ฌ์šฉ์ž ์ฐธ์—ฌ์˜ ํฌ๊ด„์„ฑ์— ๊ทธ๋ฆผ์ž๋ฅผ ๋“œ๋ฆฌ์›๋‹ˆ๋‹ค.
  • ๋ฌธ์„œ์˜ ๋ชจํ˜ธํ•จ์€ ๋ณต์žก์„ฑ์„ ๋”์šฑ ๊ฐ€์ค‘์‹œ์ผœ ์‚ฌ์šฉ์ž๊ฐ€ ๋ถˆ๋ถ„๋ช…ํ•œ ์ง€์นจ์„ ํƒ์ƒ‰ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

์ตœ๊ทผ์— Radboud University์—์„œ ์‹ค์‹œํ•œ ํ‰๊ฐ€, Llama 2๋ฅผ ํฌํ•จํ•œ ์—ฌ๋Ÿฌ ๋ช…๋ น ์กฐ์ • ํ…์ŠคํŠธ ์ƒ์„ฑ๊ธฐ๊ฐ€ ์˜คํ”ˆ ์†Œ์Šค ์ฃผ์žฅ๊ณผ ๊ด€๋ จํ•˜์—ฌ ์ •๋ฐ€ ์กฐ์‚ฌ๋ฅผ ๋ฐ›์•˜์Šต๋‹ˆ๋‹ค. ์ด ์—ฐ๊ตฌ์—์„œ๋Š” ๊ฐœ๋ฐฉ์„ฑ์„ ๊ธฐ์ค€์œผ๋กœ ์ด๋Ÿฌํ•œ ๋ชจ๋ธ์˜ ์ˆœ์œ„๋ฅผ ๋งค๊ธฐ๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ๊ฐ€์šฉ์„ฑ, ๋ฌธ์„œ ํ’ˆ์งˆ ๋ฐ ์•ก์„ธ์Šค ๋ฐฉ๋ฒ•์„ ์ข…ํ•ฉ์ ์œผ๋กœ ํ‰๊ฐ€ํ–ˆ์Šต๋‹ˆ๋‹ค. Llama 2๋Š” ์ „์ฒด ๊ฐœ๋ฐฉ์„ฑ ์ ์ˆ˜๊ฐ€ ChatGPT๋ณด๋‹ค ์•ฝ๊ฐ„ ๋†’์€ ํ‰๊ฐ€๋ฅผ ๋ฐ›์€ ๋ชจ๋ธ ์ค‘ ๋‘ ๋ฒˆ์งธ๋กœ ๋‚ฎ์€ ์ˆœ์œ„์˜ ๋ชจ๋ธ๋กœ ๋‚˜ํƒ€๋‚ฌ์Šต๋‹ˆ๋‹ค.

Radboud University์˜ Llama 2 ํ‰๊ฐ€

Radboud ๋Œ€ํ•™์˜ ํ‰๊ฐ€ 2๋…„ 2023์›” ํ˜„์žฌ ๋‹ค๋ฅธ ํ…์ŠคํŠธ ์ƒ์„ฑ๊ธฐ ์ค‘ Llama XNUMX์˜ ์˜คํ”ˆ์†Œ์Šค ์ฃผ์žฅ ๋น„์œจ(์ „์ฒด ํ‘œ ์‚ฌ์šฉ ๊ฐ€๋Šฅ) ์—ฌ๊ธฐ์—)

๊ฐœ๋ฐœ์ž ์ปค๋ฎค๋‹ˆํ‹ฐ์—์„œ๋„ Llama์— ๋Œ€ํ•ด ์—ฌ๋Ÿฌ ๊ฐ€์ง€ ๋น„ํŒ๊ณผ ์šฐ๋ ค๊ฐ€ ์ œ๊ธฐ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

  1. Meta๊ฐ€ ๋ชจ๋ธ์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ ์žˆ์–ด ํˆฌ๋ช…์„ฑ์ด ๋ถ€์กฑํ•ฉ๋‹ˆ๋‹ค.
  2. ์‚ฌ์šฉ ๋ฐ ํŒŒ์ƒ ์ƒํ’ˆ์— ๋Œ€ํ•œ ์ œํ•œ.
  3. ๋Œ€๊ธฐ์—…์— ๋ถ€๊ณผ๋˜๋Š” ์ƒ์—…์  ์กฐ๊ฑด.

๋ฉ”ํƒ€์˜ ๋ฐ˜์‘

๋ฉ”ํƒ€์˜ ๋ผ๋งˆ๋Š” ์ง„์ •ํ•œ ๊ฐœ๋ฐฉ์„ฑ์— ๋Œ€ํ•ด ๋…ผ๋ž€์ด ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค. ๋ฉ”ํƒ€๋Š” ์˜คํ”ˆ ์†Œ์Šค๋กœ์„œ์˜ Llama 2 ๋น„ํ‰๊ฐ€๋“ค์€ ์—ฐ๊ตฌ ๋ฐ ์ƒ์—…์  ์šฉ๋„๋กœ ๋ฌด๋ฃŒ๋ผ๊ณ  ์ฃผ์žฅํ•ฉ๋‹ˆ๋‹ค. ์™„์ „ํ•œ ์˜คํ”ˆ ์†Œ์Šค๊ฐ€ ์•„๋‹˜. ์ฃผ์š” ๋…ผ์Ÿ์ ์€ ํ›ˆ๋ จ ๋ฐ์ดํ„ฐ์˜ ๊ฐ€์šฉ์„ฑ๊ณผ ๋ชจ๋ธ ํ›ˆ๋ จ์— ์‚ฌ์šฉ๋˜๋Š” ์ฝ”๋“œ์ž…๋‹ˆ๋‹ค.

๋ฉ”ํƒ€๋Š” ๋ชจ๋ธ์˜ ๊ฐ€์ค‘์น˜, ํ‰๊ฐ€ ์ฝ”๋“œ, ๊ทธ๋ฆฌ๊ณ  ๋ฌธ์„œ๋ฅผ ๊ณต๊ฐœํ–ˆ๋Š”๋ฐ, ์ด๋Š” ์˜คํ”ˆ์†Œ์Šค ๋ชจ๋ธ์˜ ์ค‘์š”ํ•œ ์ธก๋ฉด์ž…๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ Llama 2๋Š” ๋‹ค๋ฅธ ์˜คํ”ˆ์†Œ์Šค LLM์— ๋น„ํ•ด ๋‹ค์†Œ ํ์‡„์ ์ธ ๊ฒƒ์œผ๋กœ ๊ฐ„์ฃผ๋ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ์˜ ํ•™์Šต ๋ฐ์ดํ„ฐ์™€ ํ•™์Šต์— ์‚ฌ์šฉ๋œ ์ฝ”๋“œ๊ฐ€ ๊ณต์œ ๋˜์ง€ ์•Š์•„, ์•ผ์‹ฌ ์ฐฌ ๊ฐœ๋ฐœ์ž์™€ ์—ฐ๊ตฌ์ž๋“ค์ด ๋ชจ๋ธ์„ ์™„์ „ํžˆ ๋ถ„์„ํ•˜๋Š” ๋ฐ ์ œ์•ฝ์ด ์žˆ์Šต๋‹ˆ๋‹ค.

์˜คํ”ˆ ์†Œ์Šค ๋ฌด๊ฒฐ์„ฑ ์œ ์ง€

์˜คํ”ˆ ์†Œ์Šค ๋ฌด๊ฒฐ์„ฑ ์œ ์ง€

๋ถ€๋ถ„์ ์œผ๋กœ ์˜คํ”ˆ ์†Œ์Šค์ธ ํ”„๋กœ์ ํŠธ๋ฅผ ์˜คํ”ˆ ์†Œ์Šค๋กœ ๋ฐ›์•„๋“ค์ด๋Š” ๊ฒƒ์€ ์—…๊ณ„์—์„œ ์˜คํ”ˆ ์†Œ์Šค ๊ด€ํ–‰์˜ ์‹ ๋ขฐ์„ฑ์— ํ•ด๋กœ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ผ๋ถ€ ์ž ์žฌ์  ์˜ํ–ฅ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  • ์‹ค๋ง์Šค๋Ÿฌ์šด ํ˜‘์—… ์‹œ๋„ˆ์ง€: ์˜คํ”ˆ์†Œ์Šค๊ฐ€ ์•„๋‹Œ ํ”„๋กœ์ ํŠธ์— ์ž˜๋ชป๋œ ๋ผ๋ฒจ์„ ๋ถ™์ด๋ฉด ์ž ์žฌ์ ์ธ ํ˜‘๋ ฅ์ž๊ฐ€ ๋‹จ๋…ํ•˜๊ณ  ์˜คํ”ˆ์†Œ์Šค๋ฅผ ์ •์˜ํ•˜๋Š” ํ™œ๋ฐœํ•œ ์•„์ด๋””์–ด ๊ตํ™˜๊ณผ ์ง‘๋‹จ์  ๋ฌธ์ œ ํ•ด๊ฒฐ์„ ๋ฐฉํ•ดํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์–ต์ œ๋œ ํ˜์‹  ์ŠคํŽ™ํŠธ๋Ÿผ: ํ์‡„ ์†Œ์Šค ํ”„๋กœ์ ํŠธ๋ฅผ ์˜คํ”ˆ ์†Œ์Šค๋กœ ์ˆ˜์šฉํ•˜๋ฉด ๊ฐœ๋ฐœ์ž๊ฐ€ ํ˜์‹ ์„ ์œ„ํ•œ ์ค‘์ถ”์ ์ธ ๊ณต๋™์˜ ๋ฌด์ œํ•œ ์ฐฝ์˜์„ฑ์ด ๋ถ€์กฑํ•œ ๊ธธ๋กœ ์ด๋Œ๊ฒŒ ๋˜์–ด ํ˜์‹ ์ด ์ €ํ•ด๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ํ˜ผ๋ž€๊ณผ ์ฑ„ํƒ ์žฅ์• : ํ์‡„ ์†Œ์Šค๋ฅผ ์˜คํ”ˆ ์†Œ์Šค๋กœ ์ž˜๋ชป ์‹๋ณ„ํ•˜๋ฉด ์‚ฌ์šฉ์ž์™€ ๊ฐœ๋ฐœ์ž์—๊ฒŒ ํ˜ผ๋ž€์„ ์ค„ ์ˆ˜ ์žˆ์œผ๋ฉฐ ํšŒ์˜๋ก ์ด๋‚˜ ๋ถˆ๋ถ„๋ช…ํ•œ ๊ตฌ๋ถ„์œผ๋กœ ์ธํ•ด ์ง„์ •ํ•œ ๊ฐœ๋ฐฉํ˜• ์ด๋‹ˆ์…”ํ‹ฐ๋ธŒ๋ฅผ ์ฑ„ํƒํ•˜๋Š” ๊ฒƒ์„ ์ฃผ์ €ํ•˜๊ฒŒ ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋ฒ•์  ๋ฏธ๋กœ: ๊ทœ์ •์„ ์ค€์ˆ˜ํ•˜์ง€ ์•Š๋Š” ํ”„๋กœ์ ํŠธ๋ฅผ ์ˆ˜๋ฝํ•˜๋ฉด ๋ฒ•์  ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๊ณ , ๋ณต์žก์„ฑ๊ณผ ์ž ์žฌ์  ์ฑ…์ž„์ด ๋Š˜์–ด๋‚˜๋ฉฐ, ์ง€์—ญ ์‚ฌํšŒ์˜ ํˆฌ๋ช…์„ฑ๊ณผ ํ˜‘๋ ฅ ์ •์‹ ์ด ํ›ผ์†๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฌํ•œ ์ž ์žฌ์ ์ธ ๊ฒฐ๊ณผ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ์˜คํ”ˆ ์†Œ์Šค ์ปค๋ฎค๋‹ˆํ‹ฐ๋Š” ์˜คํ”ˆ ์†Œ์Šค์˜ ์ง„์ •ํ•œ ์ •์‹ ์„ ์ง€์ง€ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ์˜คํ”ˆ ์†Œ์Šค์˜ ์›์น™๊ณผ ๊ฐ€์น˜๋ฅผ ๋ช…ํ™•ํ•˜๊ฒŒ ์ •์˜ํ•˜๊ณ  ์ „๋‹ฌํ•˜๋ฉด ํ˜ผ๋ž€์„ ๋ฐฉ์ง€ํ•˜๊ณ  ์˜คํ”ˆ ์†Œ์Šค๋กœ ์Šน์ธ๋œ ํ”„๋กœ์ ํŠธ๊ฐ€ ์ด๋Ÿฌํ•œ ์›์น™์— ๋ถ€ํ•ฉํ•˜๋„๋ก ๋ณด์žฅํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ์ˆ ๊ณผ AI์— ๋Œ€ํ•œ ์ตœ์‹  ํ†ต์ฐฐ๋ ฅ์„ ๋ณด๋ ค๋ฉด ๋‹ค์Œ ์‚ฌ์ดํŠธ๋ฅผ ๋ฐฉ๋ฌธํ•˜์„ธ์š”. ์œ ๋‚˜์ดํŠธ AI. ์ตœ์‹  ์ •๋ณด๋ฅผ ์–ป๊ณ  ์šฐ๋ฆฌ์™€ ํ•จ๊ป˜ ์•ž์„œ ๋‚˜๊ฐ€์„ธ์š”!