Π‘Π²ΡΠΆΠΈΡ‚Π΅ΡΡŒ с Π½Π°ΠΌΠΈ:

COCONUT ΠΎΡ‚ Meta: ΠΌΠ΅Ρ‚ΠΎΠ΄ искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ мыслит Π±Π΅Π· языка

Π˜ΡΠΊΡƒΡΡΡ‚Π²Π΅Π½Π½Ρ‹ΠΉ ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚

COCONUT ΠΎΡ‚ Meta: ΠΌΠ΅Ρ‚ΠΎΠ΄ искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π°, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ мыслит Π±Π΅Π· языка

mm

Когда исслСдоватСли Π²ΠΏΠ΅Ρ€Π²Ρ‹Π΅ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ»ΠΈ, Ρ‡Ρ‚ΠΎ большиС языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ (LLM) ΠΌΠΎΠ³ΡƒΡ‚ Β«Π΄ΡƒΠΌΠ°Ρ‚ΡŒΒ» шаг Π·Π° шагом подсказка ΠΏΠΎ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠ΅ мыслСй, это Π±Ρ‹Π» ΠΏΡ€ΠΎΡ€Ρ‹Π²Π½ΠΎΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ‚ – Π½Π°ΠΊΠΎΠ½Π΅Ρ†, ΠΌΡ‹ смогли Π·Π°Π³Π»ΡΠ½ΡƒΡ‚ΡŒ Π² процСсс рассуТдСний этих Ρ‡Π΅Ρ€Π½Ρ‹Ρ… ящиков. Но Ρ‡Ρ‚ΠΎ, Ссли я скаТу Π²Π°ΠΌ, Ρ‡Ρ‚ΠΎ Π·Π°ΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ ИИ Π΄ΡƒΠΌΠ°Ρ‚ΡŒ Π½Π° СстСствСнном языкС ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠ΄Π΅Ρ€ΠΆΠΈΠ²Π°Ρ‚ΡŒ ΠΈΡ…?

ИмСнно это ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ»ΠΈ исслСдоватСли ΠΈΠ· ΠœΠ΅Ρ‚Π° ΠΈ ΠšΠ°Π»ΠΈΡ„ΠΎΡ€Π½ΠΈΠΉΡΠΊΠΎΠ³ΠΎ унивСрситСта Π² Π‘Π°Π½-Π”ΠΈΠ΅Π³ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ своих Π½ΠΎΠ²Ρ‹ΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄ COCONUT (ЦСпь НСпрСрывной ΠœΡ‹ΡΠ»ΠΈ).

ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²ΡŒΡ‚Π΅, Ρ‡Ρ‚ΠΎ Π²Ρ‹ ΠΏΡ‹Ρ‚Π°Π΅Ρ‚Π΅ΡΡŒ Ρ€Π΅ΡˆΠΈΡ‚ΡŒ ΡΠ»ΠΎΠΆΠ½ΡƒΡŽ ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΡƒΡŽ Π·Π°Π΄Π°Ρ‡Ρƒ, ΠΈ вас Π·Π°ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ ΠΎΠ·Π²ΡƒΡ‡ΠΈΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ шаг. Π Π°Π·Π΄Ρ€Π°ΠΆΠ°Π΅Ρ‚, ΠΏΡ€Π°Π²Π΄Π°? Π’Π΅ΠΏΠ΅Ρ€ΡŒ Π²Ρ‹ ΠΏΠΎΡ‡Ρ‚ΠΈ ΠΏΠΎΠ½ΠΈΠΌΠ°Π΅Ρ‚Π΅ ΠΎΡΠ½ΠΎΠ²Π½ΡƒΡŽ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ, с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΡΡ‚Π°Π»ΠΊΠΈΠ²Π°ΡŽΡ‚ΡΡ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ.

Когда ΠΌΡ‹ заставляСм ΠΌΠΎΠ΄Π΅Π»ΠΈ ИИ Ρ€Π°ΡΡΡƒΠΆΠ΄Π°Ρ‚ΡŒ Π½Π° СстСствСнном языкС:

  • Π‘ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΎΠ½ΠΈ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΡŽΡ‚, ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой просто лингвистичСский ΠΊΠ»Π΅ΠΉ β€” Ρ‚Π°ΠΊΠΈΠ΅ слова, ΠΊΠ°ΠΊ Β«ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΒ», Β«Π΄Π°Π»Π΅Π΅Β» ΠΈ Β«ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΒ», ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ Π΄ΠΎΠ±Π°Π²Π»ΡΡŽΡ‚ Π½ΠΈΠΊΠ°ΠΊΠΎΠΉ цСнности для рассуТдСний.
  • ΠšΡ€ΠΈΡ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ ΠΌΠΎΠΌΠ΅Π½Ρ‚Ρ‹ принятия Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ Π·Π°Ρ‚Ρ€ΡƒΠ΄Π½ΡΡŽΡ‚ΡΡ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒΡŽ Π±Ρ€Π°Ρ‚ΡŒ Π½Π° сСбя ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΡΡ‚Π²Π° ΠΏΠΎ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹ΠΌ словам
  • МодСль Ρ‚Ρ€Π°Ρ‚ΠΈΡ‚ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ усилия Π½Π° ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅ грамматичСской связности, Π° Π½Π΅ Π½Π° фактичСскоС Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ.

Π˜ΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ»ΠΈ Π½Π΅Ρ‡Ρ‚ΠΎ интСрСсноС Π² своих Π½Π΅ΠΉΡ€ΠΎΠ²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΎΠ½Π½Ρ‹Ρ… исслСдованиях: ΠΊΠΎΠ³Π΄Π° люди Ρ€Π΅ΡˆΠ°ΡŽΡ‚ слоТныС Π·Π°Π΄Π°Ρ‡ΠΈ рассуТдСния, языковыС Ρ†Π΅Π½Ρ‚Ρ€Ρ‹ нашСго ΠΌΠΎΠ·Π³Π° часто ΠΎΡΡ‚Π°ΡŽΡ‚ΡΡ Π½Π° ΡƒΠ΄ΠΈΠ²Π»Π΅Π½ΠΈΠ΅ Ρ‚ΠΈΡ…ΠΈΠΌΠΈ. Однако ΠΌΡ‹ создаСм систСмы ИИ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π΄Π΅Π»Π°ΡŽΡ‚ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ΅ β€” Π·Π°ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ ΠΈΡ… ΠΏΠ΅Ρ€Π΅Π²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ шаг рассуТдСния Π² слова.

ΠŸΠΎΠ΄ΡƒΠΌΠ°ΠΉΡ‚Π΅ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ Π²Ρ‹ Ρ€Π΅ΡˆΠ°Π΅Ρ‚Π΅ Π³ΠΎΠ»ΠΎΠ²ΠΎΠ»ΠΎΠΌΠΊΡƒ. Π’Π°Ρˆ Ρ€Π°Π·ΡƒΠΌ, вСроятно, исслСдуСт нСсколько возмоТностСй ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ, ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Π½Π΅Ρ‡Π΅Ρ‚ΠΊΠΈΠ΅ Π³ΠΈΠΏΠΎΡ‚Π΅Π·Ρ‹ ΠΈ кристаллизуСт свои мысли Π² язык Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‚ΠΎΠ³Π΄Π°, ΠΊΠΎΠ³Π΄Π° дСлится Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ. Но Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠΈ мыслСй Π·Π°ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ ΠΌΠΎΠ΄Π΅Π»ΠΈ ИИ Π²Π΅Ρ€Π±Π°Π»ΠΈΠ·ΠΎΠ²Π°Ρ‚ΡŒ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΏΡ€ΠΎΠΌΠ΅ΠΆΡƒΡ‚ΠΎΡ‡Π½Ρ‹ΠΉ шаг, создавая «лингвистичСскоС ΡƒΠ·ΠΊΠΎΠ΅ мСсто».

Π­Ρ‚ΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΠΏΡ€ΠΈΠ²Π΅Π»ΠΎ ΠΊ Π²Π°ΠΆΠ½ΠΎΠΌΡƒ вопросу: Ρ‡Ρ‚ΠΎ, Ссли Π±Ρ‹ ΠΌΡ‹ ΠΌΠΎΠ³Π»ΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ΡŒ модСлям ИИ Ρ€Π°ΡΡΡƒΠΆΠ΄Π°Ρ‚ΡŒ Π½Π° ΠΈΡ… Ρ€ΠΎΠ΄Π½ΠΎΠΌ «языкС» β€” Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠΌ, ΠΌΠ½ΠΎΠ³ΠΎΠΌΠ΅Ρ€Π½ΠΎΠΌ пространствС ΠΈΡ… скрытых состояний β€” вмСсто Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π·Π°ΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ ΠΈΡ… ΠΏΠ΅Ρ€Π΅Π²ΠΎΠ΄ΠΈΡ‚ΡŒ всС Π² Ρ‚ΠΎΠΊΠ΅Π½Ρ‹?

ПониманиС ΠΈΠ½Π½ΠΎΠ²Π°Ρ†ΠΈΠΉ COCONUT

ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²ΡŒΡ‚Π΅ сСбС Ρ€Π°Π·Π½ΠΈΡ†Ρƒ ΠΌΠ΅ΠΆΠ΄Ρƒ произнСсСниСм мыслСй вслух ΠΈ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΌ ΠΌΡ‹ΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ процСссом, происходящим Π² ΠΌΠΎΠ·Π³Π΅. ИмСнно этот Ρ€Π°Π·Ρ€Ρ‹Π² β€” ΠΌΠ΅ΠΆΠ΄Ρƒ Π²Π΅Ρ€Π±Π°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π½Ρ‹ΠΌΠΈ мыслями ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ Π°ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒΡŽ β€” исслСдоватСли Meta использовали Π² COCONUT.

Настоящий ΠΏΡ€ΠΎΡ€Ρ‹Π² COCONUT Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ позволяСт модСлям ИИ ΠΌΡ‹ΡΠ»ΠΈΡ‚ΡŒ двумя Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ способами, ΠΏΠΎΠ΄ΠΎΠ±Π½ΠΎ Ρ‚ΠΎΠΌΡƒ, ΠΊΠ°ΠΊ это Π΄Π΅Π»Π°ΡŽΡ‚ люди. ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²ΡŒΡ‚Π΅, Ρ‡Ρ‚ΠΎ Π²Ρ‹ Ρ€Π΅ΡˆΠ°Π΅Ρ‚Π΅ ΡΠ»ΠΎΠΆΠ½ΡƒΡŽ Π³ΠΎΠ»ΠΎΠ²ΠΎΠ»ΠΎΠΌΠΊΡƒ β€” Π²Ρ‹ вСдь Π½Π΅ ΠΏΡ€ΠΎΠΊΡ€ΡƒΡ‡ΠΈΠ²Π°Π΅Ρ‚Π΅ Π² Π³ΠΎΠ»ΠΎΠ²Π΅ ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½Ρ‹ΠΉ Ρ…ΠΎΠ΄, Π²Π΅Ρ€Π½ΠΎ? ВмСсто этого Π²Ρ‹:

  1. ΠŸΠΎΠ³Π»ΠΎΡ‚ΠΈΡ‚Π΅ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ: Π’Ρ‹ воспринимаСтС ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ (ΠΊΠ°ΠΊ Π±ΡƒΠ΄Ρ‚ΠΎ Ρ‡ΠΈΡ‚Π°Π΅Ρ‚Π΅ ΠΏΡ€Π°Π²ΠΈΠ»Π° Π³ΠΎΠ»ΠΎΠ²ΠΎΠ»ΠΎΠΌΠΊΠΈ)
  2. Π”ΡƒΠΌΠ°ΠΉ ΠΌΠΎΠ»Ρ‡Π°: Π’Π°Ρˆ ΠΌΠΎΠ·Π³ исслСдуСт мноТСство возмоТностСй, Π½Π΅ облСкая ΠΈΡ… Π² слова
  3. ΠŸΠΎΠ΄Π΅Π»ΠΈΡ‚Π΅ΡΡŒ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ΠΌ: Волько Ρ‚ΠΎΠ³Π΄Π° Π²Ρ‹ ΠΎΠ±ΡŠΡΡΠ½ΡΠ΅Ρ‚Π΅ свои мысли Π΄Ρ€ΡƒΠ³ΠΈΠΌ.

COCONUT Π΄Π°Π΅Ρ‚ модСлям ИИ Ρ‚Ρƒ ΠΆΠ΅ Π΅ΡΡ‚Π΅ΡΡ‚Π²Π΅Π½Π½ΡƒΡŽ Π³ΠΈΠ±ΠΊΠΎΡΡ‚ΡŒ. ВмСсто Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π·Π°ΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ ΠΈΡ… Β«ΠΏΡ€ΠΎΠ³ΠΎΠ²Π°Ρ€ΠΈΠ²Π°Ρ‚ΡŒΒ» ΠΊΠ°ΠΆΠ΄ΡƒΡŽ ΠΌΡ‹ΡΠ»ΡŒ вслух (ΠΊΠ°ΠΊ это Π΄Π΅Π»Π°ΡŽΡ‚ Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹), ΠΎΠ½ позволяСт ΠΈΠΌ Π΄ΡƒΠΌΠ°Ρ‚ΡŒ Π² ΠΈΡ… СстСствСнном Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΌ пространствС β€” Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ исслСдоватСли Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ Β«Π»Π°Ρ‚Π΅Π½Ρ‚Π½Ρ‹ΠΌ пространством».

МодСль ΠΏΠ»Π°Π²Π½ΠΎ ΠΏΠ΅Ρ€Π΅ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ ΠΌΠ΅ΠΆΠ΄Ρƒ двумя Ρ€Π΅ΠΆΠΈΠΌΠ°ΠΌΠΈ:

  • Когда Π΅ΠΌΡƒ Π½ΡƒΠΆΠ½ΠΎ ΠΏΠΎΠ½ΡΡ‚ΡŒ вопросы ΠΈΠ»ΠΈ Π΄Π°Ρ‚ΡŒ ΠΎΡ‚Π²Π΅Ρ‚Ρ‹, ΠΎΠ½ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹ΠΉ язык.
  • Но для Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ процСсса ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΡ? Он ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ чистыС Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ, свободныС ΠΎΡ‚ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½ΠΈΠΉ слов.

Π˜Π·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅: ΠœΠ΅Ρ‚Π°

Π£Ρ‡Π΅Π±Π½ΠΎΠ΅ ΠΏΡƒΡ‚Π΅ΡˆΠ΅ΡΡ‚Π²ΠΈΠ΅

Один ΠΈΠ· самых интСрСсных аспСктов COCONUT β€” это Π΅Π³ΠΎ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ° обучСния. Π•Ρ‘ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡ‚ΡŒ Π² Ρ‚ΠΎΠΌ, Ρ‡Ρ‚ΠΎ ΠΎΠ½Π° ΠΎΡ‚Ρ€Π°ΠΆΠ°Π΅Ρ‚ СстСствСнный процСсс обучСния. ΠŸΠΎΠ΄ΡƒΠΌΠ°ΠΉΡ‚Π΅ ΠΎ Ρ‚ΠΎΠΌ, ΠΊΠ°ΠΊ ΠΌΡ‹ ΠΎΠ±ΡƒΡ‡Π°Π΅ΠΌ слоТным Π½Π°Π²Ρ‹ΠΊΠ°ΠΌ: ΠΌΡ‹ Π½Π΅ бросаСм Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ° сразу Π² ΠΎΠΌΡƒΡ‚ с Π³ΠΎΠ»ΠΎΠ²ΠΎΠΉ. ΠœΡ‹ Ρ€Π°Π·Π²ΠΈΠ²Π°Π΅ΠΌ Π½Π°Π²Ρ‹ΠΊΠΈ постСпСнно, услоТняя ΠΈΡ… ΠΏΠΎ ΠΌΠ΅Ρ€Π΅ освоСния ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ уровня.

Π˜ΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠ»ΠΈ ΠΈΠΌΠ΅Π½Π½ΠΎ Ρ‚Π°ΠΊΠΎΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ ΠΊ КОКОБУ:

Π­Ρ‚Π°ΠΏ 1: Π€ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚

Π’ΠΎ-ΠΏΠ΅Ρ€Π²Ρ‹Ρ…, модСль обучаСтся ΠΊΠ°ΠΊ любой Π΄Ρ€ΡƒΠ³ΠΎΠΉ ИИ – посрСдством Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½ΠΎΠΉ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠΈ рассуТдСний. Π­Ρ‚ΠΎ Π΄Π°Π΅Ρ‚ Π΅ΠΉ ΠΏΡ€ΠΎΡ‡Π½ΠΎΠ΅ Π±Π°Π·ΠΎΠ²ΠΎΠ΅ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅.

Π­Ρ‚Π°ΠΏ 2: ΠŸΠ΅Ρ€Π΅Ρ…ΠΎΠ΄

Π’ΠΎΡ‚ Ρ‚ΡƒΡ‚-Ρ‚ΠΎ ΠΈ начинаСтся самоС интСрСсноС. ΠŸΠΎΡΡ‚Π΅ΠΏΠ΅Π½Π½ΠΎ эти записанныС шаги рассуТдСния Π·Π°ΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½Ρ‹ΠΌΠΈ мыслями. ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²ΡŒΡ‚Π΅, Ρ‡Ρ‚ΠΎ Π²Ρ‹ ΠΌΠ΅Π΄Π»Π΅Π½Π½ΠΎ ΡƒΠ±ΠΈΡ€Π°Π΅Ρ‚Π΅ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΎΡ‡Π½Ρ‹Π΅ колСса, позволяя ΠΌΠΎΠ΄Π΅Π»ΠΈ Ρ€Π°Π·Π²ΠΈΠ²Π°Ρ‚ΡŒ собствСнныС Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΠ΅ ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹ ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΡ.

Π­Ρ‚Π°ΠΏ 3: Баланс

НаконСц, модСль учится ΠΏΠ»Π°Π²Π½ΠΎ ΠΏΠ΅Ρ€Π΅ΠΊΠ»ΡŽΡ‡Π°Ρ‚ΡŒΡΡ ΠΌΠ΅ΠΆΠ΄Ρƒ Π³Π»ΡƒΠ±ΠΎΠΊΠΈΠΌ ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΠ΅ΠΌ Π² скрытом пространствС ΠΈ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Π΅ΠΉ своих ΠΈΠ΄Π΅ΠΉ понятным языком.

Π’ΠΎ врСмя обучСния модСль Ρ€Π°Π·Π²ΠΈΠ²Π°Π»Π° способности, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½ΠΈΠΊΡ‚ΠΎ Π½Π΅ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠΈΡ€ΠΎΠ²Π°Π» явно, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠ΅ рассмотрСниС Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… ΠΏΡƒΡ‚Π΅ΠΉ рассуТдСния. Π­Ρ‚ΠΎ Π²ΠΎΠ·Π½ΠΈΠΊΠ°ΡŽΡ‰Π΅Π΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ особСнно интСрСсно, ΠΏΠΎΡΠΊΠΎΠ»ΡŒΠΊΡƒ ΠΎΠ½ΠΎ ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΡ€ΠΈΠ±Π»ΠΈΠ·ΠΈΡ‚ΡŒΡΡ ΠΊ Π±ΠΎΠ»Π΅Π΅ СстСствСнным Ρ„ΠΎΡ€ΠΌΠ°ΠΌ рассуТдСний ИИ. ИмСнно эти Π½Π΅ΠΎΠΆΠΈΠ΄Π°Π½Π½Ρ‹Π΅ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ часто приводят ΠΊ самым большим ΠΏΡ€ΠΎΡ€Ρ‹Π²Π°ΠΌ.

ΠŸΠΎΠΌΠ½ΠΈΡ‚Π΅ Ρ‚Π΅ Π½Π΅ΠΉΡ€ΠΎΠ²ΠΈΠ·ΡƒΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΎΠ½Π½Ρ‹Π΅ исслСдования, ΠΎ ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… я ΡƒΠΏΠΎΠΌΠΈΠ½Π°Π» Ρ€Π°Π½Π΅Π΅? Они ΠΏΠΎΠΊΠ°Π·Π°Π»ΠΈ, Ρ‡Ρ‚ΠΎ чСловСчСский ΠΌΠΎΠ·Π³ часто ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ слоТныС рассуТдСния Π±Π΅Π· интСнсивного задСйствования языковых Ρ†Π΅Π½Ρ‚Ρ€ΠΎΠ². COCONUT, ΠΏΠΎΡ…ΠΎΠΆΠ΅, Ρ€Π°Π·Π²ΠΈΠ²Π°Π΅Ρ‚ ΠΏΠΎΡ…ΠΎΠΆΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ β€” Π³Π»ΡƒΠ±ΠΎΠΊΠΎ думая Π² своСм Ρ€ΠΎΠ΄Π½ΠΎΠΌ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΌ пространствС ΠΈ ΠΎΠ±Ρ€Π°Ρ‰Π°ΡΡΡŒ ΠΊ языку Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‚ΠΎΠ³Π΄Π°, ΠΊΠΎΠ³Π΄Π° это Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ для общСния.

Π¦ΠΈΡ„Ρ€Ρ‹ Ρ€Π°ΡΡΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ ΠΈΡΡ‚ΠΎΡ€ΠΈΡŽ

Π’ Ρ…ΠΎΠ΄Π΅ исслСдования Π±Ρ‹Π»ΠΎ сдСлано Π΅Ρ‰Π΅ нСсколько ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… Π²Ρ‹Π²ΠΎΠ΄ΠΎΠ²:

  • ВСкстовыС матСматичСскиС Π·Π°Π΄Π°Ρ‡ΠΈ (GSM8k): Π—Π΄Π΅ΡΡŒ COCONUT достиг точности 34.1%. Π₯отя это ΠΈ Π½ΠΈΠΆΠ΅, Ρ‡Π΅ΠΌ Ρƒ Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Chain-of-Thought (42.9%), это Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π»ΡƒΡ‡ΡˆΠ΅, Ρ‡Π΅ΠΌ Ρƒ Π±Π°Π·ΠΎΠ²Ρ‹Ρ… ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΎΠ².
  • ЛогичСский Π²Ρ‹Π²ΠΎΠ΄ (ProntoQA): Π’ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ COCONUT составила 99.8%, прСвзойдя Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½ΡƒΡŽ Chain-of-Thought с Π΅Ρ‘ 98.8%. Но Π²ΠΎΡ‚ Π² Ρ‡Ρ‘ΠΌ Π·Π°Π³Π²ΠΎΠ·Π΄ΠΊΠ°: для этого ΠΏΠΎΡ‚Ρ€Π΅Π±ΠΎΠ²Π°Π»ΠΎΡΡŒ всСго 9 Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ², Π² Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ Ρƒ CoT этот ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΡŒ составил 92.5.
  • КомплСксноС ΠΏΠ»Π°Π½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ (ProsQA): Π‘Π°ΠΌΡ‹Π΅ Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‰ΠΈΠ΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ Π±Ρ‹Π»ΠΈ ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Ρ‹ Π² этом ΠΏΡ€ΠΎΠ΄Π²ΠΈΠ½ΡƒΡ‚ΠΎΠΌ тСстС Π½Π° рассуТдСниС. COCONUT достиг точности 97%, Ρ‚ΠΎΠ³Π΄Π° ΠΊΠ°ΠΊ Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ достигли Ρ‚ΠΎΠ»ΡŒΠΊΠΎ 77.5%. И снова, ΠΎΠ½ сдСлал это с Π·Π°ΠΌΠ΅Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΡΡ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒΡŽ β€” 14.2 Ρ‚ΠΎΠΊΠ΅Π½Π° ΠΏΡ€ΠΎΡ‚ΠΈΠ² 49.4.

Π­Ρ‚ΠΈ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ Π΄Π΅Π»Π°ΡŽΡ‚ ΠΌΠ½ΠΎΠ³ΠΎΠΎΠ±Π΅Ρ‰Π°ΡŽΡ‰ΠΈΠΌΠΈ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π³ΠΎΠ»Ρ‹Π΅ Ρ†ΠΈΡ„Ρ€Ρ‹, Π½ΠΎ ΠΈ Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΎΠ½ΠΈ Ρ€Π°ΡΠΊΡ€Ρ‹Π²Π°ΡŽΡ‚ ΠΎ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… Ρ‚ΠΈΠΏΠ°Ρ… ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΡ. Π₯отя COCONUT всС Π΅Ρ‰Π΅ ΠΌΠΎΠΆΠ΅Ρ‚ Π½Π°ΠΉΡ‚ΠΈ ΠΎΠΏΠΎΡ€Ρƒ Π² матСматичСских рассуТдСниях, ΠΎΠ½ прСуспСваСт Π² Π·Π°Π΄Π°Ρ‡Π°Ρ…, Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‰ΠΈΡ… слоТного логичСского планирования ΠΈ Π΄Π΅Π΄ΡƒΠΊΡ†ΠΈΠΈ.

COCONUT прСдставляСт собой Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠ΅ пСрСосмыслСниС Ρ‚ΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ систСмы ИИ ΠΌΠΎΠ³ΡƒΡ‚ Ρ€Π°ΡΡΡƒΠΆΠ΄Π°Ρ‚ΡŒ, ΠΈ ΠΏΡ€ΠΈΠ±Π»ΠΈΠΆΠ°Π΅Ρ‚ нас ΠΊ Π±ΠΎΠ»Π΅Π΅ СстСствСнным, эффСктивным ΠΈ ΠΌΠΎΡ‰Π½Ρ‹ΠΌ Ρ„ΠΎΡ€ΠΌΠ°ΠΌ искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π°. ΠŸΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ ΠΎΡ‚ рассуТдСний Π½Π° основС языка ΠΊ Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠΌΡƒ ΠΌΡ‹ΡˆΠ»Π΅Π½ΠΈΡŽ β€” это шаг ΠΊ Π±ΠΎΠ»Π΅Π΅ способным ΠΈ эффСктивным систСмам ИИ.

АлСкс ΠœΠ°ΠΊΠ€Π°Ρ€Π»Π°Π½Π΄ β€” Турналист ΠΈ ΠΏΠΈΡΠ°Ρ‚Π΅Π»ΡŒ, Π·Π°Π½ΠΈΠΌΠ°ΡŽΡ‰ΠΈΠΉΡΡ искусствСнным ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ΠΎΠΌ. Он сотрудничал с многочислСнными стартапами ΠΈ публикациями Π² области искусствСнного ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚Π° ΠΏΠΎ всСму ΠΌΠΈΡ€Ρƒ.