Kacerdasan buatan
KELAPA Meta: Métode AI Anu Mikir Tanpa Basa
Nalika peneliti mimiti manggihan yén model basa badag (LLMs) bisa "mikir" step by step ngaliwatan ranté-of-pikiran ajakan, éta momen narabas - tungtungna, urang bisa Toong kana prosés penalaran kotak hideung ieu. Tapi kumaha upami kuring nyarioskeun ka anjeun yén modél AI mikir dina basa alami tiasa nahan aranjeunna?
Éta naon peneliti di Meta jeung UC San Diego geus uncovered kalawan maranéhanana métode COCONUT (Chain of Continuous Thought) anyar.
Bayangkeun nyobian ngabéréskeun masalah matématika anu rumit bari kapaksa nyarioskeun unggal léngkah anu nyaring. Ngaganggu, bener? Ayeuna anjeun nuju caket kana ngartos tangtangan inti anu disanghareupan ku modél basa.
Lamun urang nyieun model AI alesan ngaliwatan basa alam:
- Kaseueuran token anu aranjeunna hasilkeun ngan ukur lem linguistik - kecap sapertos "ku kituna," "salajengna," sareng "akibatna" anu nambihan nilai nalar enol.
- Titik-titik kaputusan anu kritis dihalangan ku kabutuhan komitmen kana kecap-kecap anu khusus
- Modél nyéépkeun usaha komputasi anu penting pikeun ngajaga kohérénsi gramatikal tinimbang ngarengsekeun masalah anu sabenerna
Para panalungtik manggihan hal metot dina studi neuroimaging maranéhanana: nalika manusa tackle tugas nalar kompléks, puseur basa brains urang mindeng tetep heran sepi. Tapi kami parantos ngawangun sistem AI anu sabalikna - maksa aranjeunna narjamahkeun unggal léngkah penalaran kana kecap.
Pikirkeun kumaha anjeun ngajawab teka. Pikiran anjeun sigana ngajalajah sababaraha kamungkinan sakaligus, ngajaga hipotesis kabur, sareng ngan ukur ngakristalkeun pikiranna kana basa nalika ngabagi solusi. Tapi pendekatan ranté-pikiran tradisional maksakeun modél AI pikeun nyarioskeun unggal léngkah perantara, nyiptakeun "bottleneck linguistik."
Wawasan ieu nyababkeun patarosan anu pikasieuneun: Kumaha upami urang tiasa ngantepkeun modél AI dina "basa" asli na - rohangan diménsi anu terus-terusan tina kaayaan anu disumputkeun - tinimbang maksa aranjeunna narjamahkeun sadayana kana token?
Ngartos Inovasi COCONUT
Bayangkeun bédana antara nyarioskeun pikiran anjeun nyaring sareng prosés méntal anu saleresna lumangsung dina uteuk anjeun. Jurang éta - antara pikiran anu diucapkeun sareng kagiatan saraf - mangrupikeun naon anu diteliti ku peneliti Meta sareng COCONUT.
Terobosan nyata COCONUT perenahna dina kumaha éta ngamungkinkeun modél AI mikir dina dua cara anu béda, sapertos kumaha cara manusa. Pikirkeun nalika anjeun ngarengsekeun teka-teki anu rumit - anjeun henteu nyaritakeun unggal gerakan anu mungkin dina sirah anjeun, leres? Gantina, anjeun:
- Ngalenyepan Masalah: Anjeun nyandak inpormasi (sapertos maca aturan teka-teki)
- Pikir Jempé: uteuk anjeun explores sababaraha kemungkinan tanpa nempatkeun kana kecap
- Bagikeun Solusi: Ngan lajeng anjeun ngajelaskeun pamikiran anjeun ka batur
COCONUT masihan model AI kalenturan alam anu sami. Gantina maksa aranjeunna "nyarioskeun" unggal pamikiran anu nyaring (sapertos metode tradisional), éta ngamungkinkeun aranjeunna mikir dina rohangan saraf alami - anu disebat panaliti "ruang laten."
Modél lancar pindah antara dua modeu:
- Nalika éta peryogi ngartos patarosan atanapi masihan jawaban, éta ngagunakeun basa anu biasa
- Tapi pikeun prosés pamikiran sabenerna? Éta ngagunakeun pola saraf murni, bébas tina konstrain kecap
Gambar: Meta
Perjalanan Pelatihan
Salah sahiji aspék anu paling narik tina COCONUT nyaéta kurikulum pelatihanna. Anu ngajantenkeun ieu khusus nyaéta kumaha éta nunjukkeun kamajuan diajar alami. Pikirkeun kumaha urang ngajarkeun kaahlian anu kompleks - anjeun henteu langsung ngalungkeun batur ka jero. Anjeun ngawangun laun-laun, nambahan pajeulitna nalika aranjeunna ngawasaan unggal tingkat.
Panaliti nyandak pendekatan anu tepat ieu sareng COCONUT:
Tahap 1: Yayasan
Mimiti, modél diajar sapertos AI anu sanés - ngalangkungan penalaran ranté-panginten tradisional. Hal ieu méré eta pamahaman dasar padet.
Tahap 2: Transisi
Di dieu nyaeta dimana eta meunang metot. Saeutik demi saeutik, léngkah-léngkah nalar anu ditulis-kaluar diganti ku pamikiran-pamikiran anu terus-terusan. Bayangkeun lalaunan nyabut roda latihan, ngantepkeun modél ngembangkeun pola pikir internal sorangan.
Tahap 3: Kasaimbangan
Tungtungna, modél diajar sacara lancar ngalih antara pamikiran jero dina rohangan laten sareng komunikasi wawasanna dina basa anu jelas.
Salila latihan, modél ngembangkeun kamampuan teu aya anu diprogram sacara eksplisit - sapertos mertimbangkeun sababaraha jalur penalaran sakaligus. Paripolah anu muncul ieu hususna pikaresepeun sabab nunjukkeun yén urang tiasa ngadeukeutan kana bentuk penalaran AI anu langkung alami. Ieu mangrupikeun kamajuan anu teu kaduga anu sering nyababkeun terobosan anu paling ageung.
Émut kana studi neuroimaging anu ku kuring disebatkeun tadi? Aranjeunna nunjukkeun yén otak manusa sering ngolah tugas-tugas penalaran anu kompleks tanpa pusat basa anu beurat. COCONUT sigana nuju ngembangkeun pola anu sami - mikir jero dina rohangan saraf asli sareng ngan ukur ngarobih kana basa nalika diperyogikeun pikeun komunikasi.
Angka Nyaritakeun Carita
Sababaraha pamanggihan konci langkung menonjol tina panalungtikan:
- Masalah Kecap Matematika (GSM8k): Di dieu, COCONUT ngahontal akurasi 34.1%. Sanaos ieu langkung handap tina Chain-of-Thought tradisional (42.9%), éta langkung saé tibatan pendekatan dasar.
- Deduksi Logis (ProntoQA): COCONUT pencét 99.8% akurasi, edging kaluar Chain-of-Thought tradisional 98.8%. Tapi ieu mangrupikeun panajongna - éta ngalakukeun ieu bari ngan ukur nganggo 9 token dibandingkeun sareng 92.5 CoT.
- Perencanaan Kompleks (ProsQA): Hasil anu paling pikaresepeun sumping tina tés penalaran canggih ieu. KELAPA ngahontal akurasi 97% sedengkeun métode tradisional ngan ngahontal 77.5%. Sareng deui, éta ngalakukeun ieu kalayan efisiensi anu luar biasa - 14.2 token versus 49.4.
Anu ngajantenkeun hasil ieu ngajangjikeun sanés ngan ukur angka-angka atah - éta anu diungkabkeun ngeunaan sababaraha jinis pamikiran. Bari COCONUT masih bisa manggihan footing na kalawan nalar matematik, éta unggul dina tugas merlukeun perencanaan logis kompléks jeung deduksi.
COCONUT ngagambarkeun pamikiran ulang dasar kumaha sistem AI tiasa nalar, sareng éta ngadeukeutkeun urang kana bentuk intelijen buatan anu langkung alami, éfisién, sareng kuat. Perjalanan ti nalar dumasar basa kana pamikiran anu terus-terusan mangrupikeun léngkah pikeun sistem AI anu langkung mampuh sareng efisien.
