Nowy instynkt AI: Dlaczego myślenie bardziej inteligentne jest ważniejsze niż myślenie dłuższe

Postępy w dziedzinie sztucznej inteligencji (AI) były przez długi czas napędzane przekonaniem, że zwiększanie danych i mocy obliczeniowej może poprawić wydajność. Ten “brutalny” podejście doprowadziło do imponujących systemów AI, takich jak GPT-3, które przez lata osiągały znakomite wyniki. Jednak ten paradygmat zbliża się do granic. Im problemy AI stają się bardziej złożone, tym bardziej staje się jasne, że proste dodawanie większej mocy obliczeniowej nie będzie zrównoważonym ani skutecznym rozwiązaniem na dłuższą metę. To przekonanie skłoniło badaczy do przemyślenia swojego podejścia do rozwoju AI. W tym kontekście model Cogito v2 firmy Deep Cogito wprowadza nowe podejście, które może zmienić przyszłość rozwoju AI. Zamiast polegać na większej mocy obliczeniowej lub wydłużonym rozumowaniu, Cogito v2 rozwija wewnętrzne “instynkty”, które prowadzą model do identyfikacji właściwej ścieżki przed rozpoczęciem wyszukiwania. Jest to zmiana paradygmatu w sposobie, w jaki AI jest rozwijana, koncentrując się na lepszym myśleniu, a nie dłuższym.

Zmiana w rozwoju AI

Przez wiele lat siłą napędową postępów w AI była idea, że “więcej jest lepsze”. To podejście doprowadziło do modeli AI, które generują obszerne łańcuchy rozumowania, aby rozwiązać złożone problemy. Modele OpenAI, takie jak GPT-3, są przykładem tego podejścia, gdzie dłuższe łańcuchy myślowe doprowadziły do imponujących wyników w trudnych zadaniach. Chociaż ta metoda przyniosła imponujące wyniki, ma znaczne wady. Dłuższe łańcuchy rozumowania wymagają większych zasobów obliczeniowych, co skutkuje wolniejszymi czasami inferencji i wyższymi kosztami operacyjnymi. Ponadto badania wykazały, że te przedłużone procesy często prowadzą do malejących zwrotów, gdzie dłuższe rozumowanie prowadzi do większych stronniczości i mniejszej wydajności. Podstawowym problemem jest to, że poleganie na długich łańcuchach rozumowania i zwiększaniu mocy obliczeniowej nie jest już skutecznym rozwiązaniem dla rozwiązywania złożonych problemów AI. Te podejścia są ograniczone przez ogromne czasy przetwarzania i wymagania pamięci.

Dlaczego “instynkt” ma znaczenie w AI

W przeciwieństwie do obecnych systemów AI, które polegają na wydłużonym rozumowaniu, ludzie często polegają na tym, co nazywa się “instynktem” (rodzajem szybkiego, intuicyjnego osądu), aby rozwiązać problemy. Chociaż instynkt może wydawać się abstrakcyjnym pojęciem, jest to często wynik lat doświadczenia, uczenia się i przetwarzania kontekstu, co pozwala ludziom podejmować szybkie decyzje bez pełnego analizowania każdego szczegółu. To rodzaj intuicji, który oddziela surowe obliczenia od ludzkiego rozumowania. Ludzie budują ten “instynkt” poprzez rozpoznawanie wzorców i gromadzenie doświadczenia, co pozwala im podejmować decyzje bez wyczerpującego przeszukiwania każdej możliwej opcji. Nowy “instynkt” AI ma na celu odtworzenie tego procesu.

To pojęcie, określane również jako “inteligencka przewaga”, może być kluczem do wyposażenia systemów AI w ludzkie rozumowanie i uczynienia ich bardziej wydajnymi. Modele AI z silną inteligencką przewagą mogą przewidywać, które rozwiązania są prawdopodobnie skuteczne, bez konieczności przeprowadzania obszernych obliczeń. Zamiast polegać na wyczerpujących metodach wyszukiwania, instynkt pozwala systemom AI wykorzystywać wcześniejszą wiedzę, koncentrując się na najbardziej skutecznych ścieżkach do rozwiązania.

Jak Cogito v2 wdrożyło “instynkt”

Cogito wdrożyło ideę “instynktu” (bardziej technicznie, inteligenckiej przewagi) w swoim niedawno wydanym modelu Cogito v2. Zintegrowało tę ideę za pomocą mechanizmu zwanego Iterowaną Destylacją i Amplifikacją (IDA). Mechanizm ten umożliwia modelowi uczenie się z własnego procesu rozumowania i doskonalenie umiejętności rozwiązywania problemów w czasie. Zamiast polegać na statycznych podpowiedziach lub ustalonych nauczycielach, IDA umożliwia AI destylowanie udanych ścieżek rozumowania z powrotem do parametrów modelu. Ten proces samodoskonalenia doskonali zdolność modelu do rozumowania w czasie, optymalizując nie tylko dla dokładnych odpowiedzi, ale także dla najbardziej efektywnych metod myślenia.

• Iterowana Destylacja i Amplifikacja (IDA)

Aby zrozumieć, jak działa IDA, możemy przyjrzeć się teorii dwuprocesowej, która dzieli ludzkie myślenie na dwa systemy: System 1 i System 2. System 1 odnosi się do szybkiego, intuicyjnego podejmowania decyzji, podczas gdy System 2 jest wolniejszy, z bardziej przemyślanym rozumowaniem. Teoria sugeruje, że ludzie polegają na Systemie 1 w większości zadań, ale przechodzą na System 2, gdy są konfrontowani z bardziej złożonymi decyzjami.

IDA jest dwuetapowym cyklem: amplifikacji i destylacji. W fazie amplifikacji model wykorzystuje intensywne metody obliczeniowe do generowania wysokiej jakości rozwiązań lub śladów rozumowania. Jest to podobne do myślenia Systemu 2, gdzie AI zajmuje czas, aby starannie ocenić potencjalne rozwiązania. W fazie destylacji model internalizuje spostrzeżenia z fazy amplifikacji, przekształcając proces rozumowania z Systemu 2 na System 1. Podobnie jak kierowca staje się bardziej intuicyjny po zdobyciu doświadczenia, model AI z IDA może podejmować szybsze, bardziej efektywne decyzje w czasie.

Kluczową ideą IDA jest wykorzystanie intensywnych obliczeń w fazie amplifikacji, a następnie destylowanie udoskonalonego rozumowania z powrotem do parametrów modelu. Ten proces pozwala modelowi internalizować skuteczne strategie rozumowania, budując jego zdolność do myślenia intuicyjnego przy rozwiązywaniu problemów. Poprzez powtarzanie tego cyklu, system AI stale poprawia swoją zdolność do podejmowania decyzji z mniejszymi zasobami obliczeniowymi.

Zalety integracji “instynktu” z AI

Jedną z głównych zalet instynktu AI jest jego wydajność. Modele takie jak Cogito v2 wykazują łańcuchy rozumowania, które są nawet o 60% krótsze niż te w modelach konkurencyjnych. Oznacza to, że mogą one dojść do odpowiedzi z mniejszą liczbą wewnętrznych kroków, redukując czas i zasoby wymagane do inferencji. Na przykład, problem, który mógłby zająć model DeepSeek R1 ponad 200 tokenów, może być rozwiązany przez Cogito v2 w mniej niż 100 tokenów.

Ponadto koszt szkolenia Cogito v2 jest znacznie niższy niż w przypadku tradycyjnych modeli AI. Cały proces szkolenia Cogito v2, obejmujący szeroki zakres parametrów, wyniósł mniej niż 3,5 miliona dolarów, co jest znacznie mniej niż wydatki związane z dużymi modelami, takimi jak GPT-4.

Cogito v2 wykazało również emergentne zdolności w obszarach, w których nie zostało wyraźnie przeszkolone. Na przykład, pomimo szkolenia głównie na tekście, Cogito v2 może rozumować o obrazach, wyciągając wnioski o składzie i środowisku obrazu. Ta zdolność rozumowania cross-modalnego jest znacznym krokiem w kierunku ogólnej inteligencji, ważnego kamienia milowego na drodze do sztucznej ogólnej inteligencji (AGI).

Ponowne rozważenie rozwoju AI

Sukces inteligenckiej przewagi sugeruje, że strategie rozwoju AI wymagają fundamentalnej zmiany. Zamiast po prostu zwiększać rozmiar modelu lub zwiększać zasoby obliczeniowe, rozwój AI powinien koncentrować się na budowaniu systemów, które mogą rozwijać i doskonalić własne strategie poznawcze. Ta zmiana odzwierciedla rozwój poznawczy człowieka, gdzie inteligencja nie jest wynikiem większego mózgu lub dłuższego czasu myślenia, ale lepszych modeli mentalnych i strategii rozumowania. Ta zmiana podejścia może mieć długoterminowe implikacje. Poprzez koncentrowanie się na bardziej inteligentnym rozumowaniu niż na surowej mocy obliczeniowej, AI może stać się bardziej wszechstronna, adaptowalna i zdolna do radzenia sobie z nowymi wyzwaniami. Ta zmiana może przyspieszyć zastosowanie AI w branżach takich jak opieka zdrowotna, bezpieczeństwo cybernetyczne i transport samochodowy, czyniąc systemy AI bardziej efektywnymi, opłacalnymi i wpływowymi.

Podsumowanie

Sukces Cogito v2 pokazuje, że przyszłość AI nie leży w zwiększaniu modeli lub zwiększaniu mocy obliczeniowej, ale w udoskonaleniu architektur rozumowania i optymalizacji dla bardziej inteligentnego rozwiązywania problemów. Ta zmiana obiecuje bardziej zrównoważoną i dostępną przyszłość dla AI, gdzie systemy mogą ciągle się poprawiać i adaptować z mniejszym poleganiem na ogromnych zasobach obliczeniowych. Poprzez koncentrowanie się na inteligentnym rozumowaniu zamiast na obliczeniach siłowych, AI może stać się bardziej zdolna do radzenia sobie z złożonymi, rzeczywistymi problemami.