Новий інстинкт штучного інтелекту: чому розумніше мислення важливіше, ніж довше мислення

Розробка штучного інтелекту (ШІ) тривалий час рухалася вірою в те, що збільшення даних та обчислювальної потужності може покращити продуктивність. Цей підхід “брутальної сили” призвів до появи вражаючих систем ШІ, таких як GPT-3, які показали себе досить добре за роки. Однак цей парадигма наближається до своїх меж. Коли проблеми ШІ стають більш складними, стає ясно, що просте збільшення обчислювальної потужності не буде сталим чи ефективним рішенням для довгострокового прогресу. Це розуміння спонукало дослідників переглянути свій підхід до розробки ШІ. У цьому контексті модель Cogito v2 компанії Deep Cogito вводить новий підхід, який може змінити майбутнє розробки ШІ. Замість того, щоб залежати від більшої обчислювальної потужності чи розширення розуміння, Cogito v2 розвиває внутрішній “інстинкт”, який спрямовує модель на визначення правильних шляхів ще до початку пошуку. Це зміна парадигми у розробці ШІ, яка полягає у фокусуванні на розумнішому мисленні, а не на довшому.

Зміна у розробці ШІ

Тривалий час основним двигуном розвитку ШІ була ідея про те, що “більше – краще”. Цей підхід призвів до появи моделей ШІ, які генерують розширені ланцюги розуміння для вирішення складних проблем. Моделі OpenAI, такі як GPT-3, є прикладом цього підходу, де довші ланцюги розуміння призвели до вражаючих результатів на складних завданнях. Хоча цей метод дав вражаючі результати, він має суттєві недоліки. Довші ланцюги розуміння вимагають більше обчислювальних ресурсів, що призводить до повільнішого часу висновку та вищої операційної вартості. Крім того, дослідження показали, що ці розширені процеси часто призводять до зменшення ефективності, коли довше розуміння призводить до більшої упередженості та меншої ефективності. Основна проблема полягає в тому, що залежність від довших ланцюгів розуміння та збільшення обчислювальної потужності вже не є ефективним рішенням для вирішення складних проблем ШІ. Ці підходи обмежені своєю великою тривалістю обробки та вимогами до пам’яті.

Чому “інстинкт” важливий для ШІ

На відміну від поточних систем ШІ, які залежать від розширення розуміння, люди часто використовують те, що називається “інстинктом” (видом швидкого, інтуїтивного судження), для вирішення проблем. Хоча інстинкт може здатися абстрактною концепцією, він часто є результатом років досвіду, навчання та обробки контексту, що дозволяє людям приймати швидкі рішення без повного аналізу кожної деталі. Це саме інтуїція відокремлює суру обчислювальну діяльність від людського мислення. Люди будують цей “інстинкт” через розпізнавання закономірностей та накопичений досвід, що дозволяє їм приймати рішення без вичерпного дослідження кожної можливої варіації. Новий “інстинкт” ШІ спрямований на повторення цього процесу.
Ця ідея, також відома як “інтелектуальна 先驗ність”, могла б бути ключем до надання систем ШІ людського мислення та підвищення їх ефективності. Моделі ШІ з сильною інтелектуальною 先驗ністю можуть передбачати, які рішення найімовірніше будуть успішними, без потреби проходити через розширені обчислення. Замість того, щоб залежати від вичерпних методів пошуку, інстинкт дозволяє системам ШІ використовувати попередні знання, зосереджуючись на найбільш ефективних шляхах до рішення.

Як Cogito v2 ввів “інстинкт”

Cogito ввів ідею “інстинкту” (більш технічно, інтелектуальної 先驗ності) у свою недавно випущену модель Cogito v2. Вони інтегрували цю ідею за допомогою механізму, званого Ітеративна дистиляція та посилення (IDA). Цей механізм дозволяє моделі навчатися на власному процесі розуміння та розвивати свої навички вирішення проблем з часом. Замість того, щоб залежати від статичних підказок чи фіксованих учителів, IDA дозволяє ШІ витягувати успішні шляхи розуміння назад у свої основні параметри моделі. Цей процес самозмінювання розвиває здатність моделі до розуміння, оптимізуючи не тільки точні відповіді, але й найбільш ефективні методи мислення.

• Ітеративна дистиляція та посилення (IDA)

Щоб зрозуміти, як працює IDA, ми можемо розглянути двопроцесну теорію, яка розділяє людське мислення на два системи: Систему 1 та Систему 2. Система 1 відноситься до швидкого, інтуїтивного прийняття рішень, тоді як Система 2 є повільнішою, з більш обдуманим розумінням. Теорія припускає, що люди використовують Систему 1 для більшості завдань, але переходять до Системи 2, коли стикаються з більш складними рішеннями.

IDA – це двофазний цикл: посилення та дистиляція. У фазі посилення модель використовує інтенсивні обчислювальні методи для генерації високоякісних рішень чи слідів розуміння. Це схоже на мислення Системи 2, де ШІ витрачає час на ретельну оцінку потенційних рішень. У фазі дистиляції модель потім внутрішньо поглинає знання з фази посилення, перетворюючи процес розуміння з Системи 2 на Систему 1. Як і людина-водій стає більш інтуїтивним після отримання досвіду, так і модель ШІ з IDA може приймати швидші, більш ефективні рішення з часом.

Ключова ідея IDA полягає в тому, щоб використовувати обчислювально інтенсивне розуміння у фазі посилення, а потім витягувати покращене розуміння назад у параметри моделі. Цей процес дозволяє моделі внутрішньо поглинати ефективні стратегії розуміння, що розвиває її здатність мислити інтуїтивно при вирішенні проблем. Повторюючи цей цикл, система ШІ продовжує покращувати свою здатність приймати рішення з меншими обчислювальними ресурсами.

Переваги інтеграції “інстинкту” у ШІ

Однією з основних переваг ШІ-інстинкту є його ефективність. Моделі, такі як Cogito v2, демонструють ланцюги розуміння, які на 60% коротші, ніж у конкуруючих моделей. Це означає, що вони можуть прийти до відповідей з меншою кількістю внутрішніх кроків, зменшуючи час та ресурси, необхідні для висновку. Наприклад, проблема, яка могла б зайняти у DeepSeek R1 понад 200 токенів для вирішення, може бути вирішена Cogito v2 менш ніж за 100 токенів.

Крім того, вартість навчання Cogito v2 значно нижча, ніж у традиційних моделей ШІ. Цілій процес навчання Cogito v2, який охоплює широкий спектр параметрів, коштував менше 3,5 мільйонів доларів, що значно менше, ніж витрати, пов’язані з великомасштабними моделями, такими як GPT-4.

Cogito v2 також продемонстрував появу здатностей у галузях, для яких він не був явно навчений. Наприклад, хоча він був навчений переважно на тексті, Cogito v2 може розуміти зображення, витягуючи знання про композицію зображення та середовище. Ця здатність до міжмодального розуміння є суттєвим кроком до узагальненого інтелекту, важливої віхі на шляху до штучного загального інтелекту (ШЗІ).

Перегляд розробки ШІ

Успіх інтелектуальної 先驗ності свідчить про те, що стратегії розробки ШІ потребують фундаментальної зміни. Замість простого збільшення розміру моделі чи збільшення обчислювальних ресурсів, розробка ШІ повинна зосередитися на створенні систем, які можуть розвивати та вдосконалювати свої власні когнітивні стратегії. Ця зміна дзеркально відображає розвиток людської когніції, де інтелект не є результатом більшого мозку чи більш тривалого мислення, а краще мислення та розуміння стратегій. Ця зміна підходу може мати довгострокові наслідки. Зосереджуючись на розумнішому мисленні, а не на суровій обчислювальній потужності, ШІ може стати більш універсальним, адаптивним та здатним справлятися з новими викликами. Ця зміна може прискорити застосування ШІ в галузях, таких як охорона здоров’я, кібербезпека та автономний транспорт, роблячи системи ШІ більш ефективними, економічно вигідними та впливовими.

Основне

Успіх Cogito v2 демонструє, що майбутнє ШІ лежить не в збільшенні моделей чи збільшенні обчислювальної потужності, а в вдосконаленні архітектур розуміння та оптимізації для розумнішого вирішення проблем. Ця зміна обіцяє більш сталий та доступний майбутній ШІ, де системи можуть безперервно покращуватися та адаптуватися з меншою залежністю від великих обчислювальних ресурсів. Зосереджуючись на розумнішому мисленні, а не на суровій обчислювальній потужності, ШІ може стати більш здатним справлятися з складними, реальними проблемами.