Новый инстинкт ИИ: почему умное мышление важнее, чем долгое мышление

Достижения в области искусственного интеллекта (ИИ) долгое время были обусловлены убеждением, что увеличение данных и вычислительной мощности может улучшить производительность. Этот подход “брутальной силы” привел к созданию впечатляющих систем ИИ, таких как GPT-3, которые показали замечательные результаты на протяжении многих лет. Однако этот парадигма достигает своих пределов. По мере того, как проблемы ИИ становятся более сложными, становится ясно, что простое увеличение вычислительной мощности не будет устойчивым или эффективным решением для долгосрочного прогресса. Это осознание заставило исследователей пересмотреть свой подход к разработке ИИ. В этом контексте модель Cogito v2 компании Deep Cogito вводит новый подход, который может изменить будущее разработки ИИ. Вместо того, чтобы полагаться на большую вычислительную мощность или длительное рассуждение, Cogito v2 развивает внутренний “инстинкт”, который направляет модель на поиск правильных путей еще до начала поиска. Это сдвиг парадигмы в том, как ИИ разрабатывается, фокусируясь на более умном мышлении, а не на более долгом.

Сдвиг в разработке ИИ

Многие годы основной движущей силой прогресса ИИ была идея о том, что “больше значит лучше“. Этот подход привел к созданию моделей ИИ, которые генерируют обширные цепочки рассуждений для решения сложных задач. Модели OpenAI, такие как GPT-3, являются примером этого подхода, где более длинные цепочки рассуждений привели к впечатляющим результатам на сложных задачах. Хотя этот метод дал впечатляющие результаты, он имеет значительные недостатки. Более длинные цепочки рассуждений требуют больше вычислительных ресурсов, что приводит к более медленным временам вывода и более высоким операционным затратам. Кроме того, исследования показали, что эти длительные процессы часто приводят к снижению эффективности, когда более длинное рассуждение приводит к большей предвзятости и меньшей эффективности. Основная проблема заключается в том, что зависимость от длинных цепочек рассуждений и увеличения вычислительной мощности больше не является эффективным решением для решения сложных задач ИИ. Эти подходы ограничены своими огромными требованиями к времени и памяти.

Почему “инстинкт” важен для ИИ

В отличие от текущих систем ИИ, которые полагаются на длительное рассуждение, люди часто полагаются на то, что называется “инстинктом” (видом быстрого, интуитивного суждения), чтобы решать проблемы. Хотя инстинкт может показаться абстрактной концепцией, он часто является результатом лет опыта, обучения и контекстной обработки, что позволяет людям принимать быстрые решения без полного анализа каждой детали. Это именно тот вид интуиции, который отделяет сырую вычислительную мощность от человеческого рассуждения. Люди строят этот “инстинкт” через распознавание образов и накопленный опыт, что позволяет им принимать решения без полного исследования каждого возможного варианта. Новый “инстинкт” ИИ направлен на воспроизведение этого процесса.

Эта идея, также известная как “интеллектуальная предпосылка”, может быть ключом к наделению систем ИИ человеческим рассуждением и повышению их эффективности. Модели ИИ с сильной интеллектуальной предпосылкой могут предвидеть, какие решения, вероятно, будут успешными, не проходя через обширные вычисления. Вместо того, чтобы полагаться на методы исчерпывающего поиска, инстинкт позволяет системам ИИ использовать предыдущие знания, сосредотачиваясь на наиболее эффективных путях к решению.

Как Cogito v2 включил “инстинкт”

Cogito включил идею “инстинкта” (более технически, интеллектуальной предпосылки) в свою недавно выпущенную модель Cogito v2. Они интегрировали эту идею с помощью механизма, называемого Итерированной дистилляцией и усилением (IDA). Этот механизм позволяет модели учиться на своем собственном процессе рассуждения и совершенствовать свои навыки решения проблем с течением времени. Вместо того, чтобы полагаться на статические подсказки или фиксированные учителя, IDA позволяет ИИ дистиллировать успешные пути рассуждений обратно в свои основные параметры модели. Этот процесс самоусовершенствования совершенствует способность модели рассуждать, оптимизируя не только точные ответы, но и наиболее эффективные методы мышления.

• Итерированная дистилляция и усиление (IDA)

Чтобы понять, как работает IDA, мы можем рассмотреть теорию двойного процесса, которая делит человеческое мышление на два системы: Систему 1 и Систему 2. Система 1 относится к быстрому, интуитивному принятию решений, в то время как Система 2 медленнее, с более обдуманным рассуждением. Теория предполагает, что люди полагаются на Систему 1 для большинства задач, но переключаются на Систему 2, когда сталкиваются с более сложными решениями.

IDA – это двухэтапный цикл: усиление и дистилляция. На этапе усиления модель использует интенсивные вычислительные методы для генерации высококачественных решений или следов рассуждений. Это похоже на мышление Системы 2, где ИИ тратит время на тщательную оценку потенциальных решений. На этапе дистилляции модель затем внутренне осваивает идеи из этапа усиления, преобразуя процесс рассуждения из Системы 2 в Систему 1. Как и человек, который становится более интуитивным после получения опыта, модель ИИ с IDA может принимать более быстрые и эффективные решения с течением времени.

Ключевая идея за IDA заключается в использовании вычислительного интенсивного рассуждения на этапе усиления, а затем дистилляции улучшенного рассуждения обратно в параметры модели. Этот процесс позволяет модели внутренне освоить эффективные стратегии рассуждения, что строит ее способность мыслить интуитивно при решении проблем. Повторяя этот цикл, система ИИ постоянно улучшает свою способность принимать решения с меньшими вычислительными ресурсами.

Преимущества интеграции “инстинкта” в ИИ

Одним из основных преимуществ “инстинкта” ИИ является его эффективность. Модели, такие как Cogito v2, демонстрируют цепочки рассуждений, которые на 60% короче, чем у конкурирующих моделей. Это означает, что они могут прийти к ответам с меньшим количеством внутренних шагов, снижая время и ресурсы, необходимые для вывода. Например, задача, которая может занять у DeepSeek R1 более 200 токенов, может быть решена Cogito v2 менее чем за 100 токенов.

Более того, стоимость обучения Cogito v2 значительно ниже, чем у традиционных моделей ИИ. Всего процесс обучения Cogito v2, охватывающий широкий спектр параметров, стоил менее 3,5 миллионов долларов, что намного меньше, чем расходы, обычно связанные с крупномасштабными моделями, такими как GPT-4.

Cogito v2 также продемонстрировал эмерджентные способности в областях, для которых он не был явно обучен. Например, несмотря на то, что он был обучен в основном на тексте, Cogito v2 может рассуждать об изображениях, делая выводы об изображениях и средах обитания. Эта способность кросс-модального рассуждения является значительным шагом к общему интеллекту, важному этапу на пути к искусственному общему интеллекту (AGI).

Переосмысление разработки ИИ

Успех интеллектуальной предпосылки предполагает, что стратегии разработки ИИ нуждаются в фундаментальном сдвиге. Вместо того, чтобы просто масштабировать размер модели или увеличивать вычислительные ресурсы, разработка ИИ должна сосредоточиться на построении систем, которые могут развивать и совершенствовать свои собственные когнитивные стратегии. Этот сдвиг отражает человеческое когнитивное развитие, где интеллект не является результатом большего мозга или более долгого времени мышления, а лучше mentalных моделей и стратегий рассуждения. Этот сдвиг может иметь долгосрочные последствия. Сосредотачиваясь на более умном рассуждении, а не на сырой вычислительной мощности, ИИ может стать более универсальным, адаптируемым и способным решать новые проблемы. Этот сдвиг может ускорить применение ИИ в отраслях, таких как здравоохранение, кибербезопасность и автономный транспорт, делая системы ИИ более эффективными, экономически эффективными и влиятельными.

Основная мысль

Успех Cogito v2 демонстрирует, что будущее ИИ лежит не в масштабировании моделей или увеличении вычислительной мощности, а в совершенствовании архитектур рассуждения и оптимизации для более умного решения проблем. Этот сдвиг обещает более устойчивое и доступное будущее для ИИ, где системы могут непрерывно улучшаться и адаптироваться с меньшей зависимостью от огромных вычислительных ресурсов. Сосредотачиваясь на интеллектуальном рассуждении, а не на брутальной вычислительной мощности, ИИ может стать более способным решать сложные, реальные проблемы.