Мираж искусственного интеллекта: почему цепочка мыслей может не быть тем, чем мы думаем

Большие языковые модели (LLM) впечатлили нас своей способностью разбивать сложные проблемы на шаги. Когда мы просим LLM решить математическую задачу, они теперь показывают свою работу, проходя через каждый логический шаг перед тем, как получить ответ. Этот подход, называемый цепочкой мыслей (CoT), сделал системы искусственного интеллекта более похожими на человеческое мышление. Но что, если это впечатляющая способность рассуждения на самом деле является иллюзией? Новые исследования из Университета штата Аризона предполагают, что то, что кажется настоящим логическим мышлением, может быть на самом деле сложной техникой распознавания образов. В этой статье мы рассмотрим это открытие и проанализируем его последствия для того, как мы проектируем, оцениваем и доверяем системам искусственного интеллекта.

Проблема с текущим пониманием

Промптинг цепочки мыслей стал одним из наиболее признанных достижений в области рассуждений искусственного интеллекта. Он позволяет моделям решать задачи, начиная от математических проблем и заканчивая логическими головоломками, показывая свою работу через промежуточные шаги. Эта видимая способность рассуждения привела многих к убеждению, что системы искусственного интеллекта развивают выводные способности, подобные человеческому мышлению. Однако исследователи начали сомневаться в этом убеждении.

В недавнем исследовании они наблюдали, что когда задавались вопросы, такие как был ли основан США в високосный год или нет, LLM давали противоречивые ответы. Хотя они правильно определяли, что 1776 год делится на 4 и был високосным годом, модели все равно заключали, что США были основаны в не-високосный год. В этом случае модели продемонстрировали знание правил и показали логические шаги, но пришли к противоречивому выводу.

Такие примеры предполагают, что может быть фундаментальная разница между тем, что кажется рассуждением, и настоящей логической инференцией.

Новая перспектива на рассуждения искусственного интеллекта

Ключевым инновационным аспектом этого исследования является введение “линзы распределения данных” для изучения цепочки мыслей (CoT) рассуждений. Исследователи предположили, что CoT является сложной техникой распознавания образов, которая работает на статистических регулярностях в обучающих данных, а не на настоящей логической инференции. Модель генерирует пути рассуждений, которые приближаются к тому, что она видела раньше, а не выполняет логические операции.

Чтобы проверить эту гипотезу, исследователи создали DataAlchemy, контролируемую экспериментальную среду. Вместо того, чтобы тестировать предварительно обученные LLM с их сложными историями обучения, они обучали более мелкие модели с нуля на тщательно спланированных задачах. Этот подход исключает сложность крупномасштабного предварительного обучения и позволяет систематически тестировать, как сдвиги распределения влияют на производительность рассуждений.

Исследователи сосредоточились на простых задачах преобразования, включающих последовательности букв. Например, они учили модели применять операции, такие как вращение букв в алфавите (А становится Н, Б становится О) или сдвиг позиций в последовательности (APPLE становится EAPPL). Объединяя эти операции, исследователи создали многоступенчатые цепочки рассуждений разной сложности. Этот подход дал им преимущество точности. Они могут контролировать точно, что модели узнали во время обучения, и затем тестировать, насколько хорошо они обобщаются на новые ситуации. Этот уровень контроля невозможен с крупными коммерческими системами искусственного интеллекта, обученными на огромных, разнообразных наборах данных.

Когда рассуждения искусственного интеллекта терпят неудачу

Исследователи протестировали цепочку мыслей рассуждений в трех критических измерениях, где реальные приложения могут отличаться от обучающих данных.

Обобщение задач изучало, как модели справляются с новыми проблемами, с которыми они никогда не сталкивались раньше. Когда тестировались на преобразованиях, идентичных обучающим данным, модели достигали идеальной производительности. Однако незначительные вариации вызывали драматические неудачи в их способностях рассуждения. Даже когда новые задачи были композициями знакомых операций, модели не могли правильно применить свои выученные закономерности.

Одним из наиболее тревожных выводов было то, что модели часто производили шаги рассуждений, которые были идеально отформатированы и казались логичными, но приводили к неправильным ответам. В некоторых случаях они генерировали правильные ответы через совпадение, следуя совершенно неправильным путям рассуждений. Эти результаты предполагают, что модели по сути соответствуют поверхностным закономерностям, а не понимают лежащую в основе логику.

Обобщение длины проверяло, могут ли модели справиться с цепочками рассуждений длиннее или короче, чем те, что были в обучающих данных. Исследователи обнаружили, что модели, обученные на длине 4, полностью терпели неудачу, когда тестировались на длинах 3 или 5, несмотря на то, что это были относительно незначительные изменения. Кроме того, модели пытались заставить свое рассуждение соответствовать знакомой длине, добавляя или удаляя шаги неуместно, вместо того, чтобы адаптироваться к новым требованиям.

Обобщение формата оценивало чувствительность к поверхностным вариациям в представлении проблем. Даже незначительные изменения, такие как вставка шумовых токенов или незначительное изменение структуры запроса, вызывали значительное ухудшение производительности. Это показало, насколько модели зависят от точных форматных закономерностей из обучающих данных.

Проблема хрупкости

По всем трем измерениям исследования показали последовательный шаблон: цепочка мыслей рассуждений работает хорошо, когда применяется к данным, подобным обучающим примерам, но становится хрупкой и склонной к неудаче даже при умеренных сдвигах распределения. Видимая способность рассуждения является по сути “хрупким миражом”, который исчезает, когда модели сталкиваются с незнакомыми ситуациями.

Эта хрупкость может проявляться несколькими способами. Модели могут генерировать связные, хорошо структурированные цепочки рассуждений, которые полностью неправильны. Они могут следовать идеальной логической форме, пропуская фундаментальные логические связи. Иногда они производят правильные ответы через математическое совпадение, демонстрируя при этом ошибочные процессы рассуждений.

Исследование также показало, что контролируемое тонкое настройка на небольших объемах новых данных может быстро восстановить производительность, но это просто расширяет репертуар распознавания образов модели, а не развивает настоящие способности рассуждения. Это похоже на изучение решения нового типа математической задачи путем запоминания конкретных примеров, а не понимания лежащих в основе математических принципов.

Реальные последствия

Эти результаты могут иметь серьезные последствия для того, как мы развертываем и доверяем системам искусственного интеллекта. В высокорисковых областях, таких как медицина, финансы или юридический анализ, способность генерировать правдоподобные, но фундаментально ошибочные рассуждения, может быть более опасной, чем простые неправильные ответы. Возникновение логического мышления может привести пользователей к тому, чтобы они необоснованно доверяли выводам искусственного интеллекта.

Исследование предполагает несколько важных рекомендаций для практиков искусственного интеллекта. Во-первых, организации не должны рассматривать цепочку мыслей как универсальное решение проблем. Стандартные подходы к тестированию, которые используют данные, подобные обучающим наборам, недостаточны для оценки настоящих способностей рассуждения. Вместо этого необходимы строгие тесты вне распределения, чтобы понять ограничения модели.

Во-вторых, тенденция моделей генерировать “связный бред” требует тщательного человеческого надзора, особенно в критических приложениях. Связная структура цепочек рассуждений, сгенерированных искусственным интеллектом, может маскировать фундаментальные логические ошибки, которые могут не быть сразу очевидны.

Выход за пределы распознавания образов

Возможно, наиболее важно, что это исследование бросает вызов сообществу искусственного интеллекта выйти за пределы поверхностных улучшений и разработать системы с настоящими способностями рассуждения. Текущие подходы, которые полагаются на масштабирование данных и параметров, могут столкнуться с фундаментальными ограничениями, если они в основном являются сложными системами распознавания образов.

Работа не умаляет практической полезности текущих систем искусственного интеллекта. Распознавание образов в масштабе может быть удивительно эффективным для многих приложений. Однако она подчеркивает важность понимания истинной природы этих возможностей, а не приписывания человеческим способностям рассуждения, где их нет.

Путь вперед

Это исследование открывает важные вопросы о будущем рассуждений искусственного интеллекта. Если текущие подходы фундаментально ограничены своими обучающими распределениями, какие альтернативные подходы могут привести к более прочным способностям рассуждения? Как мы можем разработать методы оценки, которые различают распознавание образов и настоящую логическую инференцию?

Результаты также подчеркивают важность прозрачности и правильной оценки в разработке искусственного интеллекта. По мере того, как эти системы становятся более сложными и их выводы более убедительными, разрыв между видимыми и фактическими возможностями может стать все более опасным, если не будет должным образом понят.

Основной вывод

Цепочка мыслей рассуждений в LLM часто отражает распознавание образов, а не настоящую логику. Хотя выводы могут выглядеть убедительно, они могут терпеть неудачу при новых условиях, что вызывает обеспокоенность по поводу критических областей, таких как медицина, право и наука. Это исследование подчеркивает необходимость лучшего тестирования и более надежных подходов к рассуждениям искусственного интеллекта.