Від математичних іспитів до машинного мислення: остання боротьба ШІ

Нещодавно Штучний інтелект (ШІ) досяг історичної віхи в одному з найскладніших математичних змагань, Міжнародній математичній олімпіаді (МО). Google DeepMind’s Gemini Deep Think та експериментальна модель OpenAI кожна розв’язала п’ять із шести складних задач, набравши 35 балів із 42, що було порогом для золотої медалі. Результат DeepMind був офіційно оцінений оцінювачами МО, тоді як колишні золоті медалісти МО підтвердили результат OpenAI під тих же обмежень часу та інструментів, що й учасники-люди. Обидві системи створили детальні, природно-мовні доведення, демонструючи видатний прогрес у математичному мисленні ШІ.

Незважаючи на успішну участь у таких змаганнях, ШІ бореться із завданнями, які вимагають творчості, абстрактного мислення та глибокого логічного аналізу. Ці системи можуть успішно виконувати знайомі типи задач, але часто не можуть розв’язати незнайомі або надзвичайно складні завдання, які вимагають оригінального розуміння. Ця обмеженість підкреслює поточні обмеження здібностей ШІ до мислення та ідентифікує ключові напрямки майбутніх досліджень.

Від базових калькуляторів до когнітивних претендентів ШІ у математиці

ШІ у математиці почався з простих правилних інструментів. Ранні цифрові калькулятори могли виконувати лише базові арифметичні операції. Пізніше програмне забезпечення, таке як Wolfram Alpha та символьні розв’язувачі, автоматизувало алгебру та аналіз. Ці системи слідували суворим правилам та надавали точні відповіді. Вони не могли пояснити своє мислення природною мовою.

Великі мовні моделі (ВММ) змінили цей підхід. На відміну від символьних систем, ВММ навчаються на великих колекціях текстів. Спочатку їхні математичні здібності були обмежені. Вони часто не могли розв’язати фундаментальні задачі з словами. Поступове доопрацювання покращило результати. Навчання на наборах даних, таких як GSM8K та MATH, допомогло їм слідувати крок за кроком підходу до розв’язування задач. Крім того, ланцюгове мислення заохочувало цілісне мислення замість коротких відповідей.

До 2023 та 2024 років найкращі моделі ШІ досягли рівня людських результатів у багатьох математичних тестах. Вони могли пояснити багатокрокові рішення та розв’язати задачі олімпійського рівня. У 2025 році ШІ досягнув віхи. Експериментальні системи Google DeepMind та OpenAI досягли рівня золотої медалі на Міжнародній математичній олімпіаді. Кожна система ШІ розв’язала п’ять із шести задач із доведеннями, використовуючи той же час та інструменти, що й учасники-люди. Це був перший випадок, коли ШІ досяг рівня найкращих молодих математиків у офіційній оцінці МО.

Чому ШІ все ще бореться з математичним мисленням

ШІ демонструє сильні результати у багатьох математичних завданнях, проте його здатність до глибокого мислення залишається обмеженою. Наступні розділи досліджують чинники, які стоять за цими обмеженнями.

Переоцінка з боку стандартних тестів

Незважаючи на сильні результати у математичних змаганнях та тестах, ШІ все ще бореться з глибоким мисленням. Багато популярних тестів надають надто оптимістичну оцінку здібностей ШІ. Це відбувається через те, що набори задач часто повторюють питання або нагадують завдання з навчальних даних моделей. В результаті ШІ може виконувати завдання добре, визнаючи знайомі закономірності. Однак він не володіє справжнім мисленням щодо нових задач.

Тест FrontierMath

Для більш суворого тестування ШІ дослідники ввели FrontierMath у 2024 році. Цей тест містить сотні оригінальних задач, створених експертами-математиками, включаючи золотих медалістів МО та лауреатів премії Філдса. Задачі охоплюють просунуті теми, включаючи теорію чисел, фундаментальний аналіз, алгебраїчну геометрію та теорію категорій. FrontierMath tránhає забруднення даних, тобто ШІ не може просто пригадати відповіді. Навіть найрозвинутіші системи розв’язали менше 2% цих задач. Це свідчить про значний спад порівняно з старішими тестами, підкреслюючи розрив між поверхневим успіхом та справжнім розумінням.

RIMO та олімпійські завдання

RIMO — ще один тест, який перевіряє ШІ на олімпійському рівні математики. Він містить задачі, які вимагають точних та верифікованих доведень. Задачі адаптовані з минулих Міжнародних математичних олімпіад та переписані, щоб уникнути забруднення даних.

RIMO складається з двох частин. Одна частина зосереджена на задачах з доведеннями, оцінюваних експертами, тоді як інша частина використовує задачі з унікальними числовими відповідями для автоматичного оцінювання. Обидва формати вимагають логічної точності.

Моделі ШІ, які добре виконують завдання на тестах, таких як GSM8K, часто борються з RIMO. Вони створюють довгі доведення, які виглядають правильними, але містять приховані помилки. Це підкреслює ключову обмеженість: ШІ може генерувати доведення, які здаються переконливими, проте часто не мають міцної логічної основи.

Рутинні задачі проти задач з мисленням

Відмінність між рутинними та задачами з мисленням допомагає пояснити труднощі ШІ у математиці. Рутинні задачі слідують знайомим закономерностям або шаблонам. Багато задач із словами або алгебраїчними вправами можна розв’язати шляхом визнання закономерностей. ШІ виконує такі завдання добре, часто дорівнюючи або навіть перевершуючи людську точність.

Задачі з мисленням вимагають більше, ніж визнання закономерностей. Вони вимагають творчості, абстрактного мислення та гнучкого планування. Олімпійські доведення, наприклад, перевіряють здатність генерувати нові ідеї, а не повторювати відомі рішення. ШІ може створювати текст, який нагадує доведення, проте експертні рецензенти часто знаходять прогалини в логіці. Ключові кроки можуть бути відсутніми або слабко обґрунтованими, а деякі твердження не мають підтримки. Ці недоліки свідчать про те, що ШІ ще не оволодів справжнім математичним мисленням.

Обмеження поточних моделей ШІ

Поточні моделі ШІ мають додаткові обмеження. ВММ передбачають наступне слово у послідовності без суворого дотримання символічних або математичних правил. Це може привести до помилок, таких як алгебраїчні помилки. ШІ також “галлюцинує”, впевнено створюючи неправильні рішення. У освіті чи дослідженні такі помилки можуть ввести користувачів у оману або поширити хибну інформацію.

Проблеми оцінювання та оцінки

Методи оцінювання також додають до цих слабкостей. Наприклад, багато тестів перевіряють лише кінцеву відповідь та нехтують процесом мислення. Через це вони заохочують обхідні шляхи та відштовхують ретельне, крок за кроком розв’язування задач. В результаті моделі можуть надавати неправильні відповіді замість демонстрації надійної логіки.

Вплив обмежень ШІ на реальні завдання

ШІ продемонстрував сильні результати у математичних змаганнях та тестах; однак ці досягнення не повністю відображають ситуацію. Слабкості у мисленні ШІ створюють серйозні виклики, коли їх застосовують у реальних контекстах.

У освіті системи ШІ можуть надавати пояснення та завдання для підтримки учнів. Однак помилкове мислення може ввести учнів у оману. Учні можуть прийняти неправильні ідеї, а вчителям доводиться витрачати додатковий час на верифікацію та виправлення висновків ШІ. Це знижує корисність ШІ як інструменту навчання.

У наукових дослідженнях точність у мисленні є суттєвою. Навіть маленькі помилки можуть порушити експерименти, марнувати ресурси та привести до хибних висновків. Такі помилки знижують довіру до ШІ як інструменту дослідження та сповільнюють прогрес у науковій роботі.

У медицині точність та ясність мають вирішальне значення. Системи ШІ, які використовуються для діагностики або лікування, повинні точно пояснювати свої рішення. Якщо пояснення неповні або вводять у оману, лікарі та пацієнти можуть втрачати довіру один до одного. Це може привести до поганих медичних рішень із серйозними наслідками.

У праві та фінансах помилки у мисленні можуть спричинити юридичні суперечки або фінансові втрати. Професіонали в цих галузях вимагають систем ШІ, які дотримуються послідовних та логічних правил, щоб забезпечити справедливість та надійність.

Зрештою, довіра до ШІ під загрозою більш широко. Звіти про успіх ШІ у змаганнях створюють очікування, що він уже вирішив завдання з мислення. Коли ШІ пізніше не може розв’язати складні завдання, публічна довіра знижується. Це обмежує впровадження ШІ у галузі, де він міг би надати цінність. Через це важливо чітко комунікувати про здібності та обмеження ШІ.

Стратегії покращення здібностей ШІ до мислення

Дослідники досліджують кілька підходів для вирішення завдань з мисленням, з якими бореться ШІ. Одним із важливих напрямків є нейросимвольний ШІ, який поєднує нейронні мережі з символьними системами мислення. Нейронні моделі ефективні у обробці та генерації природної мови, тоді як символьні розв’язувачі застосовують суворі логічні та алгебраїчні правила. Їхнє поєднання допомагає забезпечити правильність у складних завданнях, таких як алгебра та логіка, знижуючи помилки, які виникають у статистичних моделях.

Іншим підходом є верифікація крок за кроком. У цьому методі ШІ створює доведення крок за кроком, а окремі системи верифікації перевіряють кожний крок на послідовність. Цей процес знижує помилкове мислення та “галлюцинації”, роблячи висновки ШІ більш надійними у завданнях, які вимагають суворих доведень.

Складні тести, такі як FrontierMath та RIMO, також відіграють важливу роль. Ці тести містять оригінальні задачі, які запобігають запам’ятовуванню та вимагають справжнього мислення. Їхнє використання у навчанні та оцінюванні заохочує моделі рухатися від визнання закономерностей до глибшого розуміння.

Використання зовнішніх інструментів також підтримує мислення ШІ. Деякі системи підключаються до систем комп’ютерної алгебри (СКА) для виконання точних обчислень та маніпуляцій. Це знижує арифметичні помилки та збільшує точність у багатокрокових завданнях.

Залізне навчання пропонує ще одну ефективну стратегію. Нагороджуючи правильні проміжні кроки мислення, а не лише кінцеву відповідь, цей метод спрямовує моделі на логічний процес та надійність.

Співробітництво людини та ШІ також є суттєвим для подолання обмежень. ШІ може генерувати леми або проектувати шляхи мислення, тоді як люди верифікують та вдосконалюють результати. У освіті ШІ може надавати завдання та підказки, проте вчителі забезпечують точність та контекст. У наукових дослідженнях, медицині, праві та фінансах експерти критично перевіряють висновки ШІ перед прийняттям рішень. Це поєднання швидкості ШІ та людської уваги посилює надійність.

Розробники також повинні покращити протоколи оцінювання. Це включає тестування на неопублікованих наборах даних, задачах-ворогах та методах оцінювання, які оцінюють кроки мислення, а не лише кінцеві відповіді. Такі оцінювання заохочують ретельне та детальне мислення, а не обхідні шляхи.

Висновок

Прогрес ШІ у математиці відображає як історичні досягнення, так і нерозв’язані завдання. Від базових калькуляторів до сучасних мовних моделей ШІ розвинувся у системи, які можуть виконувати завдання на рівні найкращих людських учасників міжнародних змагань. Однак ці успіхи не означають, що ШІ оволодів математичним мисленням.

Суворі тести, такі як FrontierMath та RIMO, викривають тривалі слабкості у творчості, абстракції та логічній точності. Ці прогалини викликають серйозні занепокоєння, коли ШІ застосовується в освіті, наукових дослідженнях, медицині, праві чи фінансах, де точність та довіра є суттєвими. У майбутньому поєднання символічної логіки, верифікації крок за кроком, співробітництва людини та ШІ та більш надійних методів оцінювання буде необхідним для того, щоб ШІ досягнув надійного мислення та ефективно вирішував складні реальні завдання.