Зростання малих моделей висновків: Чи можуть компактні моделі штучного інтелекту дорівнювати висновкам GPT?

В останні роки галузь штучного інтелекту була захоплена успіхом великих мовних моделей (LLM). Спочатку розроблені для обробки природної мови, ці моделі еволюціонували у потужні інструменти висновків, здатні вирішувати складні завдання з людським крок за кроком процесом мислення. Однак, незважаючи на їх виняткові можливості висновків, LLM мають значні недоліки, включаючи високі обчислювальні витрати та повільну швидкість розгортання, що робить їх непрактичними для використання в реальному світі в середовищах з обмеженими ресурсами, таких як мобільні пристрої або=edge обчислення. Це призвело до зростання інтересу до розробки менших, більш ефективних моделей, які можуть пропонувати подібні можливості висновків, мінімізуючи витрати та вимоги до ресурсів. Ця стаття досліджує зростання цих малих моделей висновків, їх потенціал, виклики та наслідки для майбутнього штучного інтелекту.

Зміна перспективи

Для більшої частини недавньої історії штучного інтелекту галузь слідувала принципу “законів масштабування”, який припускає, що продуктивність моделі покращується передбачувано при збільшенні даних, обчислювальної потужності та розміру моделі. Хоча цей підхід дав потужні моделі, він також призвів до значних компромісів, включаючи високі витрати на інфраструктуру, вплив на навколишнє середовище та проблеми з затримкою. Не всі застосування потребують повних можливостей масивних моделей з сотнями мільярдів параметрів. У багатьох практичних випадках – таких як асистенти на пристрої, охорона здоров’я та освіта – менші моделі можуть досягти подібних результатів, якщо вони можуть висновувати ефективно.

Розуміння висновків у штучному інтелекті

Висновки у штучному інтелекті відносяться до здатності моделі слідувати логічним ланцюгам, розуміти причину та наслідок, виводити наслідки, планувати кроки в процесі та визначати протиріччя. Для мовних моделей це часто означає не тільки отримання інформації, але також маніпулювання та висновок інформації через структурований, крок за кроком підхід. Це рівень висновків зазвичай досягається шляхом тонкої настройки LLM для виконання багатокрокових висновків перед тим, як прийти до відповіді. Хоча цей метод є ефективним, ці методи вимагають значних обчислювальних ресурсів і можуть бути повільними та дорогими для розгортання, що викликає занепокоєння щодо їх доступності та впливу на навколишнє середовище.

Розуміння малих моделей висновків

Малі моделі висновків мають за мету повторити можливості висновків великих моделей, але з більшою ефективністю щодо обчислювальної потужності, використання пам’яті та затримки. Ці моделі часто використовують техніку, звану дистиляцією знань, де менша модель ( “учень”) вчиться у більшої, попередньо навченої моделі ( “вчитель”). Процес дистиляції включає навчання меншої моделі на даних, згенерованих більшим, з метою передачі можливості висновків. Модель учня потім донастроюється для покращення її продуктивності. У деяких випадках вивчення з підкріпленням з спеціалізованими домен-специфічними функціями винагороди застосовується для подальшого покращення можливості моделі виконувати висновки, специфічні для завдання.

Зростання та вдосконалення малих моделей висновків

Помітний етап у розвитку малих моделей висновків стався з випуском DeepSeek-R1. Незважаючи на те, що вона була навчена на відносно скромному кластері старих GPU, DeepSeek-R1 досягла продуктивності, порівнянної з більшістю моделей, таких як OpenAI’s o1 на бенчмарках, таких як MMLU та GSM-8K. Це досягнення призвело до переоцінки традиційного підходу до масштабування, який припускав, що більші моделі є суттєво кращими.

Відсутність перекладу певних частин через обмеження на кількість символів у відповіді. Будь ласка, надайте більше інформації щодо того, як продовжити переклад.