Погляд Anderson

Чому мовні моделі «загублюються» в розмові

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
ChatGPT-4o and Adobe Firefly.
Ключові моментиНавіть найкращі LLM, такі як GPT-4.1, демонструють падіння продуктивності на 39%, коли…
Показати більше
  • Навіть найкращі LLM, такі як GPT-4.1, демонструють падіння продуктивності на 39%, коли запити розділені на кілька розмовних етапів.
  • LLM стають вкрай ненадійними в багатоетапних чатах: узгодженість відповідей часто знижується більш ніж удвічі.
  • Дослідження стверджує, що LLM потребують вбудованої підтримки багатоетапної взаємодії, а не покладання на зовнішні агентські фреймворки для керування діалогами.

Нова робота від Microsoft Research і Salesforce (CRM ) показує, що навіть найкращі великі мовні моделі (LLM) розпадаються, коли інструкції подаються не одразу, а поетапно. Автори виявили, що продуктивність падає в середньому на 39 відсотків за шість завдань, коли підказка розділена на кілька частин:

Одна поворотна розмова (ліворуч) дає найкращі результати. Багатоповоротна розмова (праворуч) показує, що навіть найкращі моделі втрачають ефективний імпульс у розмові. Джерело: https://arxiv.org/pdf/2505.06120

Одна поворотна розмова (ліворуч) дає найкращі результати, але є ненатуральною для кінцевого користувача. Багатоповоротна розмова (праворуч) показує, що навіть найкращі моделі втрачають ефективний імпульс у розмові. Джерело: https://arxiv.org/pdf/2505.06120

Більш того, надійність відповідей різко падає, а престижні моделі, такі як ChatGPT-4.1 і Gemini 2.5 Pro, коливаються між майже ідеальними відповідями та явними невдачами, залежно від того, як задано одне й те саме завдання; крім того, консистентність виходу може впасти більш ніж наполовину під час цього процесу.

Для вивчення цього поведінки робота вводить метод, названий шардінг*, який розбиває повністю визначені підказки на менші фрагменти та випускає їх один за одним у розмові.

У найосновнішому сенсі це еквівалентно тому, щоб дати цілісний та повний наказ у ресторані, залишивши офіціанта з нічого не робити, окрім як підтвердити запит; або вирішити проблему спільно:

Дві крайні версії розмови в ресторані (не з нової роботи, для ілюстрації).

Дві крайні версії розмови в ресторані (не з нової роботи, для ілюстрації).

Для наголосу приклад вище, можливо, показує клієнта у негативному світлі. Але основна ідея, зображена у другому стовпчику, полягає у транзакційному обміні, який уточнює проблему до того, як звернутися до неї – очевидно раціональний і розумний спосіб підходу до завдання.

Ця установка відображається у новій роботі з підходом до взаємодії з LLM, який називається шардінг. Автори відзначають, що LLM часто генерують надто довгі відповіді та продовжують покладатися на свої власні ідеї навіть після того, як ці ідеї були визнані неправильними чи неважливими. Ця тенденція, у поєднанні з іншими факторами, може призвести до того, що система втрачає слід розмови зовсім.

Насправді дослідники відзначають те, що багато з нас виявили анекдотично – що найкращий спосіб повернути розмову на правильний шлях полягає у тому, щоб розпочати нову розмову з LLM.

‘Якщо розмова з LLM не привела до очікуваних результатів, розпочинання нової розмови, яка повторює одну й ту ж інформацію, може привести до значно кращих результатів, ніж продовження тривалої розмови.’

‘Це відбувається тому, що поточні LLM можуть загубитися в розмові, а наші експерименти показують, що продовження розмови з моделлю неефективне. Крім того, оскільки LLM генерують текст з випадковістю, нова розмова може привести до покращення результатів.’

Автори визнають, що агентні системи, такі як Autogen або LangChain, потенційно можуть покращити результати, діючи як інтерпретативні шари між кінцевим користувачем та LLM, спілкуючись з LLM лише тоді, коли вони зібрали достатньо «шардених» відповідей, щоб сформувати єдину цілісну запит (який кінцевий користувач не побачить).

Однак автори стверджують, що окремий абстрактний шар не повинен бути необхідним, або повинен бути побудований безпосередньо в джерельній LLM:

‘Можна сказати, що багаторозмовні можливості не є необхідною функцією LLM, оскільки її можна передати до агентської структури. Інакше кажучи, чи потрібно нам рідна багаторозмовна підтримка в LLM, коли агентська структура може оркеструвати взаємодію з користувачами та використовувати LLM лише як одноповоротні оператори?…’

Але після того, як вони протестували цю пропозицію через свій масив прикладів, вони дійшли висновку:

‘[Покладатися] на агентську структуру для обробки інформації може бути обмежувальним, і ми стверджуємо, що LLM повинні рідно підтримувати багаторозмовну взаємодію’

Ця цікава нова робота називається LLM Get Lost In Multi-Turn Conversation і походить від чотирьох дослідників з MS Research і Salesforce,

Фрагментовані розмови

Новий метод спочатку розбиває звичайні одноповоротні інструкції на менші шарди, призначені для введення в ключові моменти під час взаємодії з LLM, структура, яка відображає дослідницький, зворотний стиль взаємодії, спостережуваний у системах, таких як ChatGPT або Google Gemini.

Кожна оригінальна інструкція являє собою єдину, самодостатню підказку, яка доставляє все завдання одразу, поєднуючи високорівневе питання, підтримуючий контекст та будь-які відповідні умови. Шардова версія розбиває це на кілька менших частин, з кожним шардом, який додає лише одну частину інформації:

Парні інструкції, що показують (а) повну підказку, доставлену в одному повороті, і (б) її шардову версію, використану для симуляції недовизначеної багаторозмовної взаємодії. Семантично кожна версія доставляє одну й ту ж інформаційну вантаж.</em srcset=
Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai