Голос зараз є найгіршим способом спілкування з ІІ

Нові дослідження свідчать, що найбільш популярний метод взаємодії з ІІ, зображений у науковій фантастиці, може насправді давати гірші результати, ніж навіть погано набрані промпти.

Від ГАЛ до Deep Thought, від C3P0 до Wall-E, ідеалізована форма людських відносин з ІІ завжди центрувалася навколо голосового контролю; і це проявляється у реальному світі, від ранніх систем асистентів, таких як Siri та Alexa, до мовного запиту та діалогу з поточним рядом передових моделей LLM.

Ця ідея виникла під час менш емансипованих епох, коли – за винятком авторів та журналістів – сам акт друку вважався «напівкваліфікованою працею», і виконувався 几乎 виключно жінками – жінками, які рідко створювали вміст, який вони друкували.

Влада та агентство позначалися інакше: дискурсом, зустрічами та самітами. Здається очевидним, що з комплексною мовою означенням інтелекту, промовлена мова неминуче стане природним середовищем ІІ.

Окрім будь-яких інших розгляжень, текстові обміни не були добре пристосовані до телебачення та кіно; навіть сміливі науково-фантастичні трилери, такі як Colossus: The Forbin Project (1970), які зображували комп’ютер, що реагує на голосові команди людини у вигляді написаного тексту, швидко перейшли на повністю голосові відповіді:

Сцена з фільму ‘Colossus: The Forbin Project’ (1970), що зображає величезний суперкомп’ютер, який швидко перевищує межі текстової мови, ставши голосовим та деспотичним невдовзі після увімкнення. Джерело: Universal Pictures

Набирати чи говорити?

Незважаючи на те, що провідні моделі ІІ пропонують рідні аудіоінтерфейси для користувачів, нове дослідження з США дійшло висновку, що розмова з ІІ, ймовірно, буде найменш ефективним способом отримання результатів, яких ви хочете від нього – особливо якщо ви очікуєте значних форм виводу, таких як код, у відповідь на ваш запит.

За даними статті, розмова з LLM, таким як ChatGPT або Gemini, зараз дає гірші результати, ніж набір промпту або запиту, навіть якщо набраний промпт містить звичайні помилки.

Це відбувається через те, що голосовий вхід більш схильний бути переструктурованим системами транскрипції способами, які видаляють інформацію, на яку модель залежить. Це відбувається через те, що транскрипція з аудіо повинна видалити незв’язності, такі як «ерм» і «як», а також схильність до помилкових початків (тобто «починати спочатку»), а також навігацію по двозначностям граматики та «неформальній» конструкції (тобто речень, які закінчуються новими реченнями, без завершення у своєму праві).

Автори заявляють:

‘Розмова зараз є першокласним шляхом до мовної моделі, а не нішевим. Агенти кодування, такі як Claude Code і Codex, приймають диктовані інструкції. Помічники телефону, такі як Google Assistant і Siri, маршрутизують голосовий запит до бекенду LLM. Фронт-енди диктовки, такі як Typeless, додають ще один шар LLM, який очищає та переформатує голосовий запит користувача перед його відправленням.

‘У кожному випадку модель отримує транскрипт, і в кожному випадку мовець може не перевірити рядок, який був фактично відправлений. Все, що залишається після трубопроводу транскрипції або переписується, є тим, що модель повинна відповісти.’

Це розсіює будь-яке попереднє уявлення, що текстовий вхід є вищим, оскільки він «рідний»; він не є рідним у жодному сенсі, оскільки а) він завжди або таємно, або відкрито переписується якимось чином перед передачею до ІІ, і б) текстова мова є лише одним компонентом у латентному просторі, який повертає відповідь.

Експерименти дослідження показали, що звичайні друкарські помилки мали лише помірний вплив на продуктивність, тоді як розмовна мова, очищені транскрипти та особливо транскрипти, стиснуті ІІ, постійно викликали значно більші зниження точності при виконанні завдань зі складним розумінням та генерацією коду.

Нова робота називається Чи повинні ми друкувати чи розмовляти з агентами LLM? Комплексне дослідження голосового та клавішного вводу, і надходить від чотирьох авторів з Санта-Моніцького коледжу та Університету Південної Каліфорнії.

(Примітка: Це дослідження переплетає «Метод» і «Тести/Результати» таким чином, що їх важко легко розрізнити. Тому я змушений стискати та вибирати з більшою силою, ніж зазвичай.)

Метод

Була розроблена «суїта пертурбацій» під назвою Human Input Variation Engine (HIVE), щоб симулювати типи помилок, введених людиною, коли вони друкують промпти на клавіатурі QWERTY або говорять їх через систему голосової транскрипції:

Концептуальна схема для Human Input Variation Engine (HIVE). Промпт користувача доходить до мовної моделі через голос, клавіатуру QWERTY або прямий копіювання та вставлення, останнє служить ‘чистим’ посиланням. Колір ідентифікує канал вводу, а не метод реалізації, причому оператори голосу поєднують перенос стилю LLM з кількома зразками та детерміністичними правилами, тоді як оператори клавіатури залежать цілком від детерміністичних правил. Права панель показує діапазон відповідей, які може видати модель під час поганого вводу. Джерело

HIVE моделює три маршрути, якими промпти досягають мовної моделі: через голос; клавіатуру QWERTY; або прямим копіюванням та вставленням – останнє служить незміненим посиланням, з яким порівнюються всі інші входи. Два додаткові оператори функціонують як експериментальні контролю, переставляючи питання та його контекст, або переміщуючи варіанти відповідей з декількома виборами.

Самі оператори пертурбацій реалізовані за допомогою детермінічних правил або переносу стилю LLM з кількома зразками за допомогою Qwen2.5-7B. Це дозволило обом методам вводу оцінюватися під контролем та безпосередньо порівнюваними умовами.

Умови тестування та результати

Експерименти проводилися на Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; та Phi-4, за допомогою п’яти насіння. Шість використаних бенчмарків були GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; та TruthfulQA MC1.

Тестовий набір використовував 200 елементів на бенчмарк, з 164 елементами для повного набору HumanEval. Жадібне декодування (вибір найбільш імовірного наступного токена кожен раз) було використано, щоб кожен пертурбований промпт міг бути порівняний з власним чистим аналогом у тому ж самому запуску моделі, виробляючи 550 000 оцінених відповідей по 17 зміненим промптам та двом контрольним тестам (тестам порівняння, використаним для ізоляції конкретних ефектів).

Було прийнято заходи, щоб запобігти забрудненню тестового набору (перетину з даними, які модель могла бачити під час навчання):

Повна суїта пертурбацій, використана у дослідженні, що показує, як точність змінилася проти чистих промптів через зміни транскрипції голосу, друкарські помилки клавіатури QWERTY та контрольні тести. Перший рядок дає базову точність, а пізніші рядки показують зміни у процентних пунктах. Червоний позначає найбільш шкідливий оператор у кожному блоку та стовпці, синій – найменш шкідливий.

Найясніший результат у дослідженні полягає в тому, що голосовий вхід був більш шкідливим, ніж друкарський вхід у основних умовах тестування, причому зміни, засновані на голосі, знижували точність моделі приблизно в три рази більше, ніж друкарські помилки. Найгірші результати були тоді, коли голосові запити автоматично переписувалися, щоб звучати чистіше та лаконічніше, оскільки така очистка часто змінювала структуру запиту, який отримувала модель.

Це має значення, оскільки слабші результати для голосу не були в першу чергу викликані очевидним «сміттям» мови: хоча заповнювачі, такі як «ерм» і «як», справді мали значення (оскільки додавання їх до чистих написаних промптів знижувало точність), видалення заповнювачів з голосових транскриптів не відновлювало продуктивність.

Самозбереження

Отже, більша проблема полягала в тому, як промпти, засновані на голосі, були перебудовані до того, як вони досягли моделі.

Центральним питанням для дослідження було те, чи модель все ще отримує достатньо оригінального промпту, щоб реконструювати намір користувача; друкарські помилки часто пошкоджують «поверхню» слова без видалення слова повністю, так що контекст, який оточує його, все ще може допомогти моделі здогадатися, що було наміщено.

Натомість «очищений» голосовий транскрипт може замінити оригінальне формулювання користувача на коротше та гладше версію що вже не зберігає тих самих відносин між фактами.

Це пояснює, чому друкарські помилки часто були менш шкідливими: дослідники виявили, що поміщені літери, дублікатні літери, пропущені пробіли та помилки сусідніх клавіш зазвичай залишали більшу частину оригінального словосполучення відновлюваним, тоді як очистка мови часто видаляла або перебудовувала інформацію до того, як модель мала можливість її інтерпретувати.

Згублений у перекладі

Одним із прикладів того, як референт може «загубитися» під час пертурбацій на цих шляхах від користувача до LLM, представленому в статті, є той, де фраза ‘вона дала рівну кількість [книг] своїм дітям’ була переінтерпретована як те, що означає гроші (а не книги). У цьому випадку термін «кількість» відокремився від свого референта і був помилково перепризначений на свій найпоширеніший асоціативний зв’язок (гроші):

Як багато оригінального питання виживає кожну зміну вводу. Великі точки показують окремі типи пертурбацій, а маленькі точки – сильніші версії тих самих друкарських помилок.

Цей ефект був найсильнішим, коли модель мала будувати відповідь з промпту, а не вибирати з варіантів, які вже були надані: завдання арифметики та генерації коду постраждали більше, оскільки вони залежали від збереження точних відносин у запиті, тоді як тести з декількома варіантами були менш вразливі до цього типу пошкодження.

Автори роблять висновок:

‘Ми виявили, що розмова є дорогим каналом, що те, що пошкоджує, коштує того, як багато оригінальної токенізації питання знищується, і що ні забруднення тестового набору, ні легка адаптація не пояснюють чи не ремонтують шкоду.

‘Декілька висновків слідують. Якщо ви друкуєте, модель розуміння поглинає ваші помилки. Якщо ви диктуєте, вона не робить цього, тому формулювання, яке ви промовляєте, є тим, з яким модель працює.

‘І якщо ви будуєте інструменти диктовки, не переформатуйте чи перебудовуйте те, що сказав користувач: мінімізуйте видалення незв’язностей та залишайте омоними самими собою.

‘Останнє має найбільше значення, оскільки фронт-енди диктовки стають стандартним способом звернення до моделі, а їхній шар переписування є найбільшою шкодою, яку ми вимірюємо, і є найдешевшим, що можна змінити.’

Висновок

Хто б не мав досвіду ручної транскрипції інтерв’ю (поширена та самотня журналістська праця у до-АІ епоху) знає, наскільки інтерпретативним може бути цей процес, якщо інтерв’ююваний чи мовець не є надзвичайно артикульованим або (що часто трапляється) просто повторює свою звичайну програму анекдотів у рутинному порядку.

Окрім таких особливих випадків, коли ми розмовляємо з людьми, ми автоматично дисконтуюємо незв’язності та розраховуємо значення. Це неминуче робить корисну транскрипцію інтерпретативним актом, що призводить до тексту, який представляє наміри мовця краще, ніж буквальна, голосова транскрипція могла б; і цікаво відзначити, що аудіомістки до LLM борються подібним чином, щоб зберегти або навіть отримати те саме значення, що й текстові еквіваленти.

Розумно очікувати, що пізніші рамки будуть вигідно використовувати подальше дослідження та (сподіваємося) насичені дані, які допоможуть звузити розриви, описані в новій роботі. До того часу нове дослідження свідчить, що голосові комунікації з ІІ можуть бути більш підходящими саме для тих коротких команд, які характеризували споживчі системи «асистентів».

Перша публікація – середа, 12 серпня 2026 р.