La voz es actualmente la peor forma de comunicarse con la IA

Una nueva investigación sugiere que el método más popularmente representado en la ciencia ficción de interfaz con la IA puede producir en realidad peores resultados que incluso las solicitudes mal escritas.

Desde HAL hasta Deep Thought, desde C3P0 hasta Wall-E, la forma idealizada de relaciones humanas/AI siempre ha girado en torno a el control por voz; y esto se ha manifestado en el mundo real, desde los primeros sistemas de asistentes como Siri y Alexa, hasta la consulta y el diálogo basados en lenguaje con la gama actual de LLMs de vanguardia.

Esta idea surgió durante eras menos emancipadas, donde – con la excepción de autores y periodistas – el propio acto de escribir a máquina se consideraba “trabajo semicalificado”, y se realizaba casi exclusivamente por mujeres – con las mujeres mismas rara vez originando el contenido que estaban escribiendo.

El poder y la agencia se significaban en cambio por el discurso: reuniones y cumbres. Por lo tanto, parecía obvio que, con el lenguaje complejo que significaba inteligencia, la palabra hablada se convertiría inevitablemente en el medio natural de la IA.

Además de cualquier otra consideración, los intercambios textuales no se adaptaban bien a la televisión y las películas; incluso los thrillers de ciencia ficción audaces como Colossus: El Proyecto Forbin (1970), que representaban a un ordenador respondiendo a comandos vocales humanos en forma de texto escrito, cambiaban rápidamente a respuestas completamente vocalizadas:

Una escena de ‘Colossus: El Proyecto Forbin’ (1970), que presenta un vasto superordenador que rápidamente excede los límites del lenguaje basado en texto, convirtiéndose en vocal y despótico poco después de ser activado. Fuente: Universal Pictures

Escribir o hablar

A pesar de que los principales modelos de IA ofrecen interfaces de audio nativas para los usuarios, una nueva investigación de EE. UU. ha concluido que hablar con una IA es probablemente la forma menos efectiva de obtener los resultados que se desean de ella – particularmente si se espera obtener formas significativas de salida, como código, en respuesta a la consulta.

Según el documento, hablar a un LLM como ChatGPT o Gemini actualmente produce peores resultados que escribir una solicitud o consulta, incluso cuando la solicitud escrita contiene errores ordinarios.

Esto se debe a que la entrada hablada es más probable que sea reestructurada por los sistemas de transcripción de maneras que eliminan la información que el modelo depende. Esto ocurre porque la transcripción del audio debe eliminar disfluencias como “eh” y “como”, así como la tendencia a los falsos inicios (es decir, “empezar de nuevo”), así como navegar ambigüedades de gramática y construcción “informal” (es decir, oraciones que se desvanecen en nuevas oraciones sin completarse).

Los autores afirman:

‘Hablar es ahora un camino de primera clase hacia un modelo de lenguaje en lugar de uno de nicho. Los agentes de codificación como Claude Code y Codex aceptan instrucciones dictadas. Los asistentes telefónicos como Google Assistant y Siri enrutan una solicitud hablada a un modelo de lenguaje de back-end. Las interfaces de dictado como Typeless agregan una capa adicional impulsada por LLM que limpia y reformatea la solicitud hablada del usuario antes de que se envíe.

‘En cada caso, el modelo recibe una transcripción, y en cada caso el hablante puede no revisar la cadena que se envió realmente. Lo que queda después de que la tubería de transcripción lo deja atrás, o lo reescribe, es lo que el modelo tiene que responder.’

Esto disipa cualquier preconcepción de que la entrada escrita es superior porque es “nativa”; no es nativa en ningún sentido, ya que a) siempre se redacta clandestina o abiertamente de alguna manera antes de la transmisión a la IA, y b) el lenguaje textual es solo un componente en el espacio latente que devuelve una respuesta.

El estudio encontró que los errores de escritura ordinarios solo tenían un efecto modesto en el rendimiento, mientras que el habla conversacional, las transcripciones limpiadas y, especialmente, las transcripciones comprimidas por IA, causaron consistentemente declives más grandes en la precisión en tareas de razonamiento y generación de código.

El nuevo trabajo se titula ¿Deberíamos escribir o hablar con los agentes LLM? Un estudio integral de las perturbaciones de entrada de voz y teclado, y proviene de cuatro autores de Santa Monica College y la Universidad del Sur de California.

(Nota: Este estudio en particular entrelaza ‘Método’ y ‘Pruebas/Resultados’ de una manera que no se puede desenredar fácilmente en mi orden de análisis habitual. Por lo tanto, me veo obligado a comprimir y seleccionar con una mano más pesada de lo habitual.)

Método

Se desarrolló una “suite de perturbación” llamada Human Input Variation Engine (HIVE) por los autores, para simular los tipos de errores introducidos cuando las personas escriben solicitudes en un teclado QWERTY o las hablan a través de un sistema de transcripción de voz:

Esquema conceptual para la Human Input Variation Engine (HIVE). La solicitud del usuario llega a un modelo de lenguaje a través de la voz, un teclado QWERTY o copia y pega directa, con este último sirviendo como la referencia ‘limpia’. El color identifica el canal de entrada en lugar del método de implementación, con los operadores de voz que combinan la transferencia de estilo LLM de pocos disparos y reglas determinísticas, mientras que los operadores del teclado confían enteramente en reglas determinísticas. El panel de la derecha muestra el rango de respuestas que un modelo puede producir bajo entrada degradada. Fuente

HIVE modela tres rutas por las que las solicitudes llegan a un modelo de lenguaje: a través de la voz; un teclado QWERTY; o copia y pega directa – con este último sirviendo como la referencia no modificada con la que se comparan todas las demás entradas. Dos operadores adicionales funcionan como controles experimentales, reordenando la pregunta y su contexto, o permutando opciones de respuesta múltiple.

Los operadores de perturbación en sí se implementan a través de reglas determinísticas o transferencia de estilo LLM de pocos disparos utilizando Qwen2.5-7B. Esto permitió que ambos métodos de entrada se evaluaran en condiciones controladas y directamente comparables.

Condiciones de prueba y resultados

Se realizaron experimentos en Llama-3.1-8B; Qwen2.5-7B; Qwen3-8B; Mistral-7B-v0.3; y Phi-4, utilizando cinco semillas. Los seis benchmarks utilizados fueron GSM8K; GSM-Symbolic; GSM1k; HumanEval; MMLU-Pro STEM; y TruthfulQA MC1.

El conjunto de pruebas utilizó 200 elementos por benchmark, con 164 elementos para el conjunto completo de HumanEval. Se utilizó decodificación codiciosa (seleccionando el token más probable cada vez) para que cada solicitud perturbada se pudiera comparar con su propia contraparte limpia en la misma ejecución del modelo, produciendo 550,000 respuestas puntuadas en diecisiete cambios de solicitud y dos pruebas de control (pruebas de comparación utilizadas para aislar efectos específicos).

Se tomaron medidas para garantizar que la contaminación del conjunto de pruebas (superposición con los datos que el modelo puede haber visto durante el entrenamiento) no ocurriera:

La suite de perturbación completa utilizada en el estudio, que muestra cómo cambia la precisión con respecto a las solicitudes limpias a través de cambios de transcripción de voz, errores del teclado QWERTY y pruebas de control. La primera fila da la precisión de la referencia limpia, mientras que las filas posteriores muestran cambios en puntos porcentuales. El rojo marca el operador más dañino en cada bloque y columna, el azul el menos dañino.

El resultado más claro en el estudio es que la entrada de voz fue más dañina que la entrada del teclado en las principales condiciones de prueba, con cambios de habla que redujeron la precisión del modelo en aproximadamente tres veces más que los errores de escritura. Los peores resultados se produjeron cuando las solicitudes habladas se reescribieron automáticamente para sonar más limpias y concisas, porque esa limpieza a menudo cambió la estructura de la solicitud que el modelo recibió.

Esto importa, porque los resultados más débiles para la voz no se debieron principalmente a “residuos” de habla obvios: aunque los rellenos como “eh” y “como” importaron (ya que agregarlos a las solicitudes escritas limpias redujo la precisión), eliminar los rellenos de las transcripciones habladas no restauró el rendimiento.

Autopreservación

Por lo tanto, el problema más grande fue la forma en que las solicitudes habladas se reestructuraron antes de llegar al modelo.

Una pregunta central para el estudio fue si el modelo aún recibía suficiente de la solicitud original para reconstruir la intención del usuario; los errores de escritura a menudo dañan la “superficie” de una palabra sin eliminar la palabra por completo, de modo que el contexto circundante aún puede ayudar al modelo a inferir lo que se quiso decir.

En cambio, una transcripción “limpiada” de voz puede reemplazar la fraseación original del usuario con una versión más corta y más suave que ya no preserva las mismas relaciones entre hechos.

Esto es por qué los errores del teclado fueron a menudo menos dañinos: los investigadores encontraron que las letras transpuestas, las letras duplicadas, los espacios perdidos y los errores de teclas cercanas generalmente dejaron gran parte de la palabra original recuperable, mientras que la limpieza de la voz a menudo eliminó o reorganizó la información antes de que el modelo tuviera la oportunidad de interpretarla.

Perdido en la traducción

Un ejemplo de cómo un referente puede “perderse” por perturbación en estos viajes desde el usuario hasta el LLM, presentado en el documento, es donde la frase ‘ella dio una cantidad igual [de libros] a sus hijos’ se reinterpretó como significando dinero (en lugar de libros). En este caso, el término “cantidad” se desvinculó de su referente y se aplicó erróneamente a su asociación más común (dinero):

Cuánto de la pregunta original sobrevive a cada cambio de entrada. Los puntos grandes muestran tipos de perturbación individuales, mientras que los puntos pequeños muestran versiones más fuertes de los mismos errores del teclado.

Este efecto fue más fuerte cuando el modelo tuvo que construir una respuesta a partir de la solicitud, en lugar de elegir entre opciones ya suministradas: las tareas de aritmética y generación de código sufrieron más porque dependían de preservar las relaciones exactas en la solicitud, mientras que las pruebas de opción múltiple fueron menos expuestas a este tipo de daño.

Los autores concluyen:

‘Encontramos que hablar es el canal costoso, que lo que daña es cuánto de la tokenización original de la pregunta destruye, y que ni la contaminación del conjunto de pruebas ni la adaptación ligera explican ni reparan el daño.

‘Varias conclusiones siguen. Si escribe, un modelo de razonamiento absorbe sus errores. Si dicta, no lo hace, así que la frase que habla es la frase con la que el modelo trabaja.

‘Y si construye herramientas de dictado, no reformate ni reestructure lo que el usuario dijo: elimine la disfluencia de manera mínima y deje los homófonos solos.

‘Esa última es la que más importa, porque las interfaces de dictado se están convirtiendo en la forma predeterminada de llegar a un modelo y su capa de reescritura es el mayor daño que medimos y la cosa más barata de cambiar.’

Conclusión

Cualquiera que haya tenido que transcribir manualmente una entrevista (un trabajo común y solitario en la era pre-AI) sabrá lo interpretativo que puede ser el proceso, a menos que el entrevistado o el hablante sea extraordinariamente articulado, o – como es a menudo el caso – simplemente repita su lista habitual de anécdotas de manera rutinaria.

Además de esos casos particulares, cuando hablamos con las personas, automáticamente descontamos las disfluencias y calculamos el significado. Esto inevitablemente hace que la transcripción útil sea un acto interpretativo, lo que da como resultado un texto que representa las intenciones del hablante mejor que una transliteración literal y perfecta; y es interesante notar que los puentes de audio a LLM luchan de manera similar para retener o incluso obtener el mismo significado que los equivalentes textuales.

Es razonable esperar que los marcos posteriores se beneficien de más estudios y (esperemos) conjuntos de datos populosos que ayudarán a tender los vacíos descritos en el nuevo trabajo. Hasta ese momento, el nuevo estudio indica que las comunicaciones de voz con la IA pueden ser más adecuadas para exactamente el tipo de comandos cortos que han caracterizado a los sistemas de “asistentes” de nivel de consumidor.

Publicado por primera vez el miércoles 12 de agosto de 2026