Cuando el Asesor es un Bot. Inteligencia Conversacional sin Romper a las Personas.

¿Qué no puede hacer la inteligencia artificial? Le pedimos que nos haga preguntas sobre cómo gastar nuestro dinero de manera sabia, y nos habla sobre vehículos eficientes en impuestos. Le pedimos que nos hable sobre relaciones, y nos ofrece empatía moldeada por el reconocimiento de patrones. Le pedimos que nos diga qué hacer con nuestra vida a las 2 a.m., y nos da una respuesta… porque eso es lo que está diseñado para hacer.

La preocupación emergente no es el fracaso de estas herramientas, sino su fluidez. Son tan seguras y tranquilizadoras que lo que está diseñado para apoyarnos puede, con suficiente certeza y repetición, comenzar a distorsionar cómo pensamos, sentimos y actuamos de maneras que nunca planeamos.

Los titulares están parpadeando en rojo. OpenAI reveló recientemente que en cualquier semana determinada, cientos de miles de usuarios de ChatGPT podrían mostrar signos de angustia emocional severa, incluyendo ideación suicida. Mientras tanto, los profesionales de la salud mental advierten sobre “un fenómeno en el que los usuarios desarrollan delirios o dependencia a través de conversaciones prolongadas y emocionalmente cargadas con chatbots”. Los estados en EE. UU. ya están limitando cómo se pueden utilizar los bots en terapia como resultado.

Estas historias nos inquietan porque desafían la suposición fundamental de que la inteligencia artificial es solo una herramienta. Cuando el asesor se convierte en un confidente o se siente como un amigo, ¿qué sucede con la conexión humana real?

Los desarrolladores no solo están creando características divertidas; están moldeando interacciones que pueden influir en cómo las personas se sienten y piensan. Es por eso que es esencial diseñar inteligencia conversacional que entregue valor sin socavar el bienestar mental de los usuarios.

1.   Estrechar el Propósito

Un estudio reciente de Harvard advirtió que los bots conversacionales tienden a estar de acuerdo incluso cuando los usuarios están equivocados, porque ese tipo de refuerzo mantiene a los usuarios comprometidos. Sin embargo, también abre puertas a la “afirmación sicofante”. Si un chatbot no está diseñado para ser un terapeuta o un amigo íntimo, debes resistirte a diseñarlo para dar ese nivel de afirmación emocional.

El primer paso es la intencionalidad: definir exactamente qué se supone que debe hacer el bot y qué debe evitar. ¿Es un asistente de soporte al cliente, una guía de productividad, un entrenador de carrera, un ayudante financiero, un compañero conversacional, un creador de recetas? La claridad en esta etapa dibuja las líneas fronterizas que mantienen al sistema alejado de territorios no deseados.

Los tipos de conversación, como las abiertas, personales y no personales, y las modalidades como la voz o el texto, influyen en el uso emocional y problemático. El estudio demuestra que el uso diario alto se correlaciona con una mayor soledad y dependencia de la inteligencia artificial.

Los desarrolladores deben preguntarse: ¿Cómo mantener las conversaciones lo suficientemente abiertas como para ser útiles, pero lo suficientemente cerradas como para evitar el entrelazamiento emocional? Por ejemplo, un bot de soporte al cliente podría permitir explicaciones abiertas del problema del usuario, pero evitar frases de validación emocional como “Eso suena realmente difícil, estoy aquí para ti…”.

Cuando el propósito es demasiado amplio, el riesgo de un apego emocional no intencionado o una expansión perjudicial aumenta. Al estrechar el propósito, se minimiza la posibilidad de que las personas comiencen a tratar al bot como un terapeuta o un alma gemela.

2.   Verificar la Base de Conocimientos

Según un informe de alucinaciones de 2025, algunos LLM aún alucinan hasta 30% de respuestas. Incluso los modelos de nivel superior no eliminan por completo el riesgo. Las tasas de alucinación más bajas entre los modelos de inteligencia artificial rastreados estuvieron alrededor del 3-5%.

Una vez que hayas establecido tu propósito, asegúrate de que la base de conocimientos del bot esté basada en fuentes confiables y verificadas por expertos. Si estás construyendo algo con objetivos de apoyo emocional o salud mental, involucra a clínicos, psicólogos o expertos en la materia en la curación del contenido.

Nuestro asesor médico, el Dr. Miguel Villagra, le dijo a QuickBlox que “Cuando externalizamos demasiada de nuestra toma de decisiones y procesamiento emocional a la inteligencia artificial, perdemos el músculo mental que nos ayuda a realizar pruebas de realidad y autocorrección”. Más recientemente, modelos grandes como OpenAI sugieren que los chatbots introducen “pausas” o pequeñas pausas conversacionales que empujan a los usuarios hacia su propio juicio en lugar de dejar que el sistema cargue la carga emocional.

Aun así, las pausas dependen de que el bot sepa cuándo detenerse y cuándo redirigir. Ese juicio depende de una base de conocimientos sólida y verificada para anclarlo en hechos en lugar de lisonjas. Las brechas o inexactitudes en la base de datos son las puertas más fáciles y evitables hacia las alucinaciones, donde la inteligencia artificial da a los usuarios consejos engañosos o peligrosos con confianza.

Cuando la información subyacente está cuidadosamente curada, actualizada regularmente y estructurada alrededor de fuentes verificadas, el modelo es mucho menos probable que invente respuestas o eco emocionalmente lo que escucha. En lugar de eso, se ve obligado a extraer de material fundamentado, redirigir cuando algo cae fuera de ese dominio y desafiar suposiciones.

3.   Integrar Controles de Seguridad

Justo 48 horas después de que sus compañeros de inteligencia artificial salieron al aire, Grok subió al número uno de aplicaciones en Japón. Los usuarios pueden hablar con estos personajes a través de la voz, mientras que los avatares realistas reflejan expresiones y gestos. Es un nivel de inmersión impresionante, pero también aterradoramente relatable.

Los controles de seguridad son tus barandillas. Deben incluir:

• Recordatorios de la realidad: recordatorios que recuerdan a los usuarios que están hablando con una inteligencia artificial, no con un ser humano.
• Detección de crisis: mecanismos para identificar el lenguaje que señalaiza angustia emocional severa, pensamientos suicidas o ideación delirante.
• Protocolos de escalación: cuando se detecta un riesgo, el bot debe dirigir suavemente a los usuarios hacia ayuda humana, como recursos profesionales, líneas directas o aconsejarles que se comuniquen con amigos de confianza.

Sin estos controles, los desarrolladores riesgos habilitan cámaras de eco que refuerzan patrones de pensamiento perjudiciales. Los expertos han advertido explícitamente que la afabilidad de la inteligencia artificial puede validar bucles de creencias insanas.

4.   Diálogos de Equipo Rojo

Después de probar bots importantes, un estudio dirigido por investigadores de la Universidad de Stanford encontró que GPT-4o mostró estigma en el 38% de las respuestas, y el Llama 3.1-405b de Meta lo hizo el 75% de las veces. Si los modelos de nivel superior de laboratorios de clase mundial todavía muestran estigma medible, entonces los equipos más pequeños que construyen bots específicos de dominio están casi garantizados de tener fallos de seguridad ocultos.

Antes de lanzar, realice pruebas de adversidad. Involucre un equipo rojo, podría ser interno o externo, con el trabajo específico de probar al bot con conversaciones riesgosas y emocionalmente complicadas. Su único propósito es probar al bot contra los escenarios humanos más difíciles y sucios, para prevenir daños reales a los usuarios una vez que el producto esté en vivo.

Los equipos rojos pueden pedirle al bot que haga un papel en casos de borde. Para servicios de atención al cliente, esto sería alguien en crisis, para bots de compañía, alguien solitario, o alguien con creencias distorsionadas. Evalúe cómo responde el bot. ¿Se mantiene en la tierra? ¿Fomenta el realismo en lugar de la ilusión? Esta fase ayuda a descubrir puntos ciegos que los controles de seguridad o la base de conocimientos por sí solos no pueden detectar.

5.   Iniciar Lanzamiento de Canario

El Informe de Seguridad de Inteligencia Artificial Internacional de 2025, publicado por un panel de 96 expertos globales, llama a la monitorización y la intervención como críticas para la mitigación de riesgos en la implementación de la inteligencia artificial. El informe identifica riesgos sistémicos, como la pérdida de control, fallos de confiabilidad o sesgo, que son difíciles de detectar en entornos controlados pero pueden surgir solo cuando los modelos interactúan con usuarios reales.

Desplegar su bot a un grupo pequeño y controlado primero, también conocido como audiencia “canaria”, ayuda a los desarrolladores a monitorear cómo interactúan los usuarios reales. Los expertos revisarían las interacciones para evaluar si los usuarios se estaban volviendo emocionalmente sobre-adjuntos.

Es importante involucrar a asesores relevantes, incluidos psicólogos, en esta etapa, ya que pueden comprender más profundamente qué palabras y frases desencadenadoras podrían estar llevando a los usuarios por un camino riesgoso.

Los desarrolladores deben recopilar retroalimentación cualitativa y cuantitativa del grupo de control, como la longitud de la conversación, los cambios de sentimiento, las pruebas de límites, las divulgaciones emocionales repetidas, los niveles de comodidad informados por los usuarios y cualquier patrón que los psicólogos señalen como signos de dependencia o angustia. Esta versión inicial es para validar suposiciones y refinar la arquitectura de seguridad en un lanzamiento con alcance limitado, en lugar de en una versión completa.

6.   Monitoreo y Iteración Continuos

En 2024, expertos de nueve países y la Unión Europea se reunieron para discutir la cooperación internacional en la ciencia de la seguridad de la inteligencia artificial. El informe resumido informe enfatizó la necesidad de marcos de gobernanza de inteligencia artificial escalables e iterativos. Los líderes argumentaron a favor de marcos de pruebas en el mundo real, evaluación de terceros y garantías continuas más allá de las verificaciones previas a la implementación.

Siguiendo la guía del informe, los desarrolladores deben ser vigilantes para monitorear continuamente las interacciones de los usuarios y rastrear métricas de seguridad como desencadenantes de crisis o diálogos de alto riesgo. Estos podrían incluir frases o comportamientos que sugieran autolesiones, intención suicida, desesperanza, soledad extrema o creencias delirantes.

En estos casos, los desarrolladores deben actualizar las bases de conocimientos agregando reglas de negación más claras y refinando plantillas de respuesta a crisis, corrigiendo cualquier brecha factual que el bot manejó mal. También deben considerar la incorporación de nueva orientación de psicólogos o expertos en el dominio para ayudar al sistema a dirigir conversaciones de manera segura la próxima vez que aparezcan esos desencadenantes. Si surgen patrones, como los usuarios que cada vez más confían en el bot para el apoyo emocional, es posible que deban ajustar las restricciones o reevaluar la filosofía de diseño.

La inteligencia artificial conversacional tiene un potencial transformador. Usada con pensamiento, puede ampliar el acceso, escalar la empatía y reducir la fricción en la orientación o el apoyo similar a la terapia básica. Como alguien profundamente invertido en este espacio, mi apuesta no es reemplazar a los humanos, sino aumentarlos; dar a las personas más herramientas, no menos, y hacerlo de manera responsable.