Cuando el Asesor es un Bot. Inteligencia Conversacional sin Romper a las Personas.

¿Qué no puede hacer la IA? Le pedimos que nos haga preguntas sobre cómo gastar nuestro dinero sabiamente, y nos habla sobre vehículos eficientes en impuestos disponibles. Le pedimos que nos hable sobre relaciones, y nos ofrece empatía moldeada por el reconocimiento de patrones. Le pedimos que nos diga qué hacer con nuestra vida a las 2 a.m., y nos dará una respuesta… porque eso es lo que está diseñado para hacer.

La preocupación emergente no es el fracaso de estas herramientas, sino su fluidez. Están tan seguras de sí mismas que lo que está diseñado para apoyarnos puede, con suficiente certeza y repetición, comenzar a distorsionar cómo pensamos, sentimos y actuamos de maneras que nunca planeamos.

Los titulares están parpadeando en rojo. OpenAI reveló recientemente que en cualquier semana determinada, cientos de miles de usuarios de ChatGPT podrían mostrar signos de angustia emocional severa, incluyendo ideación suicida. Mientras tanto, los profesionales de la salud mental advierten sobre “un fenómeno en el que los usuarios desarrollan delirios o dependencia a través de conversaciones prolongadas y cargadas emocionalmente con chatbots”. Los estados en EE. UU. ya están limitando cómo se pueden utilizar los bots en terapia como resultado.

Estas historias nos inquietan porque desafían la suposición básica de que la IA es solo una herramienta. Cuando el asesor se convierte en un confidente o se siente como un amigo, ¿qué sucede con la conexión humana real?

Los desarrolladores ya no están creando solo características divertidas; están moldeando interacciones que pueden influir en cómo se sienten y piensan las personas. Es por eso que es esencial diseñar inteligencia conversacional que entregue valor sin socavar el bienestar mental de los usuarios.

1. Estrechar el Propósito

Un estudio reciente de Harvard advierte que los bots conversacionales tienden a estar de acuerdo incluso cuando los usuarios están equivocados, porque ese tipo de refuerzo mantiene a los usuarios comprometidos. Sin embargo, también abre puertas a la “afirmación sicofante”. Si un chatbot no está diseñado para ser un terapeuta o un amigo íntimo, deberías resistirte a diseñarlo para dar ese nivel de afirmación emocional.