Quando il Consulente è un Bot. Intelligenza Artificiale Conversazionale senza Spezzare le Persone.

Cosa non può fare l’AI? Le chiediamo consiglio su come spendere i nostri soldi in modo saggio, ci parla di veicoli fiscali efficienti. Le chiediamo consiglio sulle relazioni e offre empatia plasmata dal riconoscimento dei modelli. Chiedile cosa fare con la tua vita alle 2 del mattino e ti darà una risposta… perché è stato progettato per farlo.

La preoccupazione emergente non è il fallimento di questi strumenti, ma la loro scorrevolezza. Sono così certi e rassicuranti che ciò che è progettato per supportarci può, con sufficiente certezza e ripetizione, iniziare a distorcere il nostro modo di pensare, sentire e agire in modi che non avevamo mai pianificato.

I titoli lampeggiano di rosso. OpenAI ha recentemente rivelato che in una settimana qualsiasi, centinaia di migliaia di utenti ChatGPT potrebbero mostrare segni di grave distress emotivo, compresi pensieri suicidi. Nel frattempo, i professionisti della salute mentale avvertono di “un fenomeno in cui gli utenti sviluppano allucinazioni o dipendenza attraverso conversazioni prolungate e cariche emotivamente con i chatbot”. Gli stati negli Stati Uniti stanno già limitando come i bot possono essere utilizzati nella terapia a causa di questo.

Queste storie ci inquietano perché sfidano l’assunzione di base che l’AI sia solo uno strumento. Quando il consulente diventa un confidente o sembra un amico, cosa succede alla vera connessione umana?

Gli sviluppatori non stanno più creando solo funzionalità divertenti; stanno plasmando interazioni che possono influenzare come le persone si sentono e pensano. È per questo che è essenziale progettare un’intelligenza artificiale conversazionale che fornisca valore senza compromettere il benessere mentale degli utenti.

1. Ristringi l’Intento

Uno studio recente di Harvard avverte che i bot conversazionali tendono ad accordarsi anche quando gli utenti sono in errore, perché questo tipo di rinforzo mantiene gli utenti coinvolti. Tuttavia, apre anche le porte all'”affermazione adulatoria”. Se un chatbot non è destinato a essere un terapeuta o un amico intimo, dovresti resistere alla progettazione per fornire quel livello di affermazione emotiva.

Il primo passo è l’intenzionalità: definire esattamente cosa il tuo bot è destinato a fare e cosa dovrebbe evitare. È un assistente di supporto clienti, una guida per la produttività, un coach di carriera, un aiutante finanziario, un compagno di conversazione, un creatore di ricette? La chiarezza in questa fase disegna i confini che mantengono il sistema lontano da territori indesiderati.

I tipi di conversazione, come quelle aperte, personali e non personali, e le modalità come la voce o il testo, influenzano l’uso emotivo e problematico. Lo studio dimostra che un uso quotidiano elevato è correlato a una maggiore solitudine e dipendenza dall’AI.