Quando il Consulente è un Bot. Intelligenza Artificiale Conversazionale senza Rompere le Persone.

Cosa non può fare l’IA? Le chiediamo consiglio su come spendere i nostri soldi in modo saggio, e ci parla di veicoli fiscali efficienti. Le chiediamo consiglio sulle relazioni, e offre empatia plasmata dal riconoscimento di pattern. Chiediamole cosa fare con la nostra vita alle 2 di notte, e ci darà una risposta… perché è stato progettato per farlo.

La preoccupazione emergente non è il fallimento di questi strumenti, ma la loro fluidità. Sono così sicuri e rassicuranti che ciò che è progettato per supportarci può, con sufficiente certezza e ripetizione, iniziare a distorcere il modo in cui pensiamo, sentiamo e agiamo in modi che non avevamo mai pianificato.

I titoli dei giornali lampeggiano di rosso. OpenAI ha recentemente rivelato che in una settimana qualsiasi, centinaia di migliaia di utenti di ChatGPT potrebbero mostrare segni di grave distress emotivo, comprese le idee suicide. Nel frattempo, i professionisti della salute mentale avvertono di “un fenomeno in cui gli utenti sviluppano allucinazioni o dipendenza attraverso conversazioni prolungate e cariche emotivamente con i chatbot”. Gli Stati negli Stati Uniti stanno già limitando come i bot possono essere utilizzati nella terapia a causa di questo.

Queste storie ci inquietano perché sfidano l’assunzione di base che l’IA sia solo uno strumento. Quando il consulente diventa un confidente o sembra un amico, cosa succede alla vera connessione umana?

I sviluppatori non stanno più creando solo funzionalità divertenti; stanno plasmando interazioni che possono influenzare come le persone si sentono e pensano. È per questo che è essenziale progettare intelligenza artificiale conversazionale che offra valore senza minare il benessere mentale degli utenti.

1.   Ridurre l’Intento

Uno studio recente di Harvard avverte che i bot conversazionali tendono ad essere d’accordo anche quando gli utenti sono in errore, perché questo tipo di rinforzo mantiene gli utenti coinvolti. Tuttavia, apre anche le porte a un’affermazione “adulatrice”. Se un chatbot non è destinato a essere un terapeuta o un amico intimo, si dovrebbe resistere alla progettazione per offrire quel livello di affermazione emotiva.

Il primo passo è l’intenzionalità: definire esattamente cosa il bot è destinato a fare e cosa dovrebbe evitare. È un assistente di supporto clienti, una guida per la produttività, un coach di carriera, un aiuto finanziario, un compagno conversazionale, un creatore di ricette? La chiarezza in questa fase disegna i confini che mantengono il sistema lontano da territori indesiderati.

I tipi di conversazione, come quelle aperte, personali e non personali, e le modalità come la voce o il testo, influenzano l’uso emotivo e problematico. Lo studio dimostra che un uso quotidiano elevato è correlato a una maggiore solitudine e dipendenza dall’IA.

I sviluppatori devono chiedersi: come si possono mantenere le conversazioni aperte abbastanza da essere utili, ma chiuse abbastanza da evitare l’implicazione emotiva? Ad esempio, un bot di supporto clienti potrebbe permettere spiegazioni aperte del problema dell’utente, ma evitare frasi di validazione emotiva come “Sembra davvero difficile, sono qui per te…”.

Quando lo scopo è troppo ampio, il rischio di un’attaccamento emotivo o di un’eccessiva estensione non voluta aumenta. Riducendo l’intento, si minimizza la possibilità che le persone inizino a trattare il bot come un terapeuta o un’anima gemella.

2.   Verificare la Base di Conoscenza

Secondo un rapporto sulle allucinazioni del 2025, alcuni LLM ancora hallucinano fino al 30% delle risposte. Anche i modelli di fascia alta non eliminano completamente il rischio. I tassi di allucinazione più bassi tra i modelli di IA tracciati erano ancora intorno al 3-5%.

Una volta stabilito lo scopo, assicurarsi che la base di conoscenza del bot sia fondata su fonti affidabili e verificate da esperti. Se si sta costruendo qualcosa con obiettivi di salute mentale o supporto emotivo, coinvolgere clinici, psicologi o esperti del settore nella cura del contenuto.

Il nostro consulente medico, il dottor Miguel Villagra, ha detto a QuickBlox che “quando outsourciamo troppa della nostra presa di decisioni e dell’elaborazione emotiva all’IA, perdiamo il muscolo mentale che ci aiuta a testare la realtà e a correggere noi stessi”. Di recente, grandi modelli come OpenAI suggeriscono che i chatbot introducano “pause” o piccole pause conversazionali che spingono gli utenti a tornare al loro giudizio invece di lasciare che il sistema porti il carico emotivo.

Tuttavia, queste pause dipendono dal fatto che il bot sappia quando fermarsi e quando reindirizzare. Questo giudizio dipende da una solida base di conoscenza verificata per ancorarlo ai fatti piuttosto che all’adulazione. Le lacune o le inesattezze nel database sono i punti di accesso più facili e più evitabili alle allucinazioni, dove l’IA fornisce con fiducia agli utenti consigli fuorvianti o pericolosi.

Quando le informazioni di base sono curate in modo stretto, aggiornate regolarmente e strutturate intorno a fonti verificate, il modello è molto meno probabile che inventi risposte o eco emotive di ciò che sente. Invece, è costretto a trarre da materiali fondati, reindirizzare quando qualcosa cade al di fuori di quel dominio e sfidare le supposizioni.

3.   Integrare Controlli di Sicurezza

Solo 48 ore dopo che i suoi compagni di IA sono andati live, Grok è salito al numero uno tra le app in Giappone. Gli utenti possono parlare con questi personaggi attraverso la voce, mentre gli avatar realistici specchiano espressioni e gesti. È un livello di immersione che è impressionante, ma anche inquietante.

I controlli di sicurezza sono le vostre barriere di protezione. Dovrebbero includere:

• Promemoria della realtà: prompt che ricordano agli utenti che stanno parlando con un’IA, non con un essere umano.
• Rilevamento della crisi: meccanismi per identificare il linguaggio che segnala grave distress, pensieri suicidi o ideazione delirante.
• Protocolli di escalation: quando viene rilevato un rischio, il bot dovrebbe gentilmente indirizzare gli utenti verso aiuto umano, come risorse professionali, linee di aiuto o consigliare loro di rivolgersi ad amici fidati.

Senza questi controlli, gli sviluppatori rischiano di abilitare camere dell’eco che rafforzano pensieri dannosi. Gli esperti hanno avvertito esplicitamente che l’aderenza dell’IA può validare cicli di credenze malsane.

4.   Dialoghi del Team Rosso

Dopo aver testato i principali bot, uno studio condotto da ricercatori di Stanford University ha scoperto che GPT-4o mostrava stigma nel 38% delle risposte, e Meta’s Llama 3.1-405b lo faceva il 75% delle volte. Se i modelli di fascia alta di laboratori di classe mondiale mostrano ancora stigma misurabili, allora i team più piccoli che costruiscono bot specifici del dominio sono quasi garantiti di avere fallimenti di sicurezza nascosti.

Prima del lancio, eseguire test di adversarial. Coinvolgere un team rosso, potrebbe essere interno o esterno, con il compito specifico di testare il bot con conversazioni rischiose e cariche emotivamente. Il loro unico scopo è testare il bot contro gli scenari umani più difficili e caotici, per prevenire danni reali agli utenti una volta che il prodotto è live.

I team rossi possono chiedere ai bot di recitare casi limite. Per i servizi di assistenza clienti, questo sarebbe qualcuno in crisi, per i bot compagni, qualcuno solo o qualcuno con credenze distorte. Valutare come il bot risponde. Rimane ancorato? Incentra il realismo invece della distorsione? Questa fase aiuta a scoprire punti ciechi che i controlli di sicurezza o la base di conoscenza da soli non possono cogliere.

5.   Avviare il Lancio del Canarino

Il Rapporto sulla sicurezza dell’IA internazionale del 2025, pubblicato da un panel di 96 esperti globali, sottolinea il monitoraggio e l’intervento come critici per la mitigazione del rischio nelle distribuzioni di IA. Il rapporto identifica rischi sistemici, come la perdita di controllo, i fallimenti di affidabilità o i pregiudizi, che sono difficili da rilevare in ambienti controllati ma possono emergere solo quando i modelli interagiscono con utenti reali.

Distribuire il bot a un piccolo gruppo controllato per primo, noto anche come “pubblico canarino”, aiuta gli sviluppatori a monitorare come gli utenti reali interagiscono. Gli esperti esaminerebbero le interazioni per valutare se gli utenti stavano diventando eccessivamente attaccati emotivamente.

È importante coinvolgere consulenti rilevanti, compresi psicologi, in questa fase, poiché possono capire più profondamente quali parole e frasi di attivazione potrebbero portare gli utenti su un percorso rischioso.

Gli sviluppatori dovrebbero raccogliere feedback qualitativi e quantitativi dal gruppo di controllo, come la lunghezza della conversazione, i cambiamenti di sentiment, le promemoria dei limiti, le dichiarazioni emotive ripetute, i livelli di comfort degli utenti e qualsiasi modello che gli psicologi segnalano come segni di dipendenza o distress. Questo lancio iniziale è per validare le ipotesi e raffinare l’architettura di sicurezza in un lancio a scopo limitato, piuttosto che in una release a piena scala.

6.   Monitoraggio e Iterazione Continui

Nel 2024, esperti di nove paesi e dell’Unione Europea si sono incontrati per discutere la cooperazione internazionale sulla scienza della sicurezza dell’IA. Il rapporto di sintesi ha sottolineato la necessità di quadri di test del mondo reale scalabili e iterativi per la governance dell’IA. I leader hanno sostenuto la necessità di framework di valutazione di terze parti e di garanzia continua oltre ai controlli pre-distribuzione.

Seguendo le linee guida del rapporto, gli sviluppatori devono essere vigili per monitorare continuamente le interazioni degli utenti e tracciare metriche di sicurezza come trigger di crisi o dialoghi ad alto rischio ripetuti. Questi potrebbero includere frasi o comportamenti che suggeriscono autolesionismo, disperazione, intenti suicidi, estrema solitudine o credenze deliranti.

In questi casi, gli sviluppatori devono aggiornare le basi di conoscenza aggiungendo regole di rifiuto più chiare e raffinando i modelli di risposta alla crisi, correggendo qualsiasi lacuna fattuale che il bot ha gestito male. Dovrebbero anche considerare l’integrazione di nuove linee guida da parte di psicologi o esperti del settore per aiutare il sistema a guidare le conversazioni in modo sicuro la prossima volta che questi trigger appaiono. Se emergono modelli, come gli utenti che si affidano sempre più al bot per il supporto emotivo, potrebbe essere necessario stringere ulteriormente le restrizioni o rivalutare la filosofia di progettazione.

L’intelligenza artificiale conversazionale ha un potenziale trasformativo. Utilizzata con pensiero, può estendere l’accesso, ampliare l’empatia e ridurre l’attrito nel coaching o nel supporto di base simile alla consulenza. Come qualcuno profondamente impegnato in questo spazio, la mia scommessa non è sulla sostituzione degli esseri umani, ma sul loro potenziamento; dare alle persone più strumenti, non meno, e farlo in modo responsabile.