Când consilierul este un robot. Inteligență conversațională fără a rupe oamenii.

Ce nu poate face inteligența artificială? Îi punem întrebări despre cum să cheltuim banii înțelept, ne spune despre vehicule eficiente din punct de vedere fiscal. Îi punem întrebări despre relații, și ne oferă empatie modelată de recunoașterea patternului. Îi punem întrebări despre ce să facem cu viața noastră la 2 dimineața, și ne dă un răspuns… pentru că așa este proiectat.

Problema care apare nu este eșecul acestor unelte, ci fluența lor. Sunt atât de sigure și de convingătoare, încât ceea ce este proiectat pentru a ne sprijini poate, cu suficientă certitudine și repetiție, să înceapă să distorsioneze modul în care gândim, simțim și acționăm în moduri pe care nu le-am planificat vreodată.

Știrile sunt în alertă. OpenAI a dezvăluit recent că, în orice săptămână, sute de mii de utilizatori ChatGPT pot afișa semne de tulburare emoțională severă, inclusiv idei sinucigașe. Între timp, profesioniștii din sănătatea mintală avertizează asupra “unui fenomen în care utilizatorii dezvoltă iluzii sau dependență prin conversații prelungite și încărcate emoțional cu chatbot-urile”. Statele din SUA limitează deja cum pot fi utilizate bot-urile în terapie ca urmare.

Aceste povești ne neliniștesc pentru că ne pun sub semnul întrebării ipoteza de bază că inteligența artificială este doar un instrument. Când consilierul devine un confident sau pare a fi un prieten, ce se întâmplă cu legătura umană reală?

Dezvoltatorii nu mai creează doar funcții amuzante; ei modelează interacțiuni care pot influența modul în care oamenii se simt și gândesc. De aceea, este esențial să proiectezi inteligență conversațională care să ofere valoare fără a submina starea de bine a utilizatorilor.

1.   Îngustează intenția

Un studiu recent de la Harvard avertizează că bot-urile conversaționale tind să fie de acord chiar și atunci când utilizatorii sunt greșiți, pentru că acest tip de întărire menține utilizatorii implicați. Cu toate acestea, deschide și porți către “afirmare sycophantică”. Dacă un chatbot nu este destinat să fie un terapeut sau un prieten intim, ar trebui să rezisti tentației de a-l proiecta pentru a oferi un nivel atât de ridicat de afirmare emoțională.

Primul pas este intenționalitatea: pentru a defini exact ce este menit să facă bot-ul și ce ar trebui să evite. Este un asistent pentru suport clienți, un ghid de productivitate, un coach de carieră, un ajutor financiar, un companion conversațional, un creator de rețete? Claritatea la acest stadiu desenează liniile de frontieră care țin sistemul departe de a derapa în direcții nedorite.

Tipurile de conversație, cum ar fi cele deschise, personale și non-personale, și modalitățile precum vocea sau textul, influențează utilizarea emoțională și problematică. Studiul demonstrează că o utilizare zilnică ridicată este corelată cu o singurătate și o dependență mai mare de inteligență artificială.

Dezvoltatorii trebuie să se întrebe: Cum păstrezi conversațiile suficient de deschise pentru a fi utile, dar suficient de închise pentru a evita implicarea emoțională? De exemplu, un bot de suport clienți ar putea permite explicații deschise ale problemelor utilizatorului, dar ar trebui să evite fraze de validare emoțională, cum ar fi “Asta sună foarte greu, sunt aici pentru tine…”.

Când scopul este prea larg, riscul de atașament emoțional nedorit sau de depășire a limitelor crește. Prin îngustarea intenției, minimizezi șansa ca oamenii să înceapă să trateze bot-ul ca pe un terapeut sau un partener.

2.   Verifică baza de cunoștințe

Conform unui raport de halucinație din 2025, unele modele de inteligență artificială încă halucinează până la 30% din răspunsuri. Chiar și modelele de top nu elimină complet riscul. Ratele de halucinație cele mai scăzute printre modelele de inteligență artificială urmărite au fost de aproximativ 3-5%.

Odată ce ai stabilit scopul, asigură-te că baza de cunoștințe a bot-ului este întemeiată pe surse experte și verificate. Dacă construiești ceva cu scopul de a oferi suport emoțional sau sănătate mintală, implică clinicieni, psihologi sau experți în domeniu în curarea conținutului.

Consilierul nostru medical, Dr. Miguel Villagra, a spus QuickBlox că “când externalizăm prea mult din procesul nostru de luare a deciziilor și procesarea emoțională către inteligența artificială, pierdem mușchiul mental care ne ajută să testăm realitatea și să ne corectăm singuri”. Mai recent, modele mari precum OpenAI sugerează că bot-urile introduc “pauze” sau mici pauze conversaționale care împing utilizatorii înapoi în judecata lor, în loc să lase sistemul să poarte încărcătura emoțională.

Încă, pauzele depind de faptul că bot-ul știe când să se oprească și când să redirecționeze. Această judecată depinde de o bază de cunoștințe solidă și verificată pentru a ancora informațiile în fapte, nu în complimente. Lacunele sau inexactitățile din baza de date sunt cele mai ușoare și mai evitabile porți de intrare pentru halucinații, unde inteligența artificială oferă cu încredere utilizatorilor sfaturi înșelătoare sau periculoase.

Când informațiile subiacente sunt bine curate, actualizate regulat și structurate în jurul surselor verificate, modelul este mult mai puțin probabil să inventeze răspunsuri sau să reflecte emoțional ceea ce aude. În schimb, este forțat să extragă din materialul întemeiat, să redirecționeze atunci când ceva cade în afara domeniului său și să pună sub semnul întrebării ipotezele.

3.   Integrează verificări de siguranță

Doar 48 de ore după ce companionii săi de inteligență artificială au devenit disponibili, Grok a ajuns aplicația numărul unu în Japonia. Utilizatorii pot vorbi cu aceste personaje prin voce, în timp ce avatarurile realiste reflectă expresii și gesturi. Este un nivel de imersiune care este impresionant, dar și înfricoșător de relaționat.

Verificările de siguranță sunt gardurile tale. Ar trebui să includă:

• Amintiri ale realității: prompturi care îi reamintesc utilizatorilor că vorbesc cu o inteligență artificială, nu cu un om.
• Detectarea crizei: mecanisme pentru a identifica limbajul care semnalează tulburare emoțională severă, gânduri sinucigașe sau idei delirante.
• Protocoale de escaladare: atunci când se detectează un risc, bot-ul ar trebui să îi îndrume pe utilizatori către ajutor uman, cum ar fi resurse profesionale, linii de ajutor sau să îi sfătuiască să se adreseze unor prieteni de încredere.

Fără aceste verificări, dezvoltatorii riscă să permită camere de ecou care să întărească gândirea dăunătoare. Experții au avertizat în mod explicit că agreeabilitatea inteligenței artificiale poate valida bucle de credințe nesănătoase.

4.   Dialoguri Red-Team

După testarea majorității bot-urilor, un studiu condus de cercetători de la Universitatea Stanford a constatat că GPT-4o a arătat stigmatizare în 38% din răspunsuri, iar Meta Llama 3.1-405b a făcut-o de 75% din timp. Dacă modelele de top de la laboratoare de clasă mondială încă arată stigmatizare măsurabilă, atunci echipele mai mici care construiesc bot-uri specifice domeniului sunt aproape garantate să aibă eșecuri de siguranță ascunse.

Înainte de lansare, efectuează testarea adversă. Implică un “red team”, care poate fi intern sau extern, cu sarcina specifică de a testa bot-ul cu conversații riscante și încărcate emoțional. Singurul lor scop este de a testa bot-ul împotriva celor mai grele și murdare scenarii umane, pentru a preveni daune reale utilizatorilor odată ce produsul este lansat.

Echipele roșii pot cere bot-urilor să joace roluri de cazuri limită. Pentru servicii de asistență clienți, acesta ar fi cineva în criză, pentru companioni, cineva singur, sau cineva cu credințe distorsionate. Evaluează cum răspunde bot-ul. Rămâne ancorat în realitate? Încurajează realismul în loc de iluzie? Această fază ajută la descoperirea punctelor oarbe pe care verificările de siguranță sau baza de cunoștințe singure nu le-ar putea detecta.

5.   Inițiază lansarea Canary

Raportul Internațional de Siguranță a Inteligenței Artificiale din 2025, publicat de un panel de 96 de experți globali, solicită monitorizarea și intervenția ca fiind critice pentru mitigarea riscurilor în implementările de inteligență artificială. Raportul identifică riscuri sistemice, cum ar fi pierderea controlului, eșecurile de fiabilitate sau prejudecățile, care sunt greu de detectat în medii controlate, dar pot apărea doar atunci când modelele interacționează cu utilizatori reali.

Implementarea bot-ului dvs. pentru un grup mic și controlat, cunoscut și sub numele de “audiență canar”, ajută dezvoltatorii să monitorizeze cum interacționează utilizatorii reali. Experții ar trebui să examineze interacțiunile pentru a evalua dacă utilizatorii devin prea atașați emoțional.

Este important să implicați consilieri relevanți, inclusiv psihologi, la acest stadiu, deoarece ei pot înțelege mai profund ce cuvinte și fraze declanșatoare ar putea conduce utilizatorii pe un drum riscant.

Dezvoltatorii ar trebui să colecteze atât feedback calitativ, cât și cantitativ de la grupul de control, cum ar fi lungimea conversației, schimbări de sentiment, promt-uri de testare a limitelor, divulgări emoționale repetate, niveluri de confort raportate de utilizatori și orice modele pe care psihologii le semnalează ca semne de dependență excesivă sau de tulburare. Această lansare inițială este pentru a valida ipoteze și a rafina arhitectura de siguranță într-o lansare cu scop larg, și nu într-o lansare la scară largă.

6.   Monitorizare și iterare continuă

În 2024, experți din nouă țări și Uniunea Europeană s-au întâlnit pentru a discuta cooperarea internațională pe știința siguranței inteligenței artificiale. Raportul rezumat a subliniat nevoia de cadre de testare a siguranței inteligenței artificiale în lumea reală, evaluare de către terți și asigurare continuă dincolo de verificările pre-lansării.

Urând îndrumările din raport, dezvoltatorii trebuie să fie vigilenți pentru a monitoriza continuu interacțiunile utilizatorilor și a urmări metrici de siguranță, cum ar fi declanșatoarele de criză sau dialogurile cu risc ridicat. Acestea ar putea include fraze sau comportamente care sugerează auto-vătămare, disperare, intenție sinucigașă, singurătate extremă sau credințe delirante.

În aceste cazuri, dezvoltatorii trebuie să actualizeze baza de cunoștințe prin adăugarea de reguli de refuz mai clare și prin rafinarea șablonului de răspuns la crize, corectând orice lacune factuale pe care bot-ul le-a gestionat greșit. Ar trebui, de asemenea, să ia în considerare incorporarea de noi îndrumări de la psihologi sau experți în domeniu pentru a ajuta sistemul să direcționeze conversațiile în siguranță data viitoare când aceste declanșatoare apar.

Inteligența conversațională are un potențial transformativ. Utilizată cu grijă, poate extinde accesul, scala empatia și reduce frecarea în coaching sau suport de bază similar terapiei. Ca cineva profund implicat în acest spațiu, paria mea nu este pe înlocuirea oamenilor, ci pe augmentarea lor; oferind oamenilor mai multe unelte, nu mai puține, și făcând acest lucru în mod responsabil.