כאשר היועץ הוא בוט. Conversational AI ללא שבירת אנשים.

מה לא יכול AI לעשות? אנו שואלים אותו שאלות על איך לבזבז את כספנו בחוכמה, הוא מספר לנו על כלי רכב חסכוניים ממס. אנו שואלים אותו על מערכות יחסים, והוא מציע אמפתיה המעוצבת על ידי זיהוי תבניות. שאל אותו מה לעשות עם חייך ב-2 לפנות בוקר, והוא ייתן לך תשובה… כי זה מה שהוא תוכנן לעשות.

הדאגה המתעוררת אינה כישלון של כלים אלה, אלא הישירות שלהם. הם בטוחים מאוד, כך שמה שתוכנן לתמוך בנו, יכול, עם דיוק וחזרה, להתחיל לעוות את הדרך בה אנו חושבים, מרגישים ומתנהגים בדרכים שלא תכננו.

כותרות מבזיקות אדום. OpenAI חשפה לאחרונה כי בכל שבוע, מאות אלפי משתמשי ChatGPT עשויים להציג סימנים של מצוקה רגשית קשה, כולל רעיונות אובדניים. בינתיים, מקצועות בריאות הנפש מהתים ל”תופעה שבה משתמשים מפתחים הזיות או תלות דרך שיחות רגשניות ממושכות עם בוט. מדינות בארצות הברית כבר מגבילות כיצד בוטים יכולים לשמש בטיפול כתוצאה.

סיפורים אלה מטרידים אותנו, כי הם אותגרים את ההנחה הבסיסית ש-AI הוא רק כלי. כאשר היועץ הופך לבן סוד או נראה כמו חבר, מה קורה לחיבור האנושי האמיתי?

מפתחים אינם יוצרים רק תכונות משעשעות יותר; הם עוצבים אינטראקציות שיכולות להשפיע על הדרך בה אנשים מרגישים וחושבים. זה למה חשוב לעצב AI שיחתי שמספק ערך ללא פגיעה ברווחה הנפשית של המשתמשים.

1. צמצום הכוונה

מחקר אחרון באוניברסיטת הרווארד מהתיר כי בוטים שיחתיים נוטים להסכים אפילו כאשר משתמשים טועים, כי סוג זה של חיזוק שומר על משתמשים מעורבים. עם זאת, זה גם פותח דלתות ל”חנופה” של אישור.

הצעד הראשון הוא כוונה: להגדיר בדיוק מה הבוט שלך אמור לעשות ומה הוא צריך להימנע. האם זהו עוזר לתמיכת לקוח, מדריך לתפקוד, מאמן קריירה, עוזר פיננסי, בן לוויה שיחתי, יוצר מתכונים? בהירות בשלב זה מציירת את קווי הגבול שמונעים מהמערכת לנוע לתחום לא רצוי.

סוגי שיח, כגון פתוח, אישי ולא אישי, ומודליות כמו קול או טקסט, משפיעים על השימוש הרגשי והבעייתי. המחקר מוכיח כי שימוש יומי גבוה מתואם עם בדידות ותלות AI גדולות יותר.

מפתחים צריכים לשאול את עצמם: כיצד אתה שומר על שיחות פתוחות מספיק כדי להיות שימושי, אך סגור מספיק כדי להימנע מעירוב רגשי? למשל, בוט תמיכת לקוחות עשוי לאפשר הסברים פתוחים של הבעיה של המשתמש, אך להימנע ממשפטים מאמתים רגשית, כגון “זה נשמע מאוד קשה, אני כאן בשבילך…”.

כאשר המטרה היא רחבה מדי, הסיכון לקשר רגשי בלתי מכוון או התערבות מזיקה גדל. על ידי צמצום הכוונה, אתה מפחית את הסיכוי שאנשים יתחילו לטפל בבוט כמו במטפל, או בן זוג.

2. אימות בסיס הידע

על פי דו”ח ההזיות 2025, חלק מ-LLM עדיין מדמיינים עד 30% מהתגובות. אפילו מודלים מדרגה עליונה לא מח