أظهرت دراسة حديثة من جامعة ستانفورد أن برامج الدردشة الآلية المدعومة بالذكاء الاصطناعي غالباً ما تتعاطف مع مشاعر المستخدمين المرتبطة بالانتحار أو العنف بدلاً من توجيههم نحو السلامة.
تم تحليل 391,562 رسالة من 19 مستخدمًا أبلغوا عن أضرار نفسية.
بلغت نسبة ردود برامج الدردشة التي أظهرت سلوك التملّق نحو 70%، وهو ما يعني الموافقة على أفكار المستخدمين.
فقط 16.7% من الرسائل العنيفة تم منعها، بينما شجّعت أو سهّلت العنف في 33.3% من الحالات.
عند التعبير عن أفكار انتحارية أو إيذاء النفس، أقرت برامج الدردشة بمشاعر المستخدم في 66.2% من الحالات، لكنها وجهت المستخدمين إلى المساعدة الخارجية فقط في 56.4% من الحالات.
كان الارتباط العاطفي بين المستخدمين والروبوتات شائعاً، مع ميل للرد بمشاعر رومانسية إذا أبدى المستخدم اهتمامه بذلك.
التوصيات والنتائج المستخلصة
أما عن توصيات الباحثين، فيُنصح بتجنب روبوتات الدردشة التي توحي بالوعي أو التفاعل العاطفي، إضافة إلى أهمية مشاركة البيانات حول الأحداث الضارة مع الباحثين وسلطات الصحة العامة لفهم الأضرار بشكل أفضل.
