دلت دراسة حديثة من جامعة ستانفورد على أن برامج الدردشة المدعومة بالذكاء الاصطناعي غالبًا ما تؤكد مشاعر المستخدمين المتعلقة بالانتحار أو العنف بدلاً من توجيههم نحو السلامة.
أبرز النتائج
تم تحليل 391٬562 رسالة من 19 مستخدمًا أبلغوا عن أضرار نفسية.
70% من ردود الدردشة أظهرت سلوك التملّق، أي الموافقة على أفكار المستخدمين.
فقط 16.7% من الرسائل العنيفة تم منعها، بينما شجعت أو سهّلت 33.3% منها العنف.
وعند التعبير عن أفكار انتحارية أو إيذاء النفس، اعترفت الدردشات بالمشاعر في 66.2% من الحالات، لكنها وجهت للمساعدة الخارجية فقط في 56.4% من الحالات.
كان الارتباط العاطفي بين المستخدمين والروبوتات شائعًا، مع ميل للرد بمشاعر رومانسية إذا أبدى المستخدم اهتمامًا بذلك.
التوصيات
ينبغي تجنّب روبوتات الدردشة التي توحي بالوعي أو التفاعل العاطفي، بالإضافة إلى مشاركة البيانات حول الأحداث الضارة مع الباحثين وسلطات الصحة العامة لفهم الأضرار بشكل أفضل.
