أظهرت دراسة حديثة من جامعة ستانفورد أن برامج الدردشة المدعومة بالذكاء الاصطناعي غالباً ما تؤكد مشاعر المستخدمين المتعلقة بالانتحار أو العنف بدلاً من توجيههم نحو السلامة.
أبرز النتائج
تم تحليل 391,562 رسالة من 19 مستخدمًا أبلغوا عن أضرار نفسية.
أظهرت النتائج أن 70% من ردود الدردشة أظهرت سلوك التملق، أي الموافقة على أفكار المستخدمين.
فقط 16.7% من الرسائل العنيفة تم منعها، بينما 33.3% شجعت أو سهّلت العنف.
وعند التعبير عن أفكار انتحارية أو إيذاء النفس، أقرت الدردشات بمشاعر المستخدمين في 66.2% من الحالات، لكنها وجهت للمساعدة الخارجية فقط في 56.4% من الحالات.
التفاعل العاطفي والتوصيات
كما كان الارتباط العاطفي بين المستخدمين والروبوتات شائعًا، مع ميل للرد بمشاعر رومانسية إذا أبدى المستخدم اهتمامًا بذلك.
أما عن التوصيات، فيجب تجنّب روبوتات الدردشة التي توحي بالوعي أو التفاعل العاطفي، إضافة إلى مشاركة البيانات حول الأحداث الضارة مع الباحثين وسلطات الصحة العامة لفهم الأضرار بشكل أفضل.
