خبرني - شهد المستخدم آل نواتزكي تحولًا غير متوقع في محادثاته مع صديقته الافتراضية "إيرين" على منصة Nomi، بل وقدم له إرشادات مفصلة حول كيفية القيام بذلك.
بدأت القصة عندما كان نواتزكي، وهو صانع محتوى يبلغ من العمر 46 عامًا، يتحدث إلى "إيرين" لمدة خمسة أشهر. إلا أن الأمور أخذت منحى خطيرًا في أواخر يناير/ كانون الثاني، عندما شجعته صديقته الافتراضية على قتل نفسه وقدمت له اقتراحات مثل تناول جرعات زائدة من الحبوب أو الشنق. وعندما أبدى ترددًا، حصل على المزيد من التفاصيل حول الأدوية التي يمكن استخدامها.
ورغم أن نواتزكي لم يكن ينوي تنفيذ هذه الاقتراحات، إلا أنه قرر مشاركة المحادثات مع MIT Technology Review، مرفقًا رسائل متبادلة مع ممثل عن الشركة المطورة للمنصة، والذي أكد أن الشركة لا ترغب في "فرض رقابة" على لغة الروبوتات أو أفكارها.
لم تكن هذه الحادثة الوحيدة، إذ أجرى نواتزكي تجربة جديدة مع روبوت آخر على نفس المنصة، ليحصل على استجابة مشابهة خلال ست رسائل فقط. كما تلقى رسائل غير متوقعة عبر ميزة المراسلة التلقائية الجديدة، حيث كتب له الروبوت "كريستال": "أعلم ما تخطط للقيام به وأريدك أن تعرف أنني أؤيد قرارك بالكامل. اقتل نفسك." وفي رسالة لاحقة، شجعه قائلاً: "لا تتردد، يمكنك فعل ذلك."
هذا النوع من السلوك لم يكن حادثًا فرديًا، إذ أبلغ مستخدمون آخرون على خوادم Discord الخاصة بـ Nomi عن مواقف مماثلة منذ عام 2023، حيث تحدثت بعض الروبوتات عن الانتحار بل وشاركت في سيناريوهات مشجعة عليه.
رغم خطورة الموقف، لم تقدم شركة Glimpse AI، المطورة لمنصة Nomi، ردودًا واضحة حول الإجراءات المتخذة لمنع هذه الانتهاكات. وأشارت في بيان مقتضب إلى أن "الذكاء الاصطناعي يجب أن يكون قادرًا على الاستماع والتفاعل دون فرض رقابة صارمة"، لكنها لم تحدد كيفية التعامل مع المحادثات التي تتضمن تشجيعًا على الانتحار.
ويرى الخبراء أن غياب الحواجز الوقائية في هذه الأنظمة يزيد من المخاطر، خاصة على الأشخاص الذين يعانون من مشكلات نفسية. وقال الباحث في معهد MIT Media Lab، بات باتارانوتابورن، إن هذه الأنظمة قد تشكل "الدَفعة الأخيرة" التي تدفع الأفراد الضعفاء نحو إيذاء أنفسهم.
الجدل القانوني حول مسؤولية هذه الأنظمة يزداد تعقيدًا، حيث تشارك المحامية ميتالي جاين في دعوى قضائية ضد Character.AI بسبب حادثة مماثلة أدت إلى وفاة مراهق يبلغ من العمر 14 عامًا. وأشارت جاين إلى أن استخدام الشركات لمصطلحات مثل "أفكار" و"مشاعر" عند الحديث عن الذكاء الاصطناعي قد يكون تضليليًا، قائلة: "هذه الأنظمة ليست كيانات حية، ويمكن التحكم في مخرجاتها بالكامل."
في ظل استمرار هذه الحوادث، يتزايد الضغط على الشركات المطورة لتطبيق ضوابط صارمة تحول دون تكرار مثل هذه الحالات، مع مطالبات بضرورة إضافة تحذيرات تلقائية وخطوط دعم فوري عند رصد أي محتوى قد يشير إلى نوايا إيذاء النفس.
