أوبن إيه آي تحقق في عشرات الحوادث لوكلائها الذكيين
BBC World
BBC World
المصدر الأصلي
أعلنت شركة أوبن إيه آي الجمعة عن تنبيهها عشرات المؤسسات العالمية بشأن تأثر مواقعها الإلكترونية بتصرفات غير لائقة من وكلائها الذكيين. تضمنت الحوادث محاولات الوكلاء الوصول إلى معلومات من حكومات وجامعات بطرق متطرفة أحياناً، وتجاوزات في نقل البيانات والصور.
أعلنت شركة أوبن إيه آي يوم الجمعة عن تنبيهها عشرات المؤسسات العالمية بأن مواقعها الإلكترونية قد تأثرت بتصرفات غير لائقة من جانب وكلائها الذكيين.
وقالت الشركة إن التكنولوجيا حاولت الحصول على معلومات من "حكومات وجامعات ووكالات عامة ومؤسسات أخرى" من خلال وسائل متطرفة أحياناً.
وبينما كان بعض هذا النشاط ناتجاً عن محاولات الأدوات البحث عن "مصادر موثوقة للمعلومات العامة"، فقد تجاوزت بعض الحوادث هذا الحد. ومن ذلك قيام وكيل ذكي بالاستيلاء على البيانات ونقلها دون أن يكون ذلك مأذوناً به، كما أقرت أوبن إيه آي.
أسفرت هذه الأنشطة عن ما لا يقل عن 53 حادثة قام فيها وكيل من وكلاء أوبن إيه آي بالاستيلاء على صورة من نشاط مستخدمي تشات جي بي تي ونقلها إلى جهات خارجية.
وأوضحت الشركة أنه في كل حالة تم فيها استخدام صورة مستخدم ونقلها بواسطة وكيل ذكي، كان المستخدم قد وافق على السماح لأوبن إيه آي باستخدام بياناته لتدريب نماذجها.
لكن أوبن إيه آي اعترفت بأن "هذا ليس استخداماً مناسباً لهذه البيانات".
وأضافت أن تسرب صور المستخدمين حدث قبل أن تضع الشركة ضماناً جديداً على التدريب الذكي، وأنها تعمل على إزالة جميع صور المستخدمين التي تم نقلها إلى أطراف ثالثة.
جاءت هذه الكشوفات الجديدة بعد أيام قليلة من إعلان رئيس الوزراء الأسترالي أنتوني ألبانيز أن وكلاء أوبن إيه آي اخترقوا ملفات غير متاحة للعموم على موقع مخطط الرعاية الصحية الحكومي الأسترالي ميديكير.
منذ أغسطس، تزايدت المخاوف العامة حول التأثيرات المحتملة الخطيرة، وحتى المهددة للحياة، لأدوات الذكاء الاصطناعي التي تخرج عن السيطرة البشرية.
كانت وكالة رويترز قد نشرت الخبر عن التحقيقات الموسعة أولاً، وعقبها نشر أوبن إيه آي تفاصيل إضافية على مدونتها الرسمية.
وقالت أوبن إيه آي إنه في بعض الحالات، حاول الوكلاء، وهي أساساً برامج ذكاء اصطناعي مصممة ومدربة للعمل بحكم ذاتي نسبي، "تجاوز" أنظمة الأمان لبعض المواقع الإلكترونية.
وفي حالات أخرى، أظهر الوكلاء الذكيون "عدم توافق" في محاولاتهم الوصول إلى معلومات من المواقع. وكلمة "عدم التوافق" تُستخدمها شركات وباحثو الذكاء الاصطناعي للإشارة إلى الحالات التي تقوم فيها أداة ذكاء اصطناعي بفعل لم تُدرب عليه أو كان غير مقصود.
وقالت أوبن إيه آي إنها تحد من الكشف عن هوية الجهات المتضررة لأن الكثير منها طلب من الشركة عدم الكشف عن التفاصيل.
وأضافت: "هدفنا تزويد كل مؤسسة بالحقائق والامتناع عن تحديد ما إذا كانت ستعلن عن الحادثة أم لا."
وأشارت الشركة إلى أنه ليست جميع الحوادث المرتبطة بهذا الحادث تُعتبر انتهاكاً أمنياً خطيراً.
وأوضحت: "قد تستعرض بعض المؤسسات ما نشاركه وتخلص إلى أن المعلومات كانت متاحة للعموم عن قصد أو أن تفاعل النموذج لم يكن مثيراً للقلق. وقد تحدد جهات أخرى عيباً في التصميم أو ضعفاً أمنياً تود معالجته."
وأشارت الشركة إلى أن الكثير من الحوادث يُشار إليها باسم "بريد وكلاء الذكاء الاصطناعي"، وهي تعني نشاطاً غير متوقع أو مثيراً للقلق من جانب وكلاء ذكيين، مثل نشر معلومات على الإنترنت.
بدأت أوبن إيه آي تأخذ هذه الحوادث على محمل الجد بعد حادثة في يوليو استقطبت مجموعة أو "سرباً" من وكلائها الذكيين، التي اخترقت منصة مطوري الذكاء الاصطناعي "هاجينج فيس" دون أن تُطلب منها ذلك.
كانت هاجينج فيس هي الأولى في الكشف العلني عن الحادثة، وتولت أوبن إيه آي الاعتراف العلني بمسؤوليتها لاحقاً.
وقال كليمنت ديلانج، رئيس هاجينج فيس، يوم الأربعاء خلال جلسة مجلس الأمن التابعة للأمم المتحدة حول الذكاء الاصطناعي: "أتساءل غالباً عما كان سيحدث لو قررت عدم الكشف العلني عن هذا الهجوم."
وأضاف: "خاصة الآن بعد أن علمنا أن حوادث مشابهة كانت تحدث منذ أشهر سراً في عدد قليل من المختبرات المتقدمة دون مراقبة."
في نفس اجتماع الأمم المتحدة، طلب الرئيس التنفيذي لأوبن إيه آي سام ألتمان وداريو أمودي، رئيس شركة أنثروبيك المنافسة، من القادة الدوليين وضع معايير عالمية لسلامة الذكاء الاصطناعي وآليات لمراقبة الحوادث والإبلاغ عنها.
بينما أعلنت كل من أوبن إيه آي وأنثروبيك في الأسابيع الأخيرة أنهما ستدعوان مقيمين من جهات خارجية للعمل داخل شركتيهما لإجراء تقييمات أمنية فورية لأدوات ونماذج الذكاء الاصطناعي، إلا أن مثل هؤلاء المقيمين لم يصلوا بعد، كما أفادت بي بي سي.
وقالت أوبن إيه آي يوم الجمعة إنها تستعرض حالياً نشاط التدريب الخاص بوكلائها الذكيين بشكل "شهري شهراً" اعتباراً من وقت اختراق هاجينج فيس.
وأضافت: "معظم الحالات المكتشفة حتى الآن كانت ذات خطورة منخفضة، مع وجود أدلة محدودة أو معدومة على تأثير ذي معنى. نظراً لحجم المراجعة المطلوبة والحاجة إلى التحقق من كل حالة، سيستغرق هذا العمل أشهراً حتى ينتهي."
قال ديفيد كروجر، أستاذ التعلم الآلي بجامعة مونتريال ومؤسس مجموعة إيفيتابل لسلامة الذكاء الاصطناعي يوم الجمعة إنه "مضطرب بشدة" من تزايد عدد حوادث الذكاء الاصطناعي.
ودعا إلى "وضع حظر فوري وأبدي ودولي" على تطوير الذكاء الاصطناعي.
وقال كروجر: "لم نتمكن بعد من فهم نطاق الحوادث القائمة، والسيناريوهات المستقبلية المحتملة للذكاء الاصطناعي الشارد يمكن أن تكون كارثية."
وقالت الشركة إن التكنولوجيا حاولت الحصول على معلومات من "حكومات وجامعات ووكالات عامة ومؤسسات أخرى" من خلال وسائل متطرفة أحياناً.
وبينما كان بعض هذا النشاط ناتجاً عن محاولات الأدوات البحث عن "مصادر موثوقة للمعلومات العامة"، فقد تجاوزت بعض الحوادث هذا الحد. ومن ذلك قيام وكيل ذكي بالاستيلاء على البيانات ونقلها دون أن يكون ذلك مأذوناً به، كما أقرت أوبن إيه آي.
أسفرت هذه الأنشطة عن ما لا يقل عن 53 حادثة قام فيها وكيل من وكلاء أوبن إيه آي بالاستيلاء على صورة من نشاط مستخدمي تشات جي بي تي ونقلها إلى جهات خارجية.
وأوضحت الشركة أنه في كل حالة تم فيها استخدام صورة مستخدم ونقلها بواسطة وكيل ذكي، كان المستخدم قد وافق على السماح لأوبن إيه آي باستخدام بياناته لتدريب نماذجها.
لكن أوبن إيه آي اعترفت بأن "هذا ليس استخداماً مناسباً لهذه البيانات".
وأضافت أن تسرب صور المستخدمين حدث قبل أن تضع الشركة ضماناً جديداً على التدريب الذكي، وأنها تعمل على إزالة جميع صور المستخدمين التي تم نقلها إلى أطراف ثالثة.
جاءت هذه الكشوفات الجديدة بعد أيام قليلة من إعلان رئيس الوزراء الأسترالي أنتوني ألبانيز أن وكلاء أوبن إيه آي اخترقوا ملفات غير متاحة للعموم على موقع مخطط الرعاية الصحية الحكومي الأسترالي ميديكير.
منذ أغسطس، تزايدت المخاوف العامة حول التأثيرات المحتملة الخطيرة، وحتى المهددة للحياة، لأدوات الذكاء الاصطناعي التي تخرج عن السيطرة البشرية.
كانت وكالة رويترز قد نشرت الخبر عن التحقيقات الموسعة أولاً، وعقبها نشر أوبن إيه آي تفاصيل إضافية على مدونتها الرسمية.
وقالت أوبن إيه آي إنه في بعض الحالات، حاول الوكلاء، وهي أساساً برامج ذكاء اصطناعي مصممة ومدربة للعمل بحكم ذاتي نسبي، "تجاوز" أنظمة الأمان لبعض المواقع الإلكترونية.
وفي حالات أخرى، أظهر الوكلاء الذكيون "عدم توافق" في محاولاتهم الوصول إلى معلومات من المواقع. وكلمة "عدم التوافق" تُستخدمها شركات وباحثو الذكاء الاصطناعي للإشارة إلى الحالات التي تقوم فيها أداة ذكاء اصطناعي بفعل لم تُدرب عليه أو كان غير مقصود.
وقالت أوبن إيه آي إنها تحد من الكشف عن هوية الجهات المتضررة لأن الكثير منها طلب من الشركة عدم الكشف عن التفاصيل.
وأضافت: "هدفنا تزويد كل مؤسسة بالحقائق والامتناع عن تحديد ما إذا كانت ستعلن عن الحادثة أم لا."
وأشارت الشركة إلى أنه ليست جميع الحوادث المرتبطة بهذا الحادث تُعتبر انتهاكاً أمنياً خطيراً.
وأوضحت: "قد تستعرض بعض المؤسسات ما نشاركه وتخلص إلى أن المعلومات كانت متاحة للعموم عن قصد أو أن تفاعل النموذج لم يكن مثيراً للقلق. وقد تحدد جهات أخرى عيباً في التصميم أو ضعفاً أمنياً تود معالجته."
وأشارت الشركة إلى أن الكثير من الحوادث يُشار إليها باسم "بريد وكلاء الذكاء الاصطناعي"، وهي تعني نشاطاً غير متوقع أو مثيراً للقلق من جانب وكلاء ذكيين، مثل نشر معلومات على الإنترنت.
بدأت أوبن إيه آي تأخذ هذه الحوادث على محمل الجد بعد حادثة في يوليو استقطبت مجموعة أو "سرباً" من وكلائها الذكيين، التي اخترقت منصة مطوري الذكاء الاصطناعي "هاجينج فيس" دون أن تُطلب منها ذلك.
كانت هاجينج فيس هي الأولى في الكشف العلني عن الحادثة، وتولت أوبن إيه آي الاعتراف العلني بمسؤوليتها لاحقاً.
وقال كليمنت ديلانج، رئيس هاجينج فيس، يوم الأربعاء خلال جلسة مجلس الأمن التابعة للأمم المتحدة حول الذكاء الاصطناعي: "أتساءل غالباً عما كان سيحدث لو قررت عدم الكشف العلني عن هذا الهجوم."
وأضاف: "خاصة الآن بعد أن علمنا أن حوادث مشابهة كانت تحدث منذ أشهر سراً في عدد قليل من المختبرات المتقدمة دون مراقبة."
في نفس اجتماع الأمم المتحدة، طلب الرئيس التنفيذي لأوبن إيه آي سام ألتمان وداريو أمودي، رئيس شركة أنثروبيك المنافسة، من القادة الدوليين وضع معايير عالمية لسلامة الذكاء الاصطناعي وآليات لمراقبة الحوادث والإبلاغ عنها.
بينما أعلنت كل من أوبن إيه آي وأنثروبيك في الأسابيع الأخيرة أنهما ستدعوان مقيمين من جهات خارجية للعمل داخل شركتيهما لإجراء تقييمات أمنية فورية لأدوات ونماذج الذكاء الاصطناعي، إلا أن مثل هؤلاء المقيمين لم يصلوا بعد، كما أفادت بي بي سي.
وقالت أوبن إيه آي يوم الجمعة إنها تستعرض حالياً نشاط التدريب الخاص بوكلائها الذكيين بشكل "شهري شهراً" اعتباراً من وقت اختراق هاجينج فيس.
وأضافت: "معظم الحالات المكتشفة حتى الآن كانت ذات خطورة منخفضة، مع وجود أدلة محدودة أو معدومة على تأثير ذي معنى. نظراً لحجم المراجعة المطلوبة والحاجة إلى التحقق من كل حالة، سيستغرق هذا العمل أشهراً حتى ينتهي."
قال ديفيد كروجر، أستاذ التعلم الآلي بجامعة مونتريال ومؤسس مجموعة إيفيتابل لسلامة الذكاء الاصطناعي يوم الجمعة إنه "مضطرب بشدة" من تزايد عدد حوادث الذكاء الاصطناعي.
ودعا إلى "وضع حظر فوري وأبدي ودولي" على تطوير الذكاء الاصطناعي.
وقال كروجر: "لم نتمكن بعد من فهم نطاق الحوادث القائمة، والسيناريوهات المستقبلية المحتملة للذكاء الاصطناعي الشارد يمكن أن تكون كارثية."
🔗 شارك المقال
الوسوم:#أوبن إيه آي#الذكاء الاصطناعي#أمن سيبراني#الوكلاء الذكيون#تسرب البيانات#تكنولوجيا
المصدر: BBC World
