ما مدى فعالية أدوات الكشف عن النصوص المولدة بالذكاء الاصطناعي؟

تكمن المشكلة في أن خداع هذه الأدوات وتفادي الكشف مسألة بسيطة نسبياً؛ وفقاً لبحث جديد لم يخضع لمراجعة الأقران بعد.

عملت أستاذة الوسائط والحوسبة في جامعة العلوم التطبيقية في برلين، ديبورا ويبر وولف، مع مجموعة من الباحثين من عدة جامعات لتقييم قدرة 14 أداة من هذه الأدوات؛ بما فيها تورنيتين (Turnitin)، وجي بي تي زيرو (GPT Zero)، وكومبايليشو (Compilatio)، على كشف النصوص التي كتبها “تشات جي بي تي” من أوبن أيه آي (OpenAI).

تعمل هذه الأدوات معظمها من خلال البحث عن الدلالات المميزة للنصوص التي ولدها الذكاء الاصطناعي؛ بما فيها التكرار، وذلك لحساب احتمال أن يكون النص من نتاج الذكاء الاصطناعي. لكن الفريق وجد أن هذه الأدوات جميعها واجهت صعوبة في كشف النصوص التي ولدها “تشات جي بي تي”، بعد أن خضع محتواها لإعادة ترتيب طفيفة من قبل البشر، إضافة إلى تعديلها باستخدام أداة لإعادة الصياغة؛ ما يشير إلى أن الطلاب لا يحتاجون سوى إلى إجراء تعديلات طفيفة على المقالات التي يولدها الذكاء الاصطناعي لتفادي كشفها باستخدام هذه الأدوات.

اقرأ أيضاً: لماذا يصعب تمييز النصوص التي ولدها الذكاء الاصطناعي؟

أدوات غير فعالة

تقول ويبر وولف: “هذه الأدوات غير نافعة، ولا تستطيع القيام بمهمتها المعلنة؛ إنها عاجزة عن كشف الذكاء الاصطناعي”.

بعد ذلك، أجرى الباحثون عملية تقييم للأدوات بكتابة مقالات قصيرة من مستوى المرحلة الجامعية في مجالات متنوعة؛ بما فيها الهندسة المدنية وعلم الحاسوب والاقتصاد والتاريخ واللسانيات والأدب. كتب الباحثون المقالات بأنفسهم للتأكد من أن نصوصها غير موجودة مسبقاً على الإنترنت، لأن وجودها على الإنترنت يعني أنها يمكن أن تكون جزءاً من مجموعة بيانات استُخدمت مسبقاً في تدريب “تشات جي بي تي”.

بعد ذلك، كتب كل باحث نصاً إضافياً باللغة البوسنية أو التشيكية أو الألمانية أو السلوفاكية أو الإسبانية أو السويدية. وبعدها، تُرجِمت هذه النصوص إلى الإنجليزية باستخدام أداة الترجمة التي تعمل بالذكاء الاصطناعي “ديب إل” (DeepL) أو الأداة “جوجل ترانسليت” (Google Translate).

استخدم الفريق بعد ذلك “تشات جي بي تي” لتوليد نصين إضافيين لكل باحث، وخضع كل نص لتعديل طفيف في محاولة لإخفاء عملية توليده بالذكاء الاصطناعي. عُدلت مجموعة من النصوص يدوياً من قبل الباحثين، الذين أعادوا ترتيب الجمل وأجروا عملية مبادلة بين الكلمات؛ في حين خضعت مجموعة أخرى من النصوص لإعادة صياغة باستخدام الأداة “كويلبوت” (Quillbot) لإعادة الصياغة بالذكاء الاصطناعي. في نهاية المطاف، تمكّن الفريق من بناء مجموعة مؤلفة من 54 وثيقة لاختبار الأدوات.

وجد الفريق أن الأدوات كانت جيدة في كشف النصوص التي كتبها البشر (بدقة وسطية تساوي 96%)؛ غير أنها قدمت أداء سيئاً في كشف النصوص التي ولدها الذكاء الاصطناعي، لا سيما بعد تعديلها. على الرغم من أن نسبة كشف الأدوات لنصوص “تشات جي بي تي” بدقة بلغت 74%، فإن هذه الدقة تراجعت إلى 42% عند تطبيق تعديلات طفيفة على النصوص المُوَلدة باستخدام “تشات جي بي تي”.

تُبرز هذه الدراسات عدم فعالية الأدوات الحالية التي تعتمد عليها الجامعات في تقييم عمل طلابها؛ وفقاً لأحد كبار المحاضرين في جامعة جنوب أستراليا، فيتومير كوفانوفيتش، الذي يبني نماذج ذكاء اصطناعي وتعلم عميق والذي لم يشارك في إنجاز الدراسة.

اقرأ أيضاً: هل يمكن للعلامات المائية أن تكشف النصوص التي ألفتها بوتات الدردشة؟

أدوات قد تظلم الطلاب

من جهة أخرى، تثير إحدى كبار العلماء الباحثين في جوجل والمختصة بتوليد اللغة الطبيعية، دافني إيبوليتو التي لم تشارك في المشروع أيضاً، مسألةً أخرى مثيرة للقلق.

حيث تقول: “إذا أردنا استخدام أنظمة الكشف الآلي في المجال الأكاديمي، فمن المهم للغاية أن نستوعب نسبة النتائج الإيجابية الخاطئة؛ لأن اتهام طالب بالغش ظلماً يمكن أن يؤدي إلى عواقب وخيمة تؤثر في مسيرته الأكاديمية. إضافة إلى هذا، فإن نسبة النتائج السلبية الخاطئة مهمة أيضاً، فإذا تمكّنت نصوص كثيرة من تجاوز الكشف واعتُبِرت نصوصاً بشرية، فهذا يعني أن النظام غير مفيد”.

تقول شركة كومبايلاشيو (Compilatio) التي تبني إحدى الأدوات التي اختبرها الباحثون، إنه من المهم ألا ننسى أن النظام يشير إلى المقاطع المشتبه بها فقط التي يصنفها في فئة السرقة الأدبية المحتملة، أو المحتوى الذي يمكن أن يكون نتاج الذكاء الاصطناعي.

يقول متحدث باسم كومبايلاشيو: “يعود القرار النهائي إلى المدارس أو المدرسين الذين يصححون الوثائق التي تخضع للتحليل بغية التحقق من صحة المعرفة التي اكتسبها مؤلفوها أو التحقق من الجهة المنسوبة إليها، وذلك باستخدام طرائق إضافية للتحقق من هذه المسألة؛ مثل الاستجواب الشفوي، أو توجيه أسئلة إضافية ضمن بيئة صفية خاضعة للرقابة، أو غير ذلك.

اقرأ أيضاً: كيف يمكن كشف النصوص التي يولدها الذكاء الاصطناعي؟

وبهذه الطريقة، تصبح أدوات كومبايلاشيو جزءاً من أسلوب تعليمي مبتكَر يشجع على تعلم ممارسات جيدة في البحث، والكتابة، والاستشهاد بالمراجع. برنامج كومبايلاشيو هو أداة مصممة كي تساعد على عملية التصحيح، وليست مصممة لإجراء التصحيح مباشرة”. عندما طلبنا من شركتيّ تورنيتين وجي بي تي زيرو الإدلاء بتعليق، لم ترسلا رديهما على الفور.

لقد أدركنا منذ بعض الوقت أن الأدوات المخصصة لكشف النصوص التي كتبها الذكاء الاصطناعي لا تعمل كما يجب على الدوام. ففي وقت سابق من هذا العام، كشفت أوبن أيه آي الستار عن أداة مصممة لكشف النصوص التي أنتجها “تشات جي بي تي”، واعترفت أنها تمكنت من تصنيف 26% فقط من النصوص التي ولّدها الذكاء الاصطناعي في فئة “نتاج محتمل للذكاء الاصطناعي”. وجهت أوبن أيه آي مجلة “إم آي تي تكنولوجي ريفيو” إلى قسم مخصص للمسائل المتعلقة بالمدرسين على موقع الويب الخاص بها؛ حيث تحذر من أن الأدوات المصممة لكشف المحتوى المولّد بالذكاء الاصطناعي “ما زالت أبعد ما يكون عن الأداء المثالي المضمون”.

غير أن هذه الإخفاقات لم تردع الشركات عن المسارعة إلى طرح منتجات تَعِد بتأدية هذه المهمة كما يقول الأستاذ المساعد في جامعة ميريلاند، توم غولدستاين الذي لم يشارك في البحث.

اقرأ أيضاً: ما مصير الذكاء الاصطناعي التوليدي بعد أن يخبو الضجيج الإعلامي؟

ويضيف قائلاً: “على الرغم من أن نسبة كبيرة منها ليست فائقة الدقة، فإنها ليست عديمة الفائدة تماماً أيضاً”، ويشير إلى أن برنامج “تورنيتين” تمكّن من تحقيق درجة لا بأس بها من الدقة في الكشف مع نسبة منخفضة من النتائج الإيجابية الخاطئة. وعلى الرغم من أهمية الدراسات التي تلقي الضوء على مشكلات ما تسمَّى بـ “أنظمة كشف نصوص الذكاء الاصطناعي”، فقد كان من الأفضل توسيع نطاق الدراسة كي يشمل أدوات ذكاء اصطناعي تتجاوز نطاق “تشات جي بي تي” وفقاً للباحثة في شركة الذكاء الاصطناعي الناشئة هاغينغ فيس (Hugging Face)، ساشا لوتشيوني.

أما بالنسبة إلى كوفانوفيتش؛ فإن فكرة كشف النصوص التي كتبها الذكاء الاصطناعي خاطئة كلياً.

ويقول: “علينا ألا نحاول كشف نتاج الذكاء الاصطناعي؛ بل أن نركز بدلاً من ذلك على إزالة المشكلات الكامنة في استخدام الذكاء الاصطناعي”.