تفاصيل خبر النموذج اللغوي الجديد للترجمة من فيسبوك
قررت فيسبوك أن تجعل نموذجها اللغوي الجديد الذي يعتمد على الذكاء الاصطناعي، M2M-100، مفتوح المصدر، ويستطيع هذا النموذج أن يترجم بين أي لغتين من مجموعة مؤلفة من 100 لغة. يوجد 4,450 تركيبة ممكنة من أزواج اللغات في هذه المجموعة، ويستطيع النموذج أن يتعامل مع 1,100 زوج منها بشكل مباشر. يعمل هذا النموذج بطريقة مختلفة عن النماذج السابقة متعددة اللغات، التي كانت تعتمد إلى درجة كبيرة على اللغة الإنجليزية كلغة وسيطة في عملية الترجمة. وعلى سبيل المثال، فإن الترجمة من الصينية إلى الفرنسية تتم عادة بالترجمة من الصينية إلى الإنجليزية ومن ثم من الإنجليزية إلى الفرنسية، وهو ما يزيد احتمال وقوع الأخطاء.
جمع البيانات
تم تدريب النموذج باستخدام 7.5 مليار زوج من الجمل. ومن أجل تجميع مجموعة بيانات بهذه الضخامة، اعتمد الباحثون إلى درجة كبيرة على عملية آلية. فقد استخدموا زواحف شبكة الويب (برامج تتصفح شبكة الإنترنت بطريقة منهجية وآلية منظمة) لاستخلاص المليارات من الجمل منها، واستخدموا نموذجاً لغوياً آخر يحمل اسم فاست تكست لتحديد اللغة. ومن الجدير بالذكر أن الشركة لم تستخدم أية بيانات من موقع فيسبوك. بعد ذلك، استخدم الباحثون برنامج ليزر 2.0 -الذي طُوِّر سابقاً في مختبر الأبحاث في فيسبوك، ويعتمد على التعليم غير الموجه، وهو نوع من التعلم الآلي الذي لا يحتاج إلى بيانات مصنفة يدوياً- لمطابقة الجمل من اللغات المختلفة عن طريق المعنى المشترك.
يقوم ليزر 2.0 ببناء ما يُعرف باسم "التضمينات" من مجموعات أضخم من بيانات الجمل الخام. ويقوم بالتدرب على أمثلة الجمل المتوافرة ضمن كل لغة، ويحدد العلاقات القائمة فيما بينها بناء على تكرارها وتقارب استخدامها. تساعد هذه التضمينات نموذج التعلم الآلي على تقريب معنى كل جملة، ما يسمح لليزر 2.0 بإجراء اقتران آلي بين كل جملتين تحملان نفس المعنى في لغتين مختلفتين.
سجل في نشرة الخوارزمية
اقتران اللغات
ركز الباحثون على تراكيب أزواج اللغات التي يعتقدون أنها ستكون الأكثر طلباً من قِبل المستخدمين. فقاموا بتجميع اللغات وفقاً للتشابهات اللسانية والجغرافية والثقافية، مع افتراض وجود تواصل أكبر بين الناس الذين يعيشون في نفس المنطقة. وتتضمن واحدة من المجموعات، على سبيل المثال، أكثر اللغات شيوعاً في الهند، بما فيها البنغالية والهندية والتاميلية والأوردو. قام ليزر 2.0 بعد ذلك بتركيز بحثه على أزواج الجمل التي تنتمي إلى جميع أزواج اللغات ضمن كل مجموعة.
تحديات مستمرة
ما زالت بعض اللغات، مثل اللغات الأفريقية ولغات جنوب شرق آسيا، تعاني من بعض المشاكل في جودة الترجمة، وذلك بسبب قلة بياناتها التي يمكن استخلاصها من الويب، وذلك وفقاً لأنجيلا فان، الباحثة الأساسية في المشروع. ونظراً لاعتماد البحث على بيانات الويب، يحتاج الباحثون أيضاً إلى التوصل لطرق تحديد وحذف التحيزات على أساس الجنس والعرق وغير ذلك. حالياً، استخدم الباحثون مرشحاً للكلمات البذيئة لتشذيب بعض اللغات ذات الطابع الفاضح، ولكن أثره محصور بشكل أساسي في اللغة الإنجليزية.
للأغراض البحثية فقط
لا تخطط فيسبوك حالياً لاستخدام النموذج في منتجاتها. وتقول فان إن M2M-100 مخصص فقط للأغراض البحثية. ولكن، في المحصلة، فإن الهدف من النموذج هو تحسين وتوسيع قدرات فيسبوك الحالية في الترجمة. ويمكن أن تتضمن التطبيقات تواصل المستخدمين (مثل الميزة التي تسمح للمستخدمين بترجمة المنشورات إلى لغاتهم المحلية) وربما مراقبة المحتوى.
