شارك
الرئيسية
1 دقيقةما هي البيانات غير المتوازنة؟
هي بيانات يكون فيها توزيع الفئات غير متساوٍ، حيث تحتوي البيانات على نسبة عالية من العينات التابعة لفئة واحدة، بينما تحتوي الفئات الأخرى على عدد أقل من العينات، وتعد من مشكلات البيانات الأكثر شيوعاً في التعلم الآلي.
لماذا تعتبر البيانات غير المتوازنة مشكلة؟
تعتبر البيانات غير المتوازنة مشكلة شائعة، إذ إنها تسبب مشكلات في كل من تدريب وتقييم النماذج، ويعود ذلك إلى أن التدريب والتقييم يعملان بافتراض وجود عدد كافٍ من العينات لكل فئة، وهذا الشرط الذي لا تحققه البيانات غير المتوازنة.
ويمكن إيضاح المشكلة كما يلي:
- في التدريب: تسبب مجموعة البيانات غير المتوازنة مشكلات عند تدريب النموذج، خاصة عندما تكون مجموعة البيانات صغيرة بحيث يحتاج النموذج إلى العديد من العينات لكل فئة حتى يتمكن من التعميم بشكلٍ مناسب، يؤدي هذا إلى ضعف الأداء في كلٍّ من مجموعات بيانات التقييم والتسجيل.
- في التقييم: تسبب البيانات غير المتوازنة مشكلات في فهم أداء النموذج عند تقييم الأداء على البيانات غير المتوازنة، فإن النماذج تتنبأ جيداً لفئة العينات ذات الحجم الأكبر فقط وقد تبدو عالية الأداء عند النظر إلى الدقة، بينما في الحقيقة يكون أداء النموذج منخفضاً لأنه لم يتدرب جيداً على كل الفئات.
أفضل الممارسات لمعالجة البيانات غير المتوازنة
- تقنية تقليص الحجم العشوائي (RU): هي عملية الاحتفاظ بجميع البيانات في فئة الأقلية وتقليل حجم فئة الأغلبية، وهي واحدة من عدة تقنيات يمكن للعلماء استخدامها لاستخراج معلومات أكثر دقة من مجموعات البيانات غير المتوازنة.
- تقنية تضخيم الحجم العشوائي (RO): هي عملية الاحتفاظ بجميع البيانات في فئة الأغلبية مع تضخيم الفئات الأقلية من أجل موازنة الفئات، قد ينتج عنها تحيز بسبب التركيز على قيم الميزة للعينات المتكررة، بدلاً من العثور على مزايا منفصلة ذات صلة.
- تقنية تضخيم الحجم اصطناعياً (SMOTE): في هذه العملية يتم تضخيم فئة الأقلية من خلال توليد بيانات اصطناعية جديدة غير متطابقة للقضاء على التحيز وموازنة البيانات في الفئات.