تسوية الحزمة Batch Normalization

1 دقيقة

ما هي تسوية الحزمة؟

هي عبارة عن تقنية تستخدم لتحسين تدريب الشبكات العصبونية العميقة، إذ تسمح للشبكة بالتعلم بشكل أسرع وتقلل من احتمالية فرط الملائمة.

تعمل عن طريق تنشيط العصبونات في كل طبقة، وهذا يضمن بقاء توزيع المدخلات على طبقات الشبكة كما هو حتى أثناء تعلم الشبكة العصبونية. 

كيف تعمل تقنية تسوية الحزمة؟

تعمل هذه التقنية وفق عدة مراحل وهي: 

  1. تعمل عن طريق توزيع المدخلات لكل طبقة من الشبكة. حيث يتم ذلك عن طريق حساب المتوسط والانحراف المعياري لقيم الدخل. 
  2. يتم قياس المدخلات بحيث يكون لها متوسط 0 وانحراف معياري قدره 1. 
  3. يضمن هذا حسن التعامل مع المدخلات في كل طبقة ويجعل تدريب الشبكات العصبونية العميقة أسهل.

أهمية تقنية تسوية الحزمة

تقدم تقنية تسوية الحزمة العديد من المزايا المهمة للشبكات، إليك بعضاً منها:

  • تساعد في تسريع عمليات تدريب الشبكات العصبونية.
  • تسمح بمعدلات التدريب العالية، أي زيادة عدد التكرارات ما يزيد من سرعة الشبكة.
  • تسهل عملية تهيئة الأوزان في الشبكات العصبونية العميقة. 
  • تمدد فعالية توابع التفعيل التي تفقد قيمتها الفعلية بعد عدد معين من التكرارات مثل تابع التفعيل الخطي.
  •  تبسط إنشاء الشبكات الأعمق لتقدم نتائج أفضل.

متى نستخدم تقنية تسوية الحزمة؟

يمكن استخدام تقنية تسوية الحزمة لتحسين تدريب الشبكات العصبونية العميقة في هذه الحالات: 

  • التغير في توزيع المدخلات على كل طبقة مع تقدم التدريب: وتعد هذه الحالة مشكلة لأنها يمكن أن تجعل عملية التدريب أبطأ ويمكن أن تؤدي إلى نتائج دون المستوى الأمثل. 
  • وجود تباين كبير في درجات التدريب: تساعد في تقليل تباين الدرجات والتي يمكن أن تكون مشكلة عند تدريب الشبكات العصبونية العميقة. 
  • تحسين نشر النموذج المدرب: تساعد في تقليل فرط ملائمة بيانات التدريب، من خلال تسوية المدخلات لكل طبقة.
  • عند وجود كمية حسابات كبيرة: تساعد تسوية حزم المدخلات لكل طبقة في تقليل عدد العمليات التي يجب إجراؤها.