هي أسلوب رياضي يتعامل مع خصائص المعلومات عند افتقار المعلومات إلى التنظيم والقدرة على التنبؤ. وتعبّر الإنتروبيا بشكل دقيق عن متوسط معدل المعلومات أو المفاجأة أو عدم اليقين الكامن في البيانات وكلما كانت قيمة إنتروبيا المعلومات أعلى، كانت المعلومات أقرب لعدم اليقين والفوضى.
تعود نظرية المعلومات الحديثة إلى العالم كلود شانون الذي طرح النظرية بورقة بحثية بعنوان النظرية الرياضية للاتصالات عام 1948، تناول فيها قضايا قياس المعلومات والاختيار وعدم اليقين. كان شانون معروفاً أيضاً باسم أبو نظرية المعلومات.
بدأ شانون في قياس الطبيعة الإحصائية للمعلومات المفقودة في إشارات خط الهاتف، وكان العمل يهدف إلى حل مشكلة أفضل السبل لتشفير المعلومات التي يريد المرسِل إرسالها. وتم اعتماد الإنتروبيا كمقياس أساسي في نظرية المعلومات.
تتكون النظرية بشكل أساسي من المعلومات التي نتعامل معها والإنتروبيا وعنصر المفاجأة:
المعلومات هي بيانات يمكن تخزينها ونقلها وإرسالها وتمريرها كمتغيرات، والتي يمكن أن تأخذ قيماً مختلفة.
تقيس الإنتروبيا كمية المعلومات الموجودة في متغير، يتم تقدير هذه الكمية بقياس مقدار المفاجأة التي تحملها هذه القيمة، وليس فقط بناء على عدد القيم المختلفة الموجودة في المتغير.
إذا رميت عملة نقدية على الأرض فإنها ستقع إما على الوجه الذي يحمل الشعار أو على الوجه الذي يحمل الكتابة، ولا توجد مفاجأة مهما كانت النتيجة، ولكن إذا كنا نلعب الشطرنج فهناك 400 احتمال مختلف بعد تحريك الحجر الأول، وهذا يعني أننا نحصل على معلومات كثيرة واستراتيجيات للخطوة الثالثة. وهذا يعني أننا نحصل على معلومات أقل لمراقبة رمي العملة مما نحصل عليه من لعبة الشطرنج. وهذا يعني أن لعبة الشطرنج فيها إنتروبيا أكثر من رمي العملة.
تم تطبيق نظرية إنتروبيا المعلومات في عدة مجالات تشمل الحوسبة الكمومية، والفيزياء الحرارية، والكشف عن الشذوذ في البيانات، والتشفير، وعلوم اللغويات، واسترجاع المعلومات، والاستدلال الإحصائي. كما ساهمت في نجاح إطلاق رحلات فوياجر Voyager إلى الفضاء من خلال دراسة تقلبات مجال الغلاف الشمسي.
