محرك معالجة بيانات مفتوح المصدر يعتمد على المعالجة التفرعية لتشغيل تطبيقات تحليل البيانات الضخمة بالاعتماد على مجموعات من الحواسيب. تم تطوير محرك أباتشي سبارك من قبل مجموعة من الباحثين في جامعة كاليفورنيا بيركلي كطريقة لتسريع عمليات المعالجة في أنظمة هادوب (Hadoop). ثم تبرع أولئك الباحثين بالشيفرة المصدرية الخاص به لمؤسسة برمجيات أباتشي التي أصدرت النسخة الأولى منه في عام 2014.
صُمم محرك أباتشي سبارك لتوفير السرعة الحسابية والتوسعية وقابلية البرمجة المطلوبة لمعالجة البيانات الضخمة لا سيما في تطبيقات التعلم الآلي والذكاء الاصطناعي. وهو قادر على معالجة البيانات سواءً كانت على شكل تدفق أو دفعات بشكل أسرع بحوالي 10 إلى 100 ضعف من أي بديل آخر. ويمكن أن يعمل بشكل مستقل أو مع أنظمة تخزين ومعالجة البيانات الضخمة الأخرى مثل هادوب.
يمكن تطبيق محرك أباتشي سبارك على العديد من المشكلات المختلفة في الكثير من الصناعات. فعلى سبيل المثال تستخدمه شركات الإعلان الرقمي لصيانة قواعد بيانات نشاط الويب وتصميم حملات إعلانية مخصصة لاستهداف فئة محددة من المستهلكين. كما تستخدمه الشركات المالية لمعالجة بياناتها وتشغيل النماذج التي تساعد في توجيه النشاطات الاستثمارية. وشركات السلع الاستهلاكية لتجميع بيانات العملاء وتوقع توجهاتهم لاتخاذ قرارات حول إدارة المخزون وتحديد الفرص الجديدة في الأسواق.
