سلَّطت إحدى الدراسات الضوءَ على المخاطر الكامنة في استخدام البيانات الفعلية لتدريب خوارزميات التعلم الآلي من أجل إنتاج التوقعات.
يقول الخبر
وفقاً لدراسةٍ قام بها باحثون من جامعة كاليفورنيا بيركلي وتم نشرها في مجلة ساينس، فإنَّ إحدى الخوارزميات التي يستخدمها العديد من مُقدمي الرعاية الصحية الأميركيين للتنبؤ بالمرضى الذين سيحتاجون رعاية طبية إضافية قد قامت بمنح المرضى من ذوي البشرة الفاتحة امتيازاتٍ خاصة مقارنةً بأقرانهم المرضى من ذوي البشرة السمراء؛ حيث نقلت الخوارزمية عملياً ذوي البشرة الفاتحة إلى مواقعَ أعلى في قائمة الانتظار لعلاجاتٍ خاصة بالحالات الصحية المُعقدة مثل مشاكل الكلية أو السّكري.
تفاصيل الدراسة
تفحَّص الباحثون ما يقارب 50 ألف سجل طبي من مستشفى أكاديمي كبير لم يكشفوا عن اسمه، ووجدوا أنه تم منح المرضى ذوي البشرة الفاتحة درجاتٍ أعلى من الخطورة -وبالتالي زادت فرص اختيارهم لرعاية صحية إضافية مثل اهتمامٍ أكبر من قِبل كادر التمريض أو الحصول على مواعيد مخصصة- مقارنةً بالمرضى ذوي البشرة السمراء الذين كانوا في الواقع يعانون من نفس درجة المرض. ووفقاً للحسابات التي أجراها الباحثون فقد أدّى هذا التحيز إلى خفض نسبة المرضى من ذوي البشرة السمراء الذين حصلوا على مساعدةٍ إضافية إلى أكثر من النصف.
سجل في نشرة الخوارزمية
ما اسم هذا البرنامج المُتحيِّز؟
لم يُفصح الباحثون عن اسم البرنامج، لكن صحيفة واشنطن بوست تعرَّفت عليه وذكرت أنه برنامج أوبتوم Optum المملوك لشركة التأمين يونايتد هيلث. وتقول الصحيفة إن برنامج الشركة يتم استخدامه في إدارة البيانات الصحية لأكثر من 70 مليون شخص. وعلى الرغم من أن الباحثين ركزوا اهتمامهم على أداةٍ مُحددة إلا أنهم اكتشفوا نفس الخلل في الخوارزميات العشر الأكثر استخداماً في هذه الصناعة. وفي كل عام، يتم تطبيق هذه الأدوات بشكلٍ إجمالي على ما يقارب 200 مليون شخص في الولايات المتحدة الأميركية وحدها.
كيف تسلَّل التحيُّز إلى هذه الخوارزمية؟
لم يكن العِرق عاملاً في عملية اتخاذ الخوارزمية للقرار(فهذا الأمر يُعتبر غيرَ قانوني)، بل استخدمت تاريخ المرضى الطبي من أجل التنبؤ بمدى احتمال أن يُكلفوا نظام الرعاية الصحية مُستقبلاً. إلَّا أن التكلفة ليست معياراً غيرَ مُتحيِّز عرقياً؛ إذ إن المرضى من ذوي البشرة السمراء -ولأسباب اقتصادية واجتماعية وغيرها- قد كبّدوا أنظمة الرعاية الصحية تاريخياً تكاليفَ أقلّ من المرضى ذوي البشرة الفاتحة الذين يعانون من نفس الأمراض. ونتيجةً لذلك، أعطت الخوارزمية للمرضى ذوي البشرة الفاتحة نفس الدرجات التي حصل عليها المرضى من ذوي البشرة السمراء الذين كانوا أكثرَ مرضاً بكثير.
فسحة أملٍ صغيرة
عمل الباحثون مع أوبتوم لتصحيح المشكلة، حيث تمكنوا من تخفيض التمييز العرقي بنسبة أكبر من 80%، وذلك عن طريق إنشاء نسخةٍ من الخوارزمية تتنبأ بكلٍّ من تكاليف المريض المُستقبلية و عدد المرات التي قد يتفاقم فيها مرضٌ مُزمِن خلال العام التالي. وبالتالي يُمكن تصحيح التحيُّز الخوارزمي إذا استطعنا كشفَه في المقام الأول، وللأسف فنحن هنا نتكلم عن رهانٍ كبير.
لماذا يُعتبر هذا الأمر مهماً؟
تُعتبر هذه الدراسة الأحدثَ في إظهار عيوب تخصيص الموارد المهمة بناءاً على توصية الخوارزميات. ولا يقتصر وجود هذا النوع من التحديات في مجال الرعاية الصحية فقط وإنما أيضاً في التوظيف و نقاط الجدارة الائتمانية و التأمين والعدالة الجنائية.
ويمكنك الاطلاع على شرحنا المفصل عن كيفية تأثير تحيُّز الذكاء الاصطناعي على النظام القانوني الجنائي ولماذا من الصعب التخلُّص منه.
