ما هي نكهة الآيس كريم المفضلة لديك؟ قد تقول الفانيليا أو الشوكولاتة، وإذا سألت عن السبب، فمن المحتمل أن تقول لأن طعمه جيد. ولكن لماذا تصف طعمها بالجيد؟ ولماذا لا تزال ترغب في تجربة نكهات أخرى في بعض الأحيان؟ نادراً ما نشكك في القرارات الأساسية التي نتخذها في حياتنا اليومية، ولكن إذا فعلنا ذلك، فقد ندرك أنه لا يمكننا تحديد الأسباب الدقيقة لتفضيلاتنا وعواطفنا ورغباتنا في أي لحظة.

بشكل مشابه، هناك مشكلة مماثلة في الذكاء الاصطناعي، فالأشخاص الذين يطورون الذكاء الاصطناعي يواجهون مشكلات متزايدة في شرح كيفية عمله وتحديد سبب إعطائه نتائج معينة قد تكون غير متوقعة أحياناً.

تعمل معظم أنظمة الذكاء الاصطناعي بطريقة تسمى "الصندوق الأسود"، وهي أنظمة يتم التعرض لها فقط من حيث مدخلاتها ومخرجاتها، لكن لا يحاول العلماء فك شيفرة هذا "الصندوق الأسود"، أو العمليات الغامضة التي يقوم بها النظام، طالما أنهم يتلقون المخرجات التي يبحثون عنها.

ومع الوقت يصبح من الصعب إصلاح هذه الأنظمة جزئياً لأن مطوريها غالباً لا يستطيعون شرح كيفية عملها بشكل كامل، ما يجعل المسألة صعبة. ونظراً لأن أنظمة الذكاء الاصطناعي أصبحت أكثر تعقيداً وأصبح البشر أقل قدرة على فهمها، يحذر خبراء الذكاء الاصطناعي والباحثون المطورين من التراجع في هذا الأمر، والتركيز بشكل أكبر على كيفية وسبب إنتاج الذكاء الاصطناعي لنتائج معينة بدلاً من معرفة حقيقة أن النظام يمكن أن ينتجها بدقة وسرعة.