الشفافية والتفسير في الذكاء الاصطناعي ومشكلة الصندوق الأسود - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

Transparency and Explainability in AI and the Black-Box Problem

تكمن مشكلة الصندوق الأسود في التحدي المتمثل في فهم كيفية عمل نظام قائم على الذكاء الاصطناعي (AI-Based System) باتخاذ القرارات أو إنتاج المخرجات؛ مما قد يُصعّب الوثوق بالنظام أو تفسيره أو تحسينه، وربما يؤثر الافتقار إلى الانفتاح وإلى قابلية التفسير على ثقة الناس في النموذج. تتزايد هذه التحديات بوجه خاص في مجال التشخيص الطبي، والأحكام التي تصدرها المركبات ذاتية القيادة. تُعدّ التحيزات في نماذج تعلم الآلة إحدى المخاوف الأخرى المتعلقة بنماذج الصندوق الأسود، كما أن البيانات التي يتم تدريب هذه النماذج عليها يمكن أن تؤدي إلى نتائج غير عادلة أو عنصرية. بالإضافة إلى ذلك، ربما يكون من الصعب تحديد المسؤولية عن القرارات التي يتخذها نموذج الصندوق الأسود؛ حيث يصعب تحميل أي شخص المسؤولية عن تلك القرارات لا سيما مع وجود الحاجة إلى الرقابة البشرية، كما هو الحال في أنظمة الأسلحة ذاتية التحكم. إن الافتقار إلى الشفافية في عملية اتخاذ القرار باستخدام الذكاء الاصطناعي يُصعّب تحديد مشكلات النموذج وحلها. كما أن عدم معرفة الطريقة التي يتخذ بها النموذج قراراته تجعل من الصعب إجراء التحسينات والتأكد من أنها تعمل بطريقة صحيحة. وهناك استراتيجيات عديدة لمعالجة مشكلة الصندوق الأسود في الذكاء الاصطناعي. تتمثل إحدى تلك الاستراتيجيات في استخدام تقنيات ذكاء اصطناعي قابلة للتفسير لجعل تعلم الآلة أكثر شفافية وأكثر قابلية للتفسير، وقد تشمل هذه التقنيات: مفسرات اللغات الطبيعية (Natural Language Explanation) أو تصوير البيانات للمساعدة في فهم عملية اتخاذ القرار. وهناك أسلوب آخر يتمثل في استخدام نماذج تعلم الآلة الأكثر قابلية للتفسير مثل: أشجار القرار (Decision Trees) أو الانحدار الخطي (Linear Regression). وربما تكون هذه النماذج أقل تعقيدًا وأسهل في الفهم، ولكنها قد لا تكون قوية أو دقيقة مثل النماذج الأكثر تعقيدًا. تُعدّ معالجة مشكلة الصندوق الأسود في الذكاء الاصطناعي أمرًا مهمًا لبناء الثقة في نماذج تعلم الآلة وضمان استخدامها بأسلوب أخلاقي وعادل.

هو نظام لا يكشف عن طرائق عمله الداخلية للبشر؛ إذ تتم التغذية بالمدخلات، ليتم إنتاج المخرجات دون معرفة طريقة عملها، كما هو موضح في الشكل ٦.١.

Methods for Enhancing the Transparency and Explainability of AI Models

النموذج المحايد المحلي القابل للتفسير والشرح (Local Interpretable Model-Agnostic Explanations – LIME) ، وتم استخدامُه مسبقًا في مهام معالجة اللغات الطبيعية (NLP) ، وتقوم هذه التقنية بتوليد تفسيرات محلية لتنبؤات مفردة يتم إجراؤها بواسطة نموذج الصندوق الأسود؛ حيث يُصعّب التفسير يقارب نموذج الصندوق الأسود المعقد حول تنبؤ محدد، ثم يمكن للإنسان قراءتها، وبالتالي يمكن لأصحاب المصلحة غير المتخصصين فهمها بسهولة؛ حتى فيما يتعلق بالنماذج المعقدة مثل: الشبكات العصبية العميقة (Deep Neural Networks).

تفسيرات شابلي الإضافية (Shapley Additive exPlanations – SHAP) هي طريقة أخرى لتفسير مخرجات نماذج تعلم الآلة. وتعتمد على المفهوم الخاص بقيم شابلي من نظرية الألعاب (Game Theory) وتخصص قيمة (أو وزنًا) لكل خاصية.

وزارة التعليم 305 2025 - 1447

Transparency and Explainability in AI and the Black-Box Problemتكمن مشكلة الصندوق الأسود في التحدي المتمثل في فهم كيفية عمل نظام قائم على الذكاء الاصطناعي (AI-Based System) باتخاذ القرارات أو إنتاج المخرجات؛ مما قد يُصعّب الوثوق بالنظام أو تفسيره أو تحسينه، وربما يؤثر الافتقار إلى الانفتاح وإلى قابلية التفسير على ثقة الناس في النموذج. تتزايد هذه التحديات بوجه خاص في مجال التشخيص الطبي، والأحكام التي تصدرها المركبات ذاتية القيادة. تُعدّ التحيزات في نماذج تعلم الآلة إحدى المخاوف الأخرى المتعلقة بنماذج الصندوق الأسود، كما أن البيانات التي يتم تدريب هذه النماذج عليها يمكن أن تؤدي إلى نتائج غير عادلة أو عنصرية. بالإضافة إلى ذلك، ربما يكون من الصعب تحديد المسؤولية عن القرارات التي يتخذها نموذج الصندوق الأسود؛ حيث يصعب تحميل أي شخص المسؤولية عن تلك القرارات لا سيما مع وجود الحاجة إلى الرقابة البشرية، كما هو الحال في أنظمة الأسلحة ذاتية التحكم. إن الافتقار إلى الشفافية في عملية اتخاذ القرار باستخدام الذكاء الاصطناعي يُصعّب تحديد مشكلات النموذج وحلها. كما أن عدم معرفة الطريقة التي يتخذ بها النموذج قراراته تجعل من الصعب إجراء التحسينات والتأكد من أنها تعمل بطريقة صحيحة. وهناك استراتيجيات عديدة لمعالجة مشكلة الصندوق الأسود في الذكاء الاصطناعي. تتمثل إحدى تلك الاستراتيجيات في استخدام تقنيات ذكاء اصطناعي قابلة للتفسير لجعل تعلم الآلة أكثر شفافية وأكثر قابلية للتفسير، وقد تشمل هذه التقنيات: مفسرات اللغات الطبيعية (Natural Language Explanation) أو تصوير البيانات للمساعدة في فهم عملية اتخاذ القرار. وهناك أسلوب آخر يتمثل في استخدام نماذج تعلم الآلة الأكثر قابلية للتفسير مثل: أشجار القرار (Decision Trees) أو الانحدار الخطي (Linear Regression). وربما تكون هذه النماذج أقل تعقيدًا وأسهل في الفهم، ولكنها قد لا تكون قوية أو دقيقة مثل النماذج الأكثر تعقيدًا. تُعدّ معالجة مشكلة الصندوق الأسود في الذكاء الاصطناعي أمرًا مهمًا لبناء الثقة في نماذج تعلم الآلة وضمان استخدامها بأسلوب أخلاقي وعادل.--- SECTION: نظام الصندوق الأسود (Black-Box System): --- هو نظام لا يكشف عن طرائق عمله الداخلية للبشر؛ إذ تتم التغذية بالمدخلات، ليتم إنتاج المخرجات دون معرفة طريقة عملها، كما هو موضح في الشكل 6.1.--- SECTION: طرائق تعزيز شفافية نماذج الذكاء الاصطناعي وقابليتها للتفسير --- Methods for Enhancing the Transparency and Explainability of AI Modelsالنموذج المحايد المحلي القابل للتفسير والشرح (Local Interpretable Model-Agnostic Explanations – LIME) ، وتم استخدامُه مسبقًا في مهام معالجة اللغات الطبيعية (NLP) ، وتقوم هذه التقنية بتوليد تفسيرات محلية لتنبؤات مفردة يتم إجراؤها بواسطة نموذج الصندوق الأسود؛ حيث يُصعّب التفسير يقارب نموذج الصندوق الأسود المعقد حول تنبؤ محدد، ثم يمكن للإنسان قراءتها، وبالتالي يمكن لأصحاب المصلحة غير المتخصصين فهمها بسهولة؛ حتى فيما يتعلق بالنماذج المعقدة مثل: الشبكات العصبية العميقة (Deep Neural Networks).تفسيرات شابلي الإضافية (Shapley Additive exPlanations – SHAP) هي طريقة أخرى لتفسير مخرجات نماذج تعلم الآلة. وتعتمد على المفهوم الخاص بقيم شابلي من نظرية الألعاب (Game Theory) وتخصص قيمة (أو وزنًا) لكل خاصية.2025 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: شكل 6.1: نظام الصندوق الأسود Description: A diagram illustrating the concept of a Black-Box System. It shows an arrow labeled 'المدخلات' (Inputs) pointing downwards into a black cube labeled 'Black-Box' with question marks on its faces. Another arrow points downwards from the black cube, labeled 'المخرجات' (Outputs). This visually represents a system where inputs go in, outputs come out, but the internal process (the 'black box') is opaque or unknown. Key Values: المدخلات, Black-Box, المخرجات Context: This diagram visually supports the definition of a 'Black-Box System' provided in the text, illustrating how inputs are processed to produce outputs without revealing the internal mechanisms, which is a core problem in AI explainability.