تحليل جودة البيانات وتصفية القيم المتطرفة - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

صور التدرج الرمادي لها قناة واحدة فقط (بدلاً من قنوات RGB الثلاث)، وقيمة كل بكسل عبارة عن رقم واحد يتراوح من 0 إلى 255، حيث تمثل قيمة البكسل 0 اللون الأسود، بينما تمثل قيمة البكسل 255 اللون الأبيض. على سبيل المثال:

resized_images[pos2][0][0] 100

وكاختبار إضافي لجودة البيانات، يقوم المقطع البرمجي التالي بحساب تكرار عنوان كل صورة حيوان في مجموعة البيانات:

# used to count the frequency of each element in a list. from collections import Counter label_cnt = Counter(labels) label_cnt

هنا يمكنك رؤية القيمة المتطرفة وهي فئة Nat (أو الطبيعة)، وتحتوي على ثمانية عناصر فقط مقارنة بالفئات الأخرى.

Counter({'Bear': 101, 'Cat': 160, 'Chicken': 100, 'Cow': 104, 'Deer': 103, 'Duck': 103, 'Eagle': 101, 'Elephant': 100, 'Lion': 102, 'Monkey': 100, 'Nat': 8, 'Panda': 119, 'Pigeon': 115, 'Rabbit': 100, 'Sheep': 100, 'Tiger': 114, 'Wolf': 100})

تحتوي مجموعة البيانات على صور حيوانات وصور أخرى من الطبيعة؛ وذلك بهدف التعرف على الصور التي تشذ عن صور الحيوانات. يكشف Counter (العداد) عن فئة صغيرة جداً عنوانها Nat (الطبيعة)، وتحتوي على ثماني صور فقط، وعندما نقوم بكشف سريع يتضح لك أن هذه الفئة ذات قيم متطرفة (Outlier) تحتوي على صور لمناظر طبيعية ولا يوجد بها أي وجه لأي حيوان.

يقوم المقطع البرمجي التالي بإزالة صورة RGBA وصورة التدرج الرمادي، وكذلك كل الصور التي تنتمي لفئة Nat (الطبيعة) من قوائم أسماء الملفات، والعناوين، والصور التي غير حجمها.

N = len(labels) resized_images = [resized_images[i] for i in range(N) if i not in violations and labels[i] != "Nat"] filenames = [filenames[i] for i in range(N) if i not in violations and labels[i] != "Nat"] labels = [labels[i] for i in range(N) if i not in violations and labels[i] != "Nat"]

وزارة التعليم 203 Ministry of Education 2023 - 1447

صور التدرج الرمادي لها قناة واحدة فقط (بدلاً من قنوات RGB الثلاث)، وقيمة كل بكسل عبارة عن رقم واحد يتراوح من 0 إلى 255، حيث تمثل قيمة البكسل 0 اللون الأسود، بينما تمثل قيمة البكسل 255 اللون الأبيض. على سبيل المثال: resized_images[pos2][0][0] 100 وكاختبار إضافي لجودة البيانات، يقوم المقطع البرمجي التالي بحساب تكرار عنوان كل صورة حيوان في مجموعة البيانات: --- SECTION: مثال: حساب تكرار العناصر --- # used to count the frequency of each element in a list. from collections import Counter label_cnt = Counter(labels) label_cnt هنا يمكنك رؤية القيمة المتطرفة وهي فئة Nat (أو الطبيعة)، وتحتوي على ثمانية عناصر فقط مقارنة بالفئات الأخرى. --- SECTION: ناتج Counter --- Counter({'Bear': 101, 'Cat': 160, 'Chicken': 100, 'Cow': 104, 'Deer': 103, 'Duck': 103, 'Eagle': 101, 'Elephant': 100, 'Lion': 102, 'Monkey': 100, 'Nat': 8, 'Panda': 119, 'Pigeon': 115, 'Rabbit': 100, 'Sheep': 100, 'Tiger': 114, 'Wolf': 100}) تحتوي مجموعة البيانات على صور حيوانات وصور أخرى من الطبيعة؛ وذلك بهدف التعرف على الصور التي تشذ عن صور الحيوانات. يكشف Counter (العداد) عن فئة صغيرة جداً عنوانها Nat (الطبيعة)، وتحتوي على ثماني صور فقط، وعندما نقوم بكشف سريع يتضح لك أن هذه الفئة ذات قيم متطرفة (Outlier) تحتوي على صور لمناظر طبيعية ولا يوجد بها أي وجه لأي حيوان. يقوم المقطع البرمجي التالي بإزالة صورة RGBA وصورة التدرج الرمادي، وكذلك كل الصور التي تنتمي لفئة Nat (الطبيعة) من قوائم أسماء الملفات، والعناوين، والصور التي غير حجمها. --- SECTION: مثال: تصفية البيانات --- N = len(labels) resized_images = [resized_images[i] for i in range(N) if i not in violations and labels[i] != "Nat"] filenames = [filenames[i] for i in range(N) if i not in violations and labels[i] != "Nat"] labels = [labels[i] for i in range(N) if i not in violations and labels[i] != "Nat"] وزارة التعليم 203 Ministry of Education 2023 - 1447 --- VISUAL CONTEXT --- **CODE_BLOCK**: مثال على الوصول إلى قيمة بكسل Description: A Python code snippet showing how to access a pixel value in a resized image array, specifically the first channel (index 0) of the first pixel (index 0) at a given position (pos2). Below it, the integer value 100 is shown, possibly as an example output or a separate value. Context: Illustrates basic image array indexing and pixel value representation in grayscale images. **CODE_BLOCK**: مثال على استخدام Counter لحساب التكرارات Description: A Python code block demonstrating the use of `collections.Counter` to count the frequency of labels in a list. It includes a comment explaining its purpose, the import statement, and the assignment and display of the `label_cnt` variable. Context: Shows how to use Python's `Counter` object for data frequency analysis, a common task in data quality checks. **HIGHLIGHT_BOX**: ملاحظة حول الفئة المتطرفة Nat Description: A blue highlighted box containing Arabic text that points out the 'Nat' (Nature) category as an outlier due to its significantly smaller count (eight elements) compared to other categories. A line visually connects this box to the 'Nat' entry in the Counter output. Context: Highlights an important observation from the data analysis, identifying a potential outlier category that might require special handling. **TEXT_OUTPUT**: ناتج Counter لتكرار عناوين الحيوانات Description: The output of the `Counter` function, showing a dictionary-like structure where animal names (e.g., 'Bear', 'Cat', 'Chicken') and 'Nat' are keys, and their respective counts are values. 'Nat' has a count of 8, while other animal categories have counts ranging from 100 to 160. Data: Counts for various animal labels: Bear: 101, Cat: 160, Chicken: 100, Cow: 104, Deer: 103, Duck: 103, Eagle: 101, Elephant: 100, Lion: 102, Monkey: 100, Nat: 8, Panda: 119, Pigeon: 115, Rabbit: 100, Sheep: 100, Tiger: 114, Wolf: 100. Key Values: Bear: 101, Cat: 160, Chicken: 100, Cow: 104, Deer: 103, Duck: 103, Eagle: 101, Elephant: 100, Lion: 102, Monkey: 100, Nat: 8, Panda: 119, Pigeon: 115, Rabbit: 100, Sheep: 100, Tiger: 114, Wolf: 100 Context: Provides the concrete results of the frequency counting operation, allowing the user to visually identify the 'Nat' category as having a low count, indicating it as an outlier. **CODE_BLOCK**: مثال على تصفية البيانات Description: A Python code block that filters three lists (`resized_images`, `filenames`, `labels`) based on two conditions: `i not in violations` and `labels[i] != "Nat"`. This effectively removes entries associated with 'violations' and the 'Nat' category from the datasets. Context: Demonstrates data cleaning techniques by filtering out unwanted data points (e.g., corrupted images, outlier categories) from multiple related lists to improve data quality.