الشكل 3.32: استخدام وظيفة (drop_duplicates) - كتاب علم البيانات - الصف 11 - الفصل 1 - المملكة العربية السعودية

📚 تنظيف البيانات (Data Cleaning)

المفاهيم الأساسية

وظيفة drop_duplicates(): طريقة لحذف الصفوف المكررة من مجموعة البيانات.

وظيفة isnull(): ترجع قيمة منطقية (True/False) لكل خلية في مجموعة البيانات؛ حيث تكون True للخلايا الفارغة.

وظيفة dropna(): طريقة لحذف الصفوف الفارغة من مجموعة البيانات.

خريطة المفاهيم

```markmap

استكشاف البيانات

المجموعات والتجميع (Grouping and Aggregating)

وظيفة Groupby

#### الغرض: تقسيم البيانات إلى مجموعات لإجراء حسابات وتحليل أفضل

#### التجميع حسب عمود واحد

##### مثال: `df.groupby('المنطقة الإدارية').sum()`

#### التجميع حسب عمودين

##### الكود: `data.groupby(['المنطقة الإدارية', 'المرحلة'], as_index=False)['مجموع الطلبة'].sum()`

###### معلمة `as_index=False`

####### الغرض: جعل الفهرس هو رقم الصف بدلاً من أسماء الأعمدة

#### التجميع وتحديد أعمدة للجمع

##### الكود: `studentsTeachers.groupby('المنطقة الإدارية')[['مجموع الطلبة', 'مجموع المعلمين']].sum()`

تنظيف البيانات (Data Cleaning)

أهمية التنظيف

#### ضمان صحة نتائج التحليل

#### إزالة البيانات المكررة أو المشوشة أو غير الدقيقة

وظائف التنظيف

#### duplicated()

##### الغرض: ترجع قيمة منطقية (True/False) لكل صف يحتوي على بيانات مكررة

#### value_counts()

##### الغرض: ترجع القيم الفريدة في مجموعة البيانات

#### isnull()

##### الغرض: ترجع قيمة منطقية لكل خلية فارغة

#### dropna()

##### الغرض: يحذف الصفوف الفارغة

مثال: الكشف عن البيانات المكررة

#### الكود: `dup = data.duplicated()`

#### الكود: `dup.value_counts()`

#### النتيجة: False 5426, True 171

حذف البيانات المكررة

#### الكود: `data = data.drop_duplicates()`

#### التحقق من النتيجة: `dup = data.duplicated(); dup.value_counts()`

#### النتيجة: False 5426

التعامل مع الخلايا الفارغة

#### الكشف عن الخلايا الفارغة

##### الكود: `missing_values_count = data.isnull().sum()`

##### النتيجة: عدد الخلايا الفارغة في كل عمود (مثال: 5، 6، 5، 4، 4، 4)

#### حذف الصفوف الفارغة

##### الكود: `data = data.dropna()`

```

نقاط مهمة

• بعد استخدام `drop_duplicates()` أو `dropna()`، يجب تحديث مجموعة البيانات والتحقق من إزالة الصفوف المطلوبة.
• تُستخدم `isnull().sum()` للحصول على عدد الخلايا الفارغة في كل عمود من أعمدة مجموعة البيانات.

يوجد في مجموعة البيانات 171 صفًا مكررًا. لحذف هذه الصفوف تستخدم وظيفة (drop_duplicates)، حيث تحذف هذه الطريقة الصفوف المكررة. بعد حذف الصفوف المكررة، عليك تحديث مجموعة البيانات الخاصة بك للتحقق من إزالة الصفوف المكررة.

لا يوجد صفوف مكررة.

False dtype: int64

استخدام وظيفة (drop_duplicates)

الخلايا الفارغة Empty Cells

للتحقق مما إذا كانت مجموعة البيانات الخاصة بك بها قيم مفقودة، يمكنك استخدام وظيفة (isnull())، حيث ترجع قيمة منطقية. لكل خلية من مجموعة البيانات: < صواب (True): للخلايا الفارغة < خطأ (False): للخلايا الممتلئة

# get the number of empty cells per column missing_values_count = data.isnull().sum()

5 6 5 4 4 4 dtype: int64

المنطقة الإدارية المرحلة نوع المدرسة مجموع الطلبة مجموع المعلمين مجموع الاربين

عدد الخلايا الفارغة في كل عمود.

عدد الخلايا الفارغة لكل عمود

يمكنك رؤية عدد الخلايا الفارغة في كل عمود. لحذف هذه الصفوف، تستخدم وظيفة (dropna)، وتستخدم بقوم بحذف الصفوف الفارغة. بعد حذف الصفوف الفارغة، عليك تحديث مجموعة البيانات الخاصة بك للتحقق من إزالة هذه الصفوف.

وزارة التعليم Ministry of Education 125 2025-1447

يوجد في مجموعة البيانات 171 صفًا مكررًا. لحذف هذه الصفوف تستخدم وظيفة (drop_duplicates)، حيث تحذف هذه الطريقة الصفوف المكررة. بعد حذف الصفوف المكررة، عليك تحديث مجموعة البيانات الخاصة بك للتحقق من إزالة الصفوف المكررة. لا يوجد صفوف مكررة. False dtype: int64 --- SECTION: الشكل 3.32: استخدام وظيفة (drop_duplicates) --- استخدام وظيفة (drop_duplicates) --- SECTION: الخلايا الفارغة Empty Cells --- الخلايا الفارغة Empty Cells للتحقق مما إذا كانت مجموعة البيانات الخاصة بك بها قيم مفقودة، يمكنك استخدام وظيفة (isnull())، حيث ترجع قيمة منطقية. لكل خلية من مجموعة البيانات: < صواب (True): للخلايا الفارغة < خطأ (False): للخلايا الممتلئة # get the number of empty cells per column missing_values_count = data.isnull().sum() 5 6 5 4 4 4 dtype: int64 المنطقة الإدارية المرحلة نوع المدرسة مجموع الطلبة مجموع المعلمين مجموع الاربين عدد الخلايا الفارغة في كل عمود. --- SECTION: الشكل 3.33: عدد الخلايا الفارغة لكل عمود --- عدد الخلايا الفارغة لكل عمود يمكنك رؤية عدد الخلايا الفارغة في كل عمود. لحذف هذه الصفوف، تستخدم وظيفة (dropna)، وتستخدم بقوم بحذف الصفوف الفارغة. بعد حذف الصفوف الفارغة، عليك تحديث مجموعة البيانات الخاصة بك للتحقق من إزالة هذه الصفوف. وزارة التعليم Ministry of Education 125 2025-1447 --- VISUAL CONTEXT --- **DIAGRAM**: استخدام وظيفة (drop_duplicates) Description: A code snippet showing how to remove duplicate rows from a dataset using the drop_duplicates() function in Python (likely pandas). It includes the code, the result of checking for duplicated rows (showing 'False' and a count), and a text output indicating 'لا يوجد صفوف مكررة' (No duplicate rows found). Data: Illustrates the process of removing duplicate rows and verifying the result. Key Values: 5426 (count of non-duplicated rows) Context: Demonstrates a practical data cleaning technique in programming. **DIAGRAM**: عدد الخلايا الفارغة لكل عمود Description: A code snippet demonstrating how to count empty cells (missing values) per column in a dataset using isnull().sum(). The output is presented in a tabular format showing the count of empty cells for each column and the data type. Table Structure: Headers: عدد الخلايا الفارغة في كل عمود. Rows: Row 1: 5 | المنطقة الإدارية Row 2: 6 | المرحلة Row 3: 5 | نوع المدرسة Row 4: 4 | مجموع الطلبة Row 5: 4 | مجموع المعلمين Row 6: 4 | مجموع الاربين Calculation needed: Counting missing values per column. Data: Shows the number of missing values for each column in a dataset, helping to identify columns with significant data gaps. Key Values: 5 (empty cells in المنطقة الإدارية), 6 (empty cells in المرحلة), 5 (empty cells in نوع المدرسة), 4 (empty cells in مجموع الطلبة), 4 (empty cells in مجموع المعلمين), 4 (empty cells in مجموع الاربين) Context: Illustrates a method for identifying and quantifying missing data in a dataset.