صفحة 124 - كتاب علم البيانات - الصف 11 - الفصل 1 - المملكة العربية السعودية

📚 تنظيف البيانات (Data Cleaning)

المفاهيم الأساسية

تنظيف البيانات (Data Cleaning): عملية إصلاح أو إزالة للبيانات غير الصحيحة أو المشوشة أو المنسقة بشكل غير صحيح أو المكررة أو غير المكتملة من مجموعة البيانات.

خريطة المفاهيم

```markmap

استكشاف البيانات

المجموعات والتجميع (Grouping and Aggregating)

وظيفة Groupby

#### الغرض: تقسيم البيانات إلى مجموعات لإجراء حسابات وتحليل أفضل

#### التجميع حسب عمود واحد

##### مثال: `df.groupby('المنطقة الإدارية').sum()`

#### التجميع حسب عمودين

##### الكود: `data.groupby(['المنطقة الإدارية', 'المرحلة'], as_index=False)['مجموع الطلبة'].sum()`

###### معلمة `as_index=False`

####### الغرض: جعل الفهرس هو رقم الصف بدلاً من أسماء الأعمدة

#### التجميع وتحديد أعمدة للجمع

##### الكود: `studentsTeachers.groupby('المنطقة الإدارية')[['مجموع الطلبة', 'مجموع المعلمين']].sum()`

تنظيف البيانات (Data Cleaning)

أهمية التنظيف

#### ضمان صحة نتائج التحليل

#### إزالة البيانات المكررة أو المشوشة أو غير الدقيقة

وظائف التنظيف

#### duplicated()

##### الغرض: ترجع قيمة منطقية (True/False) لكل صف يحتوي على بيانات مكررة

#### value_counts()

##### الغرض: ترجع القيم الفريدة في مجموعة البيانات

#### isnull()

##### الغرض: ترجع قيمة منطقية لكل خلية فارغة

#### dropna()

##### الغرض: يحذف الصفوف الفارغة

مثال: الكشف عن البيانات المكررة

#### الكود: `dup = data.duplicated()`

#### الكود: `dup.value_counts()`

#### النتيجة: False 5426, True 171

```

نقاط مهمة

• يجب إزالة البيانات المكررة أو المشوشة أو غير الدقيقة قبل البدء بتحليل البيانات.
• وظيفة `df.duplicated()` تعطي قيمة `True` للصفوف المكررة و `False` للصفوف غير المكررة.
• يمكن استخدام `value_counts()` على نتيجة `duplicated()` لمعرفة عدد الصفوف المكررة مقابل غير المكررة.

من المهم جدا أن تكون البيانات التي ستحللها صحيحة ، قبل البدء بتحليلها ، وهذا يعني أنه يجب إزالة البيانات المكررة أو المشوشة أو غير الدقيقة من مجموعة البيانات الخاصة بك، وإذا بقيت هذه البيانات كما هي، فلن تكون نتائج تحليلها صحيحة. --- SECTION: تنظيف البيانات --- :(Data cleaning) تنظيف البيانات هو عملية إصلاح أو إزالة للبيانات غير الصحيحة أو المشوشة أو المنسقة بشكل غير صحيح أو المكررة أو غير المكتملة من مجموعة البيانات. --- SECTION: الجدول 3.11 وظائف تنظيف البيانات --- --- SECTION: البيانات المكررة Duplicated Data --- للتحقق مما إذا كانت مجموعة البيانات الخاصة بك تحتوي على بيانات مكررة، فيمكنك أن تستخدم الوظيفة ( ) df.duplicated. وتعطي هذه الوظيفة قيمة منطقية لكل صف حسب احتوائه على بيانات مكررة. صواب (True) للبيانات المكررة. > خطأ (False) : للبيانات غير المكررة. سترى كيفية التعامل مع الصفوف المكررة في مجموعة البيانات. dup = data.duplicated () # To see how many duplicated rows there are in the table dup.value_counts () False 5426 True 171 dtype: int64 --- VISUAL CONTEXT --- **TABLE**: وظائف تنظيف البيانات Description: Table showing functions for data cleaning Table Structure: Headers: الوظيفة | المعنى Rows: Row 1: duplicated() | ترجع قيمة منطقية لكل صف يحتوي على بيانات مكررة. Row 2: value_counts() | ترجع القيم الفريدة في مجموعة البيانات. Row 3: isnull() | ترجع قيمة منطقية لكل خلية فارغة من مجموعة البيانات. Row 4: dropna() | يحذف الصفوف الفارغة. Context: Functions used for data cleaning **DIAGRAM**: عملية تنظيف البيانات Description: Diagram showing data cleaning process Context: Illustrates the data cleaning process **FIGURE**: استخدام وظيفة ( ) df.duplicated Description: Figure showing the use of df.duplicated function Data: Shows the number of duplicated rows Key Values: False 5426, True 171, dtype: int64 Context: Demonstrates the use of duplicated function