صفحة 15 - كتاب علم البيانات - الصف 11 - الفصل 1 - المملكة العربية السعودية

📚 جمع البيانات وتجهيزها

المفاهيم الأساسية

جمع البيانات (Data Collection): عملية جمع القراءات أو الحقائق وتنسيقها، وتشمل الحصول عليها وتسميتها وتحسينها.

تنظيف البيانات (Data Cleaning): عملية متعددة المراحل لمراجعة البيانات وتصحيحها للتأكد من أنها في صيغة موحدة، ويتضمن ذلك معالجة القيم المفقودة والبيانات المشوشة، وحل التناقضات والتكرارات.

خريطة المفاهيم

```markmap

مقدمة في علم البيانات

العمليات

دورة حياة علم البيانات

#### 1. تعريف المشكلة وصياغتها

• فهم ماهية المشكلة وبيئتها والمتغيرات المؤثرة.
• تحديد الغاية المرجوة من الحل.

#### 2. جمع البيانات

• توفير مجموعة البيانات بعد تحديد الأهداف.
• جمع بيانات كافية للمعالجة.
• المصادر: أجهزة الاستشعار، تطبيقات الهاتف، منصات الويب.
• التخزين التلقائي في قواعد البيانات.

#### 3. تجهيز البيانات وتصحيحها

• أحد أهم المراحل في دورة حياة علم البيانات.
• تصحيح وتجهيز البيانات المجمعة للتأكد من مناسبتها للتحليل.
• معالجة مشاكل: التكرار، التداخل، التلف، التنسيق غير الصحيح، الأخطاء، النقص.
• أهمية التصحيح: تجنب استنتاجات خاطئة وصعوبة تحديد مصدر المشكلة (التحليل أم البيانات).

#### 4. التحليل الاستكشافي للبيانات

#### 5. تصوير البيانات

التعامل مع البيانات الضخمة

الحوكمة والسياسات

إدارة البيانات

مبادئ حوكمة البيانات

المخرجات

المهارات والأدوات المطلوبة

المهن والفرص الوظيفية

أهمية المجتمعات الرقمية

مجالات التطبيق

• التطبيقات التجارية والصناعية
• الرعاية الصحية والمعلوماتية الحيوية
• الاقتصاد الرقمي وتحليل وسائل التواصل
• المنازل والمدن والمواصلات الذكية
• التعليم الإلكتروني والترفيه
• الطاقة والاستدامة والمناخ

مثال تطبيقي

• منصة استشراف (مركز المعلومات الوطني)

مثال: أرامكو السعودية

```

نقاط مهمة

• بعد تحديد أهداف المشكلة، تأتي مرحلة توفير وجمع البيانات الكافية للمعالجة.
• يمكن جمع البيانات يدويًا أو آليًا من مصادر متنوعة مثل أجهزة الاستشعار والتطبيقات والمنصات الرقمية.
• تنظيف البيانات مرحلة حاسمة لضمان جودة التحليل والنتائج.
• مشاكل البيانات الشائعة التي يجب معالجتها: التكرار، التداخل، التلف، التنسيق الخاطئ، الأخطاء، النقص.
• تحليل بيانات غير نظيفة يؤدي إلى استنتاجات خاطئة ويصعب تشخيص مصدر الخطأ.

تنسيقات تخزين البيانات (جدول 1.5)

| الملفات المنسقة | قواعد البيانات العلائقية | قواعد البيانات غير العلائقية (NoSQL) | قواعد البيانات الرسومية | قواعد بيانات السلاسل الزمنية |

| :--- | :--- | :--- | :--- | :--- |

| JSON، XML، CSV، XLS | خادم مايكروسوفت SQL، أوراكل، MySQL | MongoDB، AWS DynamoDB، Azure Cosmos DB | Neo4j، AWS Neptune، Dgraph | InfluxDB، AWS Timescale |

--- SECTION: 2. جمع البيانات Data Collection --- بعد أن يتم تحديد الأهداف، يجب توفير مجموعة البيانات نفسها ، ورغم أنه قد يتم إدخال البيانات يدويًا أحيانًا ، فمن المهم التنقيب وجمع البيانات، حيث يتعين في هذه المرحلة جمع بيانات كافية لمواصلة معالجتها. ويمكن أن تأتي البيانات نفسها من مجموعة متنوعة من المصادر، فمثلا تقوم أجهزة الاستشعار البيئية وتطبيقات الهاتف المحمول ومنصات الويب بتوليد البيانات بصورة مستمرة ليتم تخزينها تلقائيا في قواعد البيانات. --- SECTION: Unknown --- :)Data Collection جمع البيانات عملية جمع القراءات أو الحقائق وتنسيقها، وتشمل الحصول عليها وتسميتها وتحسينها. --- SECTION: جدول 1.5 تنسيقات تخزين البيانات الأكثر شيوعا --- Unknown --- SECTION: 3. تجهيز البيانات وتنظيفها Data Preparation and Cleaning --- تعد عملية تنظيف البيانات ومعالجتها أحد أهم المراحل في دورة حياة علم البيانات. يجب على عالم البيانات تصحيح وتجهيز البيانات التي تم جمعها في مرحلة التنقيب للتأكد من مناسبتها لمرحلة التحليل اللاحقة، وعند دمج البيانات من مصادر متعددة تزيد احتمالية تكرار البيانات أو تداخلها، الأمر الذي يتطلب عملية تصحيح وتصويب لتلك البيانات. وكذلك هو الحال إذا وجدت بيانات تالفة أو منسقة بشكل غير صحيح أو مكررة أو خاطئة أو حتى غير مكتملة. تكمن أهمية تصحيح تلك البيانات في أن الرؤى أو الاستنتاجات المستمدة في مرحلة التحليل من تلك البيانات ستكون خاطئة وسيصعب للغاية استنتاج ما إذا كانت المشكلة ناشئة من أخطاء في خطوات التحليل أو أن البيانات نفسها لم يتم تصحيحها ، ولهذا السبب فإن عملية تنظيف البيانات والتحقق من صحتها جيدًا قبل تحليلها تُعد أمرًا مهما للغاية للعملية بأكملها. --- SECTION: Unknown --- :)Data Cleaning( تنظيف البيانات عملية متعددة المراحل المراجعة البيانات وتصحيحها للتأكد من أنها في صيغة موحدة، ويتضمن ذلك معالجة القيم المفقودة والبيانات المشوشة، وحل التناقضات والتكرارات. --- VISUAL CONTEXT --- **TABLE**: تنسيقات تخزين البيانات الأكثر شيوعا Description: Table listing common data storage formats Table Structure: Headers: الملفات المنسقة (Formatted Files) | قواعد البيانات العلائقية (Relational Databases) | قواعد البيانات غير العلائقية (Non-Relational (NoSQL) Databases) | قواعد البيانات الرسومية (Graph Databases) | قواعد بيانات السلاسل الزمنية (Time-series Databases) Rows: Row 1: JSON و XML و CSV وجدول بيانات XLS | خادم مايكروسوفت SQL وقاعدة بيانات أوراكل وأوراكل MySQL | .AWS DynamoDB و Azure Cosmos DBو MongoDB | Dgraph AWS Neptune Neo4j | .AWS Timescale و InfluxDB Data: N/A Context: Lists common data storage formats and examples