مستودعات البيانات Data Warehouse - كتاب علم البيانات - الصف 11 - الفصل 1 - المملكة العربية السعودية

📚 مستودعات البيانات والحوسبة في الذاكرة والتنقيب في البيانات الضخمة

المفاهيم الأساسية

مستودع البيانات (Data Warehouse): قاعدة بيانات تخزن البيانات الحالية والتاريخية من أنظمة تشغيلية مختلفة (مثل المبيعات، التصنيع) ومصادر خارجية، بعد تحويلها إلى بيانات منظمة، لتكون متاحة لصانعي القرار. يوفر أدوات للتحليل والاستعلام وإعداد التقارير.

الحوسبة في الذاكرة (In-Memory Computing): طريقة لتحليل البيانات الضخمة تعتمد على تخزين البيانات في الذاكرة الرئيسية (RAM)، مما يتجاوز معوقات التخزين على الأقراص ويقلل وقت الاستعلام بشكل كبير.

بحيرة البيانات (Data Lake): مستودع بيانات (غالبًا سحابي) لتخزين كميات هائلة من البيانات الأولية وغير المعالجة (منظمة وغير منظمة) باستخدام عنوان URL ثابت.

التنقيب في البيانات (Data Mining): خطوة في عملية اكتشاف المعرفة، تشير إلى تطبيق خوارزميات محددة لاستخراج الأنماط وتحديد العلاقات داخل البيانات.

خريطة المفاهيم

```markmap

البيانات الضخمة (Big Data)

التعريف

• بيانات كبيرة جدًا أو معقدة
• لا يمكن معالجتها بالطرق التقليدية
• تخزينها ومعالجتها تحدي كبير

الخصائص الخمس (5V's)

التنوع (Variety)

• أنواع مختلفة من البيانات
• منظمة (قواعد بيانات تقليدية)
• غير منظمة (نصوص، صوت، فيديو)
• شبه منظمة

القيمة (Value)

• الفائدة المستخلصة من البيانات لاتخاذ القرارات
• استخراج التوصيات والأفكار عبر التحليل

الحجم (Volume)

• كميات هائلة من البيانات غير المنظمة قليلة الكثافة
• قد تصل إلى عشرات أو مئات التيرابايت
• مصدرها: تصفح الويب، تطبيقات الهاتف، أجهزة إنترنت الأشياء

الموثوقية (Veracity)

• دقة وصدق مجموعة البيانات
• تعتمد على مصداقية المصدر ونوع البيانات وكيفية معالجتها

السرعة (Velocity)

• معدل التقاط البيانات وتخزينها
• تنتج من الأجهزة الذكية في الوقت الحقيقي أو قريب منه

تقنيات إدارة البيانات الضخمة

الهدف

• استخراج قيمة الأعمال من البيانات
• تحسين تجربة الشراء وجذب الزبائن
• اتخاذ قرارات مدروسة (تعديل الأسعار، الحملات التسويقية)

مصادر البيانات

• داخلية: المبيعات، التصنيع، المحاسبة
• خارجية: إحصاءات سكانية، بيانات المنافسين

البنية التحتية والتقنيات

#### مستودعات البيانات (Data Warehouses)

• تخزن البيانات الحالية والتاريخية من الأنظمة التشغيلية
• بيانات منظمة ومتكاملة من مصادر داخلية وخارجية
• أدوات للتحليل والاستعلام وإعداد التقارير

#### بحيرات البيانات (Data Lakes)

• مستودع سحابي عادةً
• تخزين كميات هائلة من البيانات الأولية وغير المعالجة
• تدعم البيانات المنظمة وغير المنظمة بعنوان URL ثابت

#### الحوسبة في الذاكرة (In-memory Computing)

• تعتمد على ذاكرة الوصول العشوائي (RAM) لتخزين البيانات
• تقلل وقت الاستعلام بشكل كبير
• مناسبة للخوادم السحابية ذات السعة الكبيرة من الذاكرة

اكتشاف المعرفة والتنقيب في البيانات

#### اكتشاف المعرفة

• العملية الشاملة للوصول إلى المعرفة المفيدة من البيانات
• خطواتها: تنظيف البيانات، تكامل البيانات، تحويل الصيغة، التنقيب، تفسير النتائج

#### التنقيب في البيانات (Data Mining)

• خطوة محددة في عملية اكتشاف المعرفة
• تطبيق خوارزميات لاستخراج الأنماط وتحديد العلاقات داخل البيانات

##### المهام الرئيسة للتنقيب في البيانات

• تحليل البيانات لاكتشاف الأنماط والاتجاهات
• صياغة التنبؤات لمدخلات مجموعات البيانات المختلفة
• تصنيف أو تجميع أو توقع القيم المختلفة لمجموعة البيانات
• تسهيل عملية اتخاذ القرارات المدروسة

```

نقاط مهمة

• مستودع البيانات هو أداة قديمة لتحليل بيانات الشركات.
• يتم اختيار إحدى تقنيات إدارة البيانات (مستودع، بحيرة، حوسبة في الذاكرة) اعتمادًا على نوع الشركة وطبيعة احتياجاتها.
• التنقيب في البيانات هو جزء من عملية أوسع تسمى "اكتشاف المعرفة"، والتي تشمل خطوات أخرى ضرورية مثل تنظيف البيانات وتفسير النتائج.

مستودعات البيانات Data Warehouse

قد تُعد مستودعات البيانات الأداة الأقدم لتحليل بيانات الشركات. يشير مستودع البيانات إلى قاعدة البيانات التي تخزن البيانات الحالية والتاريخية التي نتجت عن العديد من أنظمة المعاملات التشغيلية الأساسية مثل أنظمة المبيعات، ودعم العملاء، والتصنيع، والتي تجعل البيانات متاحة لصانعي القرار في الشركة. ويتم دمج هذه البيانات مع البيانات من المصادر الخارجية لتحويل البيانات غير المكتملة إلى بيانات منظمة قبل تخزينها في مستودع البيانات. يوفر نظام مستودع البيانات أيضًا مجموعة من الأدوات للتحليل والاستعلام وكذلك أدوات إعداد التقارير الرسومية.

الحوسبة في الذاكرة In-Memory Computing

هي طريقة لتسهيل عملية تحليل البيانات الضخمة بالاعتماد بصورة أساسية على ذاكرة الحاسب الرئيسة مثل ذاكرة الوصول العشوائي (RAM) لتخزين البيانات. يصل المستخدمون إلى البيانات المخزنة في الذاكرة الأساسية للنظام وبالتالي يتم تجاوز معوقات استرداد وقراءة البيانات الموجودة في قاعدة البيانات التقليدية المستندة إلى التخزين على الأقراص مما يعني تقليل وقت الاستعلام بشكل كبير. تتميز الخوادم السحابية بشكل خاص بوجود سعة كبيرة من ذاكرة الوصول العشوائي، مما يسهل استخدامها في عمليات الحوسبة في الذاكرة.

بحيرة البيانات Data Lake

بحيرة البيانات هي مستودع بيانات عادة ما يكون سحابيًا يُستخدم لتخزين كميات هائلة من البيانات الأولية وغير المعالجة. في هذه الطريقة يتم استخدام عنوان URL ثابت لدعم كل من البيانات المنظمة (مثل قواعد البيانات) والبيانات غير المنظمة (مثل رسائل البريد الإلكتروني والمستندات).

يُعد التمييز بين هذه التقنيات الثلاثة مهمًا نظرًا للأغراض المختلفة لاستخدامها ولكيفية عملها في معالجة البيانات بشكل صحيح. لا تعمل هذه التقنيات معًا، ولكن يتم اختيار إحداها اعتمادًا على نوع الشركة. فقد تكون بحيرة البيانات هي الخيار الجيد لإحدى الشركات، بينما يعد مستودع البيانات الخيار الأفضل لشركة أخرى.

التنقيب في البيانات الضخمة Mining Big Data

كما عرفت سابقًا، يتم جمع البيانات الضخمة باستمرار بواسطة أجهزة الاستشعار والتطبيقات العامة والتطبيقات الشخصية. إن عملية جمع البيانات ليست سوى الخطوة الأولى في العملية المشار إليها باسم اكتشاف المعرفة. يشير اكتشاف المعرفة إلى العملية الشاملة للوصول إلى المعرفة المفيدة من البيانات. ويشير التنقيب في البيانات إلى خطوة معينة في هذه العملية. فالتنقيب عن البيانات هو تطبيق لخوارزميات محددة لاستخراج الأنماط من البيانات، وتحديد العلاقات المختلفة داخل هذه البيانات. تُعد الخطوات الأخرى في عملية اكتشاف المعرفة مثل تنظيف البيانات، وتكامل البيانات، وتحويل صيغة البيانات، والتفسير الصحيح لنتائج التنقيب ضرورية لضمان اشتقاق المعرفة المفيدة من البيانات (انظر الجدول 1.6).

بعض المهام الرئيسة التي يتم إنجازها عن طريق التنقيب في البيانات

وزارة التعليم Ministry of Education 2025 - 1447

--- SECTION: مستودعات البيانات Data Warehouse --- مستودعات البيانات Data Warehouse قد تُعد مستودعات البيانات الأداة الأقدم لتحليل بيانات الشركات. يشير مستودع البيانات إلى قاعدة البيانات التي تخزن البيانات الحالية والتاريخية التي نتجت عن العديد من أنظمة المعاملات التشغيلية الأساسية مثل أنظمة المبيعات، ودعم العملاء، والتصنيع، والتي تجعل البيانات متاحة لصانعي القرار في الشركة. ويتم دمج هذه البيانات مع البيانات من المصادر الخارجية لتحويل البيانات غير المكتملة إلى بيانات منظمة قبل تخزينها في مستودع البيانات. يوفر نظام مستودع البيانات أيضًا مجموعة من الأدوات للتحليل والاستعلام وكذلك أدوات إعداد التقارير الرسومية. --- SECTION: الحوسبة في الذاكرة In-Memory Computing --- الحوسبة في الذاكرة In-Memory Computing هي طريقة لتسهيل عملية تحليل البيانات الضخمة بالاعتماد بصورة أساسية على ذاكرة الحاسب الرئيسة مثل ذاكرة الوصول العشوائي (RAM) لتخزين البيانات. يصل المستخدمون إلى البيانات المخزنة في الذاكرة الأساسية للنظام وبالتالي يتم تجاوز معوقات استرداد وقراءة البيانات الموجودة في قاعدة البيانات التقليدية المستندة إلى التخزين على الأقراص مما يعني تقليل وقت الاستعلام بشكل كبير. تتميز الخوادم السحابية بشكل خاص بوجود سعة كبيرة من ذاكرة الوصول العشوائي، مما يسهل استخدامها في عمليات الحوسبة في الذاكرة. --- SECTION: بحيرة البيانات Data Lake --- بحيرة البيانات Data Lake بحيرة البيانات هي مستودع بيانات عادة ما يكون سحابيًا يُستخدم لتخزين كميات هائلة من البيانات الأولية وغير المعالجة. في هذه الطريقة يتم استخدام عنوان URL ثابت لدعم كل من البيانات المنظمة (مثل قواعد البيانات) والبيانات غير المنظمة (مثل رسائل البريد الإلكتروني والمستندات). يُعد التمييز بين هذه التقنيات الثلاثة مهمًا نظرًا للأغراض المختلفة لاستخدامها ولكيفية عملها في معالجة البيانات بشكل صحيح. لا تعمل هذه التقنيات معًا، ولكن يتم اختيار إحداها اعتمادًا على نوع الشركة. فقد تكون بحيرة البيانات هي الخيار الجيد لإحدى الشركات، بينما يعد مستودع البيانات الخيار الأفضل لشركة أخرى. --- SECTION: التنقيب في البيانات الضخمة Mining Big Data --- التنقيب في البيانات الضخمة Mining Big Data كما عرفت سابقًا، يتم جمع البيانات الضخمة باستمرار بواسطة أجهزة الاستشعار والتطبيقات العامة والتطبيقات الشخصية. إن عملية جمع البيانات ليست سوى الخطوة الأولى في العملية المشار إليها باسم اكتشاف المعرفة. يشير اكتشاف المعرفة إلى العملية الشاملة للوصول إلى المعرفة المفيدة من البيانات. ويشير التنقيب في البيانات إلى خطوة معينة في هذه العملية. فالتنقيب عن البيانات هو تطبيق لخوارزميات محددة لاستخراج الأنماط من البيانات، وتحديد العلاقات المختلفة داخل هذه البيانات. تُعد الخطوات الأخرى في عملية اكتشاف المعرفة مثل تنظيف البيانات، وتكامل البيانات، وتحويل صيغة البيانات، والتفسير الصحيح لنتائج التنقيب ضرورية لضمان اشتقاق المعرفة المفيدة من البيانات (انظر الجدول 1.6). --- SECTION: بعض المهام الرئيسة التي يتم إنجازها عن طريق التنقيب في البيانات --- بعض المهام الرئيسة التي يتم إنجازها عن طريق التنقيب في البيانات --- SECTION: وزارة التعليم --- وزارة التعليم Ministry of Education 2025 - 1447 --- VISUAL CONTEXT --- **FIGURE**: التنقيب في البيانات (Data Mining) Description: A conceptual diagram titled 'التنقيب في البيانات (Data Mining)' with an accompanying text box providing its definition. The text box content is: 'عملية اكتشاف الأنماط في كمية كبيرة من البيانات واستخراج المعلومات المفيدة في توقع السلوك المستقبلي.' Context: Provides a definition and conceptual understanding of Data Mining. **TABLE**: بعض المهام الرئيسة التي يتم إنجازها عن طريق التنقيب في البيانات Description: A table listing the main tasks performed through data mining, as referenced by 'الجدول 1.6' in the main text. Table Structure: Headers: N/A Rows: Row 1: تحليل البيانات لاكتشاف الأنماط والاتجاهات. Row 2: صياغة التنبؤات لمدخلات مجموعات البيانات المختلفة. Row 3: تصنيف أو تجميع أو توقع القيم المختلفة لمجموعة البيانات. Row 4: تسهيل عملية اتخاذ القرارات المدروسة. Context: Lists the primary tasks or applications performed through data mining. **FIGURE**: وزارة التعليم Description: Logo of the Ministry of Education with text 'وزارة التعليم Ministry of Education 2025 - 1447'. Context: Non-educational content, publisher's logo.