تجهيز البيانات والمعالجة المسبقة - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

تجهيز البيانات والمعالجة المسبقة Data Preparation and Pre-Processingعلى الرغم من أن تنسيق النص الأولي كما في الشكل 3.4 بديهي للقارئ البشري، إلا أن خوارزميات التعلم الموجه لا تستطيع التعامل معه بصورته الحالية. فبدلاً من ذلك، تحتاج الخوارزميات إلى تحويل هذه المستندات إلى تنسيق متجه رقمي (Numeric Vector) فيما يُعرف بعملية البرمجة الاتجاهية (Vectorization). ويمكن تطبيق عملية البرمجة الاتجاهية بعدة طرائق مختلفة، وتتميز بأن لها تأثيراً إيجابياً كبيراً على أداء النموذج المدرب.--- SECTION: مكتبة سكيليرن Sklearn Library --- مكتبة سكيليرن Sklearn Libraryسيتم بناء النموذج باستخدام مكتبة سكيليرن وتُعرف كذلك باسم مكتبة سايكيت ليرن (Scikit-Learn)، وهي مكتبة شهيرة في البايثون تختص بتعلم الآلة. توفر المكتبة مجموعة من الأدوات والخوارزميات لأداء مهام متعددة، مثل: التصنيف، والانحدار، والتجميع، وتقليص الأبعاد. إحدى الأدوات المفيدة في مكتبة سكيليرن هي أداة تسمى CountVectorizer، ويمكن استخدامها في تهيئة عملية المعالجة وتمثيل البيانات النصية بالمتجهات.--- SECTION: أداة CountVectorizer --- أداة CountVectorizerتُستخدم أداة CountVectorizer في تحويل مجموعة من المستندات النصية إلى مصفوفة من رموز متعددة، حيث يمثل كل صف مستنداً وكل عمود يمثل رمزاً خاصاً. قد تكون الرموز كلمات فردية أو عبارات أو بنيات أكثر تعقيداً تقوم بالتقاط الأنماط المتعددة من البيانات النصية الأساسية. تُشير المدخلات في المصفوفة إلى عدد مرات ظهور الرمز في كل مستند. ويُعرف ذلك أيضاً باسم تمثيل حقيبة الكلمات (bag-of-words" (BoW" حيث يتجاهل ترتيب الكلمات في النص مع المحافظة على تكرارها فيه. على الرغم من أن تمثيل حقيبة الكلمات هو تبسيط شديد للغة البشرية، إلا أنه يحقق نتائج تنافسية للغاية عند التطبيق العملي.--- SECTION: البرمجة الاتجاهية (Vectorization) --- البرمجة الاتجاهية (Vectorization): البرمجة الاتجاهية هي عملية تحويل السلاسل النصية المكونة من الكلمات أو العبارات (النص) إلى متجه متجانس من الأرقام الحقيقية يُستخدم لترميز خصائص النص باستخدام تنسيق تفهمه خوارزميات تعلم الآلة.يستخدم المقطع البرمجي التالي أداة CountVectorizer لتمثيل مجموعة بيانات التدريب IMDb بالمتجهات:--- SECTION: Python Code Example for CountVectorizer --- from sklearn.feature_extraction.text import CountVectorizer # the min_df parameter is used to ignore terms that appear in less than 10 reviews. vectorizer_v1 = CountVectorizer(min_df=10) vectorizer_v1.fit(X_train_text) # fit the vectorizer on the training data. # use the fitted vectorizer to vectorize the data. X_train_v1 = vectorizer_v1.transform(X_train_text) X_train_v1 <400000x23392 sparse matrix of type '<class 'numpy.int64'>' with 5301561 stored elements in Compressed Sparse Row format>2025 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: شكل 3.5: تمثيل حقيبة الكلمات (bag-of-words) Description: A diagram illustrating the 'bag-of-words' concept. An input sentence 'I like oranges, do you like oranges?' (in English) and 'أنا أحب البرتقال، هل تحب البرتقال؟' (in Arabic) is transformed into a vector representation. The diagram shows an arrow pointing from the sentence to a list of unique words from the sentence along with their frequency counts. The list is labeled 'حقيبة كلمات نصية متجهة' (Vectorized text bag). X-axis: EMPTY Y-axis: EMPTY Data: The diagram shows the transformation of a sentence into a frequency count of its constituent words, demonstrating the 'bag-of-words' model where word order is ignored, but frequency is retained. Key Values: Input Sentence (English): "I like oranges, do you like oranges?", Input Sentence (Arabic): "أنا أحب البرتقال، هل تحب البرتقال؟", Word Counts:, apples: 0, do: 1, I: 1, like: 2, oranges: 2, you: 1 Context: This visual explains the core concept of 'bag-of-words' representation, which is fundamental to text vectorization using tools like CountVectorizer in Natural Language Processing (NLP). It shows how text is converted into a numerical format suitable for machine learning algorithms.