البرمجة الاتجاهية للكلمات باستخدام الشبكات العصبية - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

البرمجة الاتجاهية للكلمات باستخدام الشبكات العصبية

Word Vectorization with Neural Networks

تستند إلى حساب تكرار الكلمات ومعالجتها عبر المستندات في مجموعة البيانات. بالرغم من أن هذا يحقق نتائج جيدة، إلا أن القيود الكبيرة تعيق الطرائق المستندة إلى التكرار. فهي تتجاهل تمامًا العلاقة الدلالية بين الكلمات. على سبيل المثال، على الرغم من أن كلمتي (رحلة) journey و (نزهة) trip مترادفتان، إلا أن البرمجة الاتجاهية المستندة إلى التكرار ستتعامل معهما باعتبارهما كلمتان منفصلتان تمامًا ولهما خصائص مستقلة. وبالمثل، بالرغم من أن كلمتي apple (تفاحة) و fruit (فاكهة) مترابطتان دلاليًا؛ لأن التفاح نوع من الفاكهة إلا أن ذلك لن يؤخذ بعين الاعتبار أيضًا.

تؤثر هذه القيود كثيرًا على التطبيقات التي تستخدم هذا النوع من البرمجة الاتجاهية. فكر في الجملتين التاليتين: • لدي حمى شديدة، ويجب علي زيارة الطبيب. (I have a very high fever, so I have to visit a doctor) • ارتفعت درجة حرارة جسمي كثيرًا، ويجب علي زيارة أخصائي الرعاية الصحية. (My body temperature has risen significantly, so I need to see a healthcare professional) بالرغم من أن الجملتين تصفان الحالة نفسها إلا أنهما لا تتشاركان أي كلمات دلالية. ولذلك، ستفشل خوارزميات التجميع المستندة إلى تكرار المصطلح تكرار المستند العكسي (TF-IDF) أو أي برمجة اتجاهية (تستند إلى التكرار) في رؤية التشابه بين الكلمات، ومن المحتمل ألا تضعها في نفس العنقود.

نموذج الكلمة إلى المتجه Word2Vec

يمكن معالجة هذه القيود بالطرائق التي تأخذ بعين الاعتبار التشابه الدلالي بين الكلمات. إحدى الطرائق الشهيرة المتبعة في هذا الصدد هي نموذج الكلمة إلى المتجه (Word2Vec) التي تستخدم بنية تستند إلى الشبكات العصبية. يستند نموذج الكلمة إلى المتجه (Word2Vec) إلى فكرة أن الكلمات المتشابهة دلاليًا تحاط بكلمات مماثلة في السياق نفسه. ولذلك، نجد الشبكات العصبية تستخدم التضمين الخفي لكل كلمة للتنبؤ بالسياق، مع ضرورة إنشاء الروابط بين الكلمات والتضمينات الشبيهة. عمليًا، يخضع نموذج الكلمة إلى المتجه (Word2Vec) للتدريب المسبق على ملايين المستندات لتعلم التضمين عالي الدقة للكلمات. يمكن تحميل النماذج المدربة مسبقًا واستخدامها في التطبيقات المستندة إلى النصوص. يستخدم المقطع البرمجي التالي مكتبة جينسيم (Gensim) لتحميل نموذج مدرب مسبقًا على مجموعة كبيرة جدًا من أخبار قوقل (Google News):

الكلمات المستبعدة هي كلمات شائعة في اللغات تستبعد عادة أثناء المعالجة المسبقة للنصوص ضمن مهام معالجة اللغات الطبيعية (NPL) مثل البرمجة الاتجاهية للكلمات. هذه الكلمات تشمل أدوات التعريف، وحروف العطف، وحروف الجر، والكلمات التي لا تكون مفيدة لتحديد معنى النص، أو سياقه.

التضمين يعبر عن الكلمات أو الرموز في فضاء المتجه المستمر حيث ترتبط الكلمات المتشابهة دلاليًا مع النقاط القريبة.

import gensim.downloader as api model_wv = api.load('word2vec-google-news-300') fox_emb=model_wv['fox'] print(len(fox_emb))

300

هذا النموذج يربط كل كلمة بتضمين مكون من 300 بعد.

وزارة التعليم Ministry of Education 163 2025 - 1447

البرمجة الاتجاهية للكلمات باستخدام الشبكات العصبية--- SECTION: Word Vectorization with Neural Networks --- Word Vectorization with Neural Networksتستند إلى حساب تكرار الكلمات ومعالجتها عبر المستندات في مجموعة البيانات. بالرغم من أن هذا يحقق نتائج جيدة، إلا أن القيود الكبيرة تعيق الطرائق المستندة إلى التكرار. فهي تتجاهل تمامًا العلاقة الدلالية بين الكلمات. على سبيل المثال، على الرغم من أن كلمتي (رحلة) journey و (نزهة) trip مترادفتان، إلا أن البرمجة الاتجاهية المستندة إلى التكرار ستتعامل معهما باعتبارهما كلمتان منفصلتان تمامًا ولهما خصائص مستقلة. وبالمثل، بالرغم من أن كلمتي apple (تفاحة) و fruit (فاكهة) مترابطتان دلاليًا؛ لأن التفاح نوع من الفاكهة إلا أن ذلك لن يؤخذ بعين الاعتبار أيضًا.تؤثر هذه القيود كثيرًا على التطبيقات التي تستخدم هذا النوع من البرمجة الاتجاهية. فكر في الجملتين التاليتين: • لدي حمى شديدة، ويجب علي زيارة الطبيب. (I have a very high fever, so I have to visit a doctor) • ارتفعت درجة حرارة جسمي كثيرًا، ويجب علي زيارة أخصائي الرعاية الصحية. (My body temperature has risen significantly, so I need to see a healthcare professional) بالرغم من أن الجملتين تصفان الحالة نفسها إلا أنهما لا تتشاركان أي كلمات دلالية. ولذلك، ستفشل خوارزميات التجميع المستندة إلى تكرار المصطلح تكرار المستند العكسي (TF-IDF) أو أي برمجة اتجاهية (تستند إلى التكرار) في رؤية التشابه بين الكلمات، ومن المحتمل ألا تضعها في نفس العنقود.--- SECTION: نموذج الكلمة إلى المتجه Word2Vec --- نموذج الكلمة إلى المتجه Word2Vecيمكن معالجة هذه القيود بالطرائق التي تأخذ بعين الاعتبار التشابه الدلالي بين الكلمات. إحدى الطرائق الشهيرة المتبعة في هذا الصدد هي نموذج الكلمة إلى المتجه (Word2Vec) التي تستخدم بنية تستند إلى الشبكات العصبية. يستند نموذج الكلمة إلى المتجه (Word2Vec) إلى فكرة أن الكلمات المتشابهة دلاليًا تحاط بكلمات مماثلة في السياق نفسه. ولذلك، نجد الشبكات العصبية تستخدم التضمين الخفي لكل كلمة للتنبؤ بالسياق، مع ضرورة إنشاء الروابط بين الكلمات والتضمينات الشبيهة. عمليًا، يخضع نموذج الكلمة إلى المتجه (Word2Vec) للتدريب المسبق على ملايين المستندات لتعلم التضمين عالي الدقة للكلمات. يمكن تحميل النماذج المدربة مسبقًا واستخدامها في التطبيقات المستندة إلى النصوص. يستخدم المقطع البرمجي التالي مكتبة جينسيم (Gensim) لتحميل نموذج مدرب مسبقًا على مجموعة كبيرة جدًا من أخبار قوقل (Google News):--- SECTION: الكلمات المستبعدة (Stopwords): --- الكلمات المستبعدة هي كلمات شائعة في اللغات تستبعد عادة أثناء المعالجة المسبقة للنصوص ضمن مهام معالجة اللغات الطبيعية (NPL) مثل البرمجة الاتجاهية للكلمات. هذه الكلمات تشمل أدوات التعريف، وحروف العطف، وحروف الجر، والكلمات التي لا تكون مفيدة لتحديد معنى النص، أو سياقه.--- SECTION: التضمين (Embedding): --- التضمين يعبر عن الكلمات أو الرموز في فضاء المتجه المستمر حيث ترتبط الكلمات المتشابهة دلاليًا مع النقاط القريبة.import gensim.downloader as api model_wv = api.load('word2vec-google-news-300') fox_emb=model_wv['fox'] print(len(fox_emb))هذا النموذج يربط كل كلمة بتضمين مكون من 300 بعد.2025 - 1447--- VISUAL CONTEXT --- **FIGURE**: Python Code Snippet for Word2Vec Description: A Python code snippet demonstrating how to load a pre-trained Word2Vec model using the gensim library. It loads the 'word2vec-google-news-300' model, extracts the embedding vector for the word 'fox', and then prints the length (dimension) of this embedding. Key Values: import gensim.downloader as api, model_wv = api.load('word2vec-google-news-300'), fox_emb=model_wv['fox'], print(len(fox_emb)) Context: This code block provides a practical example of how to implement Word2Vec for obtaining word embeddings, illustrating the use of the gensim library and showing the output dimension of the embedding.**DIAGRAM**: Word Embedding Dimension Illustration Description: A diagram showing an arrow originating from the numerical output '300' (from the code snippet) and pointing to a blue text box. The text box explains that 'This model links each word to an embedding composed of 300 dimensions.' Key Values: 300, هذا النموذج يربط كل كلمة بتضمين مكون من 300 بعد. Context: This diagram visually connects the numerical output of the code (300) to the conceptual understanding of a word embedding having 300 dimensions, reinforcing the key characteristic of the Word2Vec model used.