توليد اللغات الطبيعية المبني على الاختيار - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

استخدام توليد اللغات الطبيعية المبني على الاختيار

Using Selection-Based NLG

في هذا القسم، سنستعرض منهجية عملية لاختيار نموذج من الجمل الفرعية من وثيقة محددة. هذه المنهجية تجسد استخدام ومزايا توليد اللغات الطبيعية المبني على الاختيار يستند إلى لبنتين رئيسيتين:

• نموذج الكلمة إلى المتجه (Word2Vec) المستخدم لتحديد أزواج الكلمات المتشابهة دلالياً.

• مكتبة Networkx الشهيرة ضمن لغة البايثون المستخدمة لإنشاء ومعالجة أنواع مختلفة من بيانات الشبكة.

• النص المدخل الذي سيستخدم في هذا الفصل هو مقالة إخبارية نُشرت بعد المباراة النهائية لكأس العالم 2022.

# reads the input document that we want to summarize with open('article.txt', encoding='utf8', errors='ignore') as f: text=f.read() text[:100] # shows the first 100 characters of the article

'It was a consecration, the spiritual overtones entirely appropriate. Lionel Messi not only emulated '

في البداية، يُرمز النص باستخدام مكتبة re والتعبير النمطي نفسه المستخدم في الوحدات السابقة:

import re #used for regular expressions # tokenize the document, ignore stopwords, focus only on words included in the Word2Vec model. tokenized_doc=[word for word in re.findall(r'\b\w+\b', text.lower()) if word not in stop and word in model_wv] # get the vocabulary (set of unique words). vocab=set(tokenized_doc)

مكتبة Networkx

يمكن الآن نمذجة مفردات المستند في مخطط موّزون (Weighted Graph). توفر مكتبة Networkx في لغة البايثون مجموعة واسعة من الأدوات لإنشاء وتحليل المخططات. في توليد اللغات الطبيعية المبني على الاختيار، يساعد تمثيل مفردات الوثيقة في مخطط موّزون في تحديد العلاقات بين الكلمات وتسهيل اختيار العبارات والجمل ذات الصلة. في المخطط الموزون، تمثل كل عقدة كلمة أو مفهوماً، وتمثل الحواف بين العقد العلاقات بين هذه المفاهيم. تُعبر الأوزان على الحواف عن قوة هذه العلاقات، مما يسمح لنظام توليد اللغات الطبيعية بتحديد المفاهيم الأقوى ارتباطاً. عند توليد النصوص، يُستخدم المخطط الموزون للبحث عن العبارات والجمل استناداً إلى العلاقات بين الكلمات. على سبيل المثال، قد يُستخدم النظام المخطط للبحث عن الكلمات والعبارات الأكثر ارتباطاً لوصف كيان محدد ثم استخدام هذه الكلمات لتحديد الجملة الأكثر ملاءمة من قاعدة بيانات النظام.

وزارة التعليم

Ministry of Education

177

2023 - 1447

استخدام توليد اللغات الطبيعية المبني على الاختيار--- SECTION: Using Selection-Based NLG --- Using Selection-Based NLGفي هذا القسم، سنستعرض منهجية عملية لاختيار نموذج من الجمل الفرعية من وثيقة محددة. هذه المنهجية تجسد استخدام ومزايا توليد اللغات الطبيعية المبني على الاختيار يستند إلى لبنتين رئيسيتين:• نموذج الكلمة إلى المتجه (Word2Vec) المستخدم لتحديد أزواج الكلمات المتشابهة دلالياً.• مكتبة Networkx الشهيرة ضمن لغة البايثون المستخدمة لإنشاء ومعالجة أنواع مختلفة من بيانات الشبكة.• النص المدخل الذي سيستخدم في هذا الفصل هو مقالة إخبارية نُشرت بعد المباراة النهائية لكأس العالم 2022.# reads the input document that we want to summarize with open('article.txt', encoding='utf8', errors='ignore') as f: text=f.read()text[:100] # shows the first 100 characters of the article'It was a consecration, the spiritual overtones entirely appropriate. Lionel Messi not only emulated 'في البداية، يُرمز النص باستخدام مكتبة re والتعبير النمطي نفسه المستخدم في الوحدات السابقة:import re #used for regular expressions# tokenize the document, ignore stopwords, focus only on words included in the Word2Vec model. tokenized_doc=[word for word in re.findall(r'\b\w+\b', text.lower()) if word not in stop and word in model_wv]# get the vocabulary (set of unique words). vocab=set(tokenized_doc)--- SECTION: مكتبة Networkx --- مكتبة Networkxيمكن الآن نمذجة مفردات المستند في مخطط موّزون (Weighted Graph). توفر مكتبة Networkx في لغة البايثون مجموعة واسعة من الأدوات لإنشاء وتحليل المخططات. في توليد اللغات الطبيعية المبني على الاختيار، يساعد تمثيل مفردات الوثيقة في مخطط موّزون في تحديد العلاقات بين الكلمات وتسهيل اختيار العبارات والجمل ذات الصلة. في المخطط الموزون، تمثل كل عقدة كلمة أو مفهوماً، وتمثل الحواف بين العقد العلاقات بين هذه المفاهيم. تُعبر الأوزان على الحواف عن قوة هذه العلاقات، مما يسمح لنظام توليد اللغات الطبيعية بتحديد المفاهيم الأقوى ارتباطاً. عند توليد النصوص، يُستخدم المخطط الموزون للبحث عن العبارات والجمل استناداً إلى العلاقات بين الكلمات. على سبيل المثال، قد يُستخدم النظام المخطط للبحث عن الكلمات والعبارات الأكثر ارتباطاً لوصف كيان محدد ثم استخدام هذه الكلمات لتحديد الجملة الأكثر ملاءمة من قاعدة بيانات النظام.2023 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: شكل 3.27: مثال على مخطط موّزون لـ Networkx Description: A circular node-link diagram representing a weighted graph. It illustrates relationships between seven concepts or words, with numerical weights on the edges indicating the strength of these relationships. X-axis: N/A Y-axis: N/A Data: The diagram shows nodes labeled 'مطعم' (restaurant), 'منزل' (home), 'عشاء' (dinner), 'الموقع' (location), 'رائع' (great), 'لذيذ' (delicious), and 'موصى به' (recommended). Edges connect these nodes with associated weights: مطعم-منزل (2), مطعم-عشاء (3), منزل-الموقع (2), عشاء-الموقع (1), عشاء-رائع (2), عشاء-لذيذ (2), موصى به-عشاء (1), موصى به-لذيذ (3). Key Values: مطعم, منزل, عشاء, الموقع, رائع, لذيذ, موصى به, weight 1, weight 2, weight 3 Context: This diagram serves as an example of how the Networkx library can be used to model document vocabulary as a weighted graph. It demonstrates the concept of nodes representing words/concepts and weighted edges representing the strength of their relationships, which is fundamental for selection-based Natural Language Generation.