تحسين البرمجة الاتجاهية للنصوص - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

تحسين البرمجة الاتجاهية للنصوص Improving Text Vectorization

استخدم الإصدار الأول لخط أنابيب التنبؤ أداة CountVectorizer لحساب عدد المرات التي تظهر فيها كل كلمة في كل تقييم. تتجاهل هذه المنهجية حقيقتين أساسيتين حول اللغات البشرية:

• قد يتغير معنى الكلمة وأهميتها حسب الكلمات المستخدمة معها.

• تكرار الكلمة في المستند لا يُعد دومًا تمثيلاً دقيقًا لأهميتها. على سبيل المثال، على الرغم من أن تكرار كلمة great (رائع) مرتين قد يمثل مؤشرًا إيجابيًا في مستند يحتوي على 100 كلمة، إلا أنه يمثل مؤشرًا أقل أهمية بكثير في مستند يحتوي على 1000 كلمة.

سيشرح هذا الجزء كيفية تحسين البرمجة الاتجاهية للنصوص لأخذ هاتين الحقيقتين في عين الاعتبار. يستدعي المقطع البرمجي التالي ثلاثة مكتبات مختلفة بلغة البايثون. ستستخدم لتحقيق ذلك:

التعبير النمطي هو نمط نص يُستخدم لمطابقة ومعالجة سلاسل النصوص وتقديم طريقة موجزة ومرنة لتحديد أنماط النصوص، كما تُستخدم على نطاق واسع في معالجة النصوص وتحليل البيانات.

• nltk وجينسيم (Gensim): تُستخدم هاتان المكتبتان الشهيرتان في مهام معالجة اللغات الطبيعية المتنوعة.

• re: تُستخدم هذه المكتبة في البحث عن النصوص، ومعالجتها باستخدام التعبيرات النمطية.

%capture !pip install nltk # install nltk !pip install gensim # install gensim import nltk # import nltk nltk.download('punkt') # install nltk's tokenization tool, used to split a text into sentences. import re # import re from gensim.models.phrases import Phrases, ENGLISH_CONNECTOR_WORDS # import tools from the gensim library.

تحديد العبارات Detecting Phrases

يمكن استخدام الدالة الآتية لتقسيم مستند محدد إلى قائمة من الجمل المقسمة، حيث يمكن تمثيل كل جملة بقائمة من الكلمات:

يُقصد به: عملية تقسيم البيانات النصية إلى أجزاء مثل كلمات، وجمل، ورموز، وعناصر أخرى يُطلق عليها الرموز (Tokens).

تقسم المستند إلى قائمة من الجمل.

# convert a given doc to a list of tokenized sentences. def tokenize_doc(doc:str): return [re.findall(r'\b\w+\b', sent.lower()) for sent in nltk.sent_tokenize(doc)]

بعد ذلك، يتم كتابة كل جملة بأحرف صغيرة وتغذيتها إلى دالة ()findall من مكتبة re لتقوم بتحديد تكرارات التعبيرات النمطية 'b\w+\b'. ستختبرها على السلسلة النصية الموجودة في متغير raw_text. في هذا السياق:

وزارة التعليم Ministry of Education 2023 - 1447

146

--- SECTION: تحسين البرمجة الاتجاهية للنصوص --- تحسين البرمجة الاتجاهية للنصوص Improving Text Vectorizationاستخدم الإصدار الأول لخط أنابيب التنبؤ أداة CountVectorizer لحساب عدد المرات التي تظهر فيها كل كلمة في كل تقييم. تتجاهل هذه المنهجية حقيقتين أساسيتين حول اللغات البشرية:• قد يتغير معنى الكلمة وأهميتها حسب الكلمات المستخدمة معها.• تكرار الكلمة في المستند لا يُعد دومًا تمثيلاً دقيقًا لأهميتها. على سبيل المثال، على الرغم من أن تكرار كلمة great (رائع) مرتين قد يمثل مؤشرًا إيجابيًا في مستند يحتوي على 100 كلمة، إلا أنه يمثل مؤشرًا أقل أهمية بكثير في مستند يحتوي على 1000 كلمة.سيشرح هذا الجزء كيفية تحسين البرمجة الاتجاهية للنصوص لأخذ هاتين الحقيقتين في عين الاعتبار. يستدعي المقطع البرمجي التالي ثلاثة مكتبات مختلفة بلغة البايثون. ستستخدم لتحقيق ذلك:--- SECTION: التعبير النمطي (Regular Expression) --- التعبير النمطي هو نمط نص يُستخدم لمطابقة ومعالجة سلاسل النصوص وتقديم طريقة موجزة ومرنة لتحديد أنماط النصوص، كما تُستخدم على نطاق واسع في معالجة النصوص وتحليل البيانات.• nltk وجينسيم (Gensim): تُستخدم هاتان المكتبتان الشهيرتان في مهام معالجة اللغات الطبيعية المتنوعة.• re: تُستخدم هذه المكتبة في البحث عن النصوص، ومعالجتها باستخدام التعبيرات النمطية.%capture!pip install nltk # install nltk !pip install gensim # install gensim import nltk # import nltk nltk.download('punkt') # install nltk's tokenization tool, used to split a text into sentences.import re # import re from gensim.models.phrases import Phrases, ENGLISH_CONNECTOR_WORDS # import tools from the gensim library.--- SECTION: تحديد العبارات --- تحديد العبارات Detecting Phrasesيمكن استخدام الدالة الآتية لتقسيم مستند محدد إلى قائمة من الجمل المقسمة، حيث يمكن تمثيل كل جملة بقائمة من الكلمات:--- SECTION: التقسيم (Tokenization) --- يُقصد به: عملية تقسيم البيانات النصية إلى أجزاء مثل كلمات، وجمل، ورموز، وعناصر أخرى يُطلق عليها الرموز (Tokens).--- SECTION: دالة ()sent_tokenize --- تقسم المستند إلى قائمة من الجمل.# convert a given doc to a list of tokenized sentences. def tokenize_doc(doc:str): return [re.findall(r'\b\w+\b', sent.lower()) for sent in nltk.sent_tokenize(doc)]بعد ذلك، يتم كتابة كل جملة بأحرف صغيرة وتغذيتها إلى دالة ()findall من مكتبة re لتقوم بتحديد تكرارات التعبيرات النمطية 'b\w+\b'. ستختبرها على السلسلة النصية الموجودة في متغير raw_text. في هذا السياق:2023 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: دالة ()sent_tokenize Description: A blue rectangular box labeled 'دالة ()sent_tokenize' with the text 'تقسم المستند إلى قائمة من الجمل.' An arrow points from the preceding main text 'يمكن استخدام الدالة الآتية لتقسيم مستند محدد إلى قائمة من الجمل المقسمة، حيث يمكن تمثيل كل جملة بقائمة من الكلمات:' to this blue box, indicating that the box provides a definition or explanation for the function mentioned in the text. Context: This diagram visually highlights and defines the `sent_tokenize()` function, explaining its role in breaking down a document into a list of sentences as part of the text processing workflow.