التقسيم النصي ونمذجة العبارات باستخدام تعبيرات منتظمة - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

• \W+ تتطابق مع كل الرموز الأبجدية الرقمية (z-a, A-Z, 0-9) والشرطة السفلية.

• \w+ تُستخدم للبحث عن واحد أو أكثر من رموز \W. لذلك، في السلسلة النصية hello123_world (مرحباً 123_العالم)، النمط \w+ سيتطابق مع الكلمات hello (مرحباً) و 123 و world (العالم).

• \b تمثل الفاصل (Boundary) بين رمز \w ورمز ليس \w، وكذلك، في بداية أو نهاية السلسلة النصية المعطاة. على سبيل المثال، سيتطابق النمط \bcat\b مع الكلمة cat (القطة) في السلسلة النصية The cat is cute (القطة لطيفة)، ولكنه لن يتطابق مع الكلمة cat (القطة) في السلسلة النصية The category is pets (فئة الحيوانات الأليفة).

أدناه مثالاً على التقسيم باستخدام الدالة ()tokenize_doc.

raw_text='The movie was too long. I fell asleep after the first 2 hours.' tokenized_sentences=tokenize_doc(raw_text) tokenized_sentences

[['the', 'movie', 'was', 'too', 'long'], ['i', 'fell', 'asleep', 'after', 'the', 'first', '2', 'hours']]

يمكن الآن تجميع الدالة ()tokenize_doc مع أداة العبارات من مكتبة جينسيم (Gensim) لإنشاء نموذج العبارة، وهو نموذج يمكنه التعرف على العبارات المكونة من عدة كلمات في جملة معطاة. يستخدم المقطع البرمجي التالي بيانات التدريب IMDb الخاصة بـ (X_train_text) لبناء مثل هذا النموذج:

sentences=[] # list of all the tokenized sentences across all the docs in this dataset for doc in X_train_text: # for each doc in this dataset sentences+=tokenize_doc(doc) # get the list of tokenized sentences in this doc # build a phrase model on the given data imdb_phrase_model = Phrases(sentences, 1 connector_words=ENGLISH_CONNECTOR_WORDS, 2 scoring='npmi', 3 threshold=0.25).freeze() 4

كما هو موضح بالأعلى، تستقبل الدالة ()Phrases أربعة متغيرات:

1 قائمة الجمل المقسمة من مجموعة النصوص المعطاة.

2 قائمة بالكلمات الإنجليزية الشائعة التي تظهر بصورة متكررة في العبارات (مثل: the و of)، وليس لها أي قيمة موجبة أو سالبة، ولكن يمكنها إضفاء المشاعر حسب السياق، ولذلك يتم التعامل معها بصورة مختلفة.

3 تُستخدم دالة تسجيل النقاط لتحديد ما إذا كان تضمين مجموعة من الكلمات في العبارة نفسها واجباً. المقطع البرمجي بالأعلى يستخدم مقياس المعلومات النقطية المشتركة المعاير (Normalized Pointwise Mutual Information – NPMI) لهذا الغرض. يستند هذا المقياس على تكرار توارد الكلمات في العبارة المرشحة وتكون قيمته بين 1- ويرمز إلى الاستقلالية الكاملة (Complete Independence)، و1+ ويرمز إلى التوارد الكامل (Complete Co-occurrence).

4 في حدود دالة تسجيل النقاط يتم تجاهل العبارات ذات النقاط الأقل. ومن الناحية العملية، يمكن ضبط هذه الحدود لتحديد القيمة التي تعطي أفضل النتائج في التطبيقات النهائية مثل: النمذجة التنبؤية.

تُحوّل دالة ()freeze نموذج العبارة إلى تنسيق غير قابل للتغيير أي مُجمد (Frozen) لكنه أكثر سرعة.

وزارة التعليم 147 Ministry of Education 2025 - 1447

• \W+ تتطابق مع كل الرموز الأبجدية الرقمية (z-a, A-Z, 0-9) والشرطة السفلية.• \w+ تُستخدم للبحث عن واحد أو أكثر من رموز \W. لذلك، في السلسلة النصية hello123_world (مرحباً 123_العالم)، النمط \w+ سيتطابق مع الكلمات hello (مرحباً) و 123 و world (العالم).• \b تمثل الفاصل (Boundary) بين رمز \w ورمز ليس \w، وكذلك، في بداية أو نهاية السلسلة النصية المعطاة. على سبيل المثال، سيتطابق النمط \bcat\b مع الكلمة cat (القطة) في السلسلة النصية The cat is cute (القطة لطيفة)، ولكنه لن يتطابق مع الكلمة cat (القطة) في السلسلة النصية The category is pets (فئة الحيوانات الأليفة).أدناه مثالاً على التقسيم باستخدام الدالة ()tokenize_doc.raw_text='The movie was too long. I fell asleep after the first 2 hours.' tokenized_sentences=tokenize_doc(raw_text) tokenized_sentences[['the', 'movie', 'was', 'too', 'long'], ['i', 'fell', 'asleep', 'after', 'the', 'first', '2', 'hours']]يمكن الآن تجميع الدالة ()tokenize_doc مع أداة العبارات من مكتبة جينسيم (Gensim) لإنشاء نموذج العبارة، وهو نموذج يمكنه التعرف على العبارات المكونة من عدة كلمات في جملة معطاة. يستخدم المقطع البرمجي التالي بيانات التدريب IMDb الخاصة بـ (X_train_text) لبناء مثل هذا النموذج:sentences=[] # list of all the tokenized sentences across all the docs in this dataset for doc in X_train_text: # for each doc in this dataset sentences+=tokenize_doc(doc) # get the list of tokenized sentences in this doc# build a phrase model on the given data imdb_phrase_model = Phrases(sentences, 1 connector_words=ENGLISH_CONNECTOR_WORDS, 2 scoring='npmi', 3 threshold=0.25).freeze() 4كما هو موضح بالأعلى، تستقبل الدالة ()Phrases أربعة متغيرات:1 قائمة الجمل المقسمة من مجموعة النصوص المعطاة.2 قائمة بالكلمات الإنجليزية الشائعة التي تظهر بصورة متكررة في العبارات (مثل: the و of)، وليس لها أي قيمة موجبة أو سالبة، ولكن يمكنها إضفاء المشاعر حسب السياق، ولذلك يتم التعامل معها بصورة مختلفة.3 تُستخدم دالة تسجيل النقاط لتحديد ما إذا كان تضمين مجموعة من الكلمات في العبارة نفسها واجباً. المقطع البرمجي بالأعلى يستخدم مقياس المعلومات النقطية المشتركة المعاير (Normalized Pointwise Mutual Information – NPMI) لهذا الغرض. يستند هذا المقياس على تكرار توارد الكلمات في العبارة المرشحة وتكون قيمته بين 1- ويرمز إلى الاستقلالية الكاملة (Complete Independence)، و1+ ويرمز إلى التوارد الكامل (Complete Co-occurrence).4 في حدود دالة تسجيل النقاط يتم تجاهل العبارات ذات النقاط الأقل. ومن الناحية العملية، يمكن ضبط هذه الحدود لتحديد القيمة التي تعطي أفضل النتائج في التطبيقات النهائية مثل: النمذجة التنبؤية.تُحوّل دالة ()freeze نموذج العبارة إلى تنسيق غير قابل للتغيير أي مُجمد (Frozen) لكنه أكثر سرعة.2025 - 1447