مقياس تكرار المصطلح - تكرار المستند العكسي (TF-IDF) - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

# an example of an annotated document from the imdb training data X_train_text_annotated[0] 'i_grew up b 1965 watching and loving the thunderbirds all my_mates at school watched we played thunderbirds before school during lunch and after school we all wanted to be virgil or scott no_one wanted to be alan counting down from 5 became an art_form i took my children to see the movie hoping they would get_a_glimpse of what i_loved as a child how bitterly disappointing the only high_point was the snappy theme_tune not that it could compare with the original score of the thunderbirds thankfully early saturday_mornings one television_channel still plays reruns of the series gerry_anderson and his_wife created jonatha frakes should hand in his directors chair of film utter_rubbish a cgi remake may_be acceptable but replacing marionettes with homo_sapiens subsp sapiens was a huge error of judgment'

استخدام مقياس تكرار المصطلح - تكرار المستند العكسي في البرمجة الاتجاهية للنصوص Using TF-IDF for Text Vectorization

تكرار الكلمة في المستند لا يُعدُّ دومًا تمثيلاً دقيقًا لأهميتها. الطريقة المُثلى لتمثيل التكرار هي المقياس الشهير لتكرار المصطلح - تكرار المستند العكسي (TF-IDF). يستخدم هذا المقياس صيغة رياضية بسيطة لتحديد أهمية الرموز مثل: الكلمات أو العبارات في المستند بناءً على عاملين: • تكرار الرمز في المستند، بقياس عدد مرات ظهوره في المستند، مقسومًا على إجمالي عدد الرموز في جميع المستندات. • تكرار المستند العكسي للرمز، المحسوب بقسمة إجمالي عدد المستندات في مجموعة البيانات على عدد المستندات التي تحتوي على الرمز. العامل الأول يتجنب المبالغة في تقدير أهمية المصطلحات التي تظهر في الوثائق الأطول. أما العامل الثاني فيستبعد المصطلحات التي تظهر في كثير من المستندات، مما يساعد على إثبات حقيقة أن بعض الكلمات هي أكثر شيوعًا من غيرها.

تكرار المصطلح - تكرار المستند العكسي Term Frequency Inverse Document : Frequency (TF-IDF)

تكرار المصطلح - تكرار المستند العكسي هو طريقة تستخدم لتحديد أهمية الرموز في المستند.

تكرار المستند العكسي = عدد المستندات في الأصل النصي عدد المستندات التي تحتوي على المصطلح تكرار المصطلح = عدد مرات ظهور المصطلح في المستند عدد الكلمات في المستند تكرار المصطلح × تكرار المستند العكسي = القيمة

أداة TfidfVectorizer

توفر مكتبة سكيليرن (Sklearn) أداة تدعم هذا النوع من البرمجة الاتجاهية لتكرار المصطلح - تكرار المستند العكسي (TF-IDF). يمكن استخدام أداة TfidfVectorizer لتمثيل عبارة باستخدام المتجهات.

from sklearn.feature_extraction.text import TfidfVectorizer # Train a TF-IDF model with the IMDb training dataset vectorizer_tf = TfidfVectorizer(min_df=10) vectorizer_tf.fit(X_train_text_annotated) X_train_tf = vectorizer_tf.transform(X_train_text_annotated)

وزارة التعليم Ministry of Education 2023 - 1447

149

# an example of an annotated document from the imdb training data X_train_text_annotated[0] 'i_grew up b 1965 watching and loving the thunderbirds all my_mates at school watched we played thunderbirds before school during lunch and after school we all wanted to be virgil or scott no_one wanted to be alan counting down from 5 became an art_form i took my children to see the movie hoping they would get_a_glimpse of what i_loved as a child how bitterly disappointing the only high_point was the snappy theme_tune not that it could compare with the original score of the thunderbirds thankfully early saturday_mornings one television_channel still plays reruns of the series gerry_anderson and his_wife created jonatha frakes should hand in his directors chair of film utter_rubbish a cgi remake may_be acceptable but replacing marionettes with homo_sapiens subsp sapiens was a huge error of judgment'استخدام مقياس تكرار المصطلح - تكرار المستند العكسي في البرمجة الاتجاهية للنصوص Using TF-IDF for Text Vectorizationتكرار الكلمة في المستند لا يُعدُّ دومًا تمثيلاً دقيقًا لأهميتها. الطريقة المُثلى لتمثيل التكرار هي المقياس الشهير لتكرار المصطلح - تكرار المستند العكسي (TF-IDF). يستخدم هذا المقياس صيغة رياضية بسيطة لتحديد أهمية الرموز مثل: الكلمات أو العبارات في المستند بناءً على عاملين: • تكرار الرمز في المستند، بقياس عدد مرات ظهوره في المستند، مقسومًا على إجمالي عدد الرموز في جميع المستندات. • تكرار المستند العكسي للرمز، المحسوب بقسمة إجمالي عدد المستندات في مجموعة البيانات على عدد المستندات التي تحتوي على الرمز. العامل الأول يتجنب المبالغة في تقدير أهمية المصطلحات التي تظهر في الوثائق الأطول. أما العامل الثاني فيستبعد المصطلحات التي تظهر في كثير من المستندات، مما يساعد على إثبات حقيقة أن بعض الكلمات هي أكثر شيوعًا من غيرها.تكرار المصطلح - تكرار المستند العكسي Term Frequency Inverse Document : Frequency (TF-IDF)تكرار المصطلح - تكرار المستند العكسي هو طريقة تستخدم لتحديد أهمية الرموز في المستند.تكرار المستند العكسي = عدد المستندات في الأصل النصي عدد المستندات التي تحتوي على المصطلح تكرار المصطلح = عدد مرات ظهور المصطلح في المستند عدد الكلمات في المستند تكرار المصطلح × تكرار المستند العكسي = القيمةأداة TfidfVectorizerتوفر مكتبة سكيليرن (Sklearn) أداة تدعم هذا النوع من البرمجة الاتجاهية لتكرار المصطلح - تكرار المستند العكسي (TF-IDF). يمكن استخدام أداة TfidfVectorizer لتمثيل عبارة باستخدام المتجهات.from sklearn.feature_extraction.text import TfidfVectorizer # Train a TF-IDF model with the IMDb training dataset vectorizer_tf = TfidfVectorizer(min_df=10) vectorizer_tf.fit(X_train_text_annotated) X_train_tf = vectorizer_tf.transform(X_train_text_annotated)2023 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: شكل 3.13: الكلمات والمصطلحات الواردة في المستند Description: A diagram titled 'الأصل النصي (Corpus)' showing three rectangular blocks representing 'المستند' (Document). Each document block contains multiple horizontal lines, symbolizing text content. Below each 'المستند' block, there are smaller blocks labeled 'الكلمة' (Word) and 'المصطلح' (Term), with the 'المصطلح' block highlighted in pink. This illustrates how words and terms are extracted from documents within a corpus. Key Values: الأصل النصي (Corpus), المستند, الكلمة, المصطلح Context: This diagram visually represents the concept of a text corpus and how individual documents, words, and specific terms are identified within it, which is fundamental to understanding TF-IDF.