دالة Evaluate_sentences لتقييم أهمية الجمل - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

word_to_community, community_scores = get_communities(G,tokenized_doc) word_to_community['player'][:10] # prints 10 words from the community of the word 'team'

('champion', 'stretch', 'finished', 'fifth', 'playing', 'scoring', 'scorer', 'opening', 'team', 'win')

الآن بعد ربط كل الكلمات بالمجتمع، وربط المجتمع بمؤشر الأهمية، ستكون الخطوة التالية هي استخدام هذه المعلومات لتقييم أهمية كل جملة في المستند الأصلي. دالة ()evaluate_sentences مصممة لهذا الغرض.

دالة Evaluate_sentences()

تبدأ الدالة بتقسيم المستند إلى جمل، ثم حساب مؤشر الأهمية لكل جملة، استنادًا إلى الكلمات التي تتضمنها. تكتسب كل كلمة مؤشر الأهمية من المجتمع الذي تنتمي إليه. على سبيل المثال، لديك جملة مكونة من خمسة كلمات W1, W2, W3, W4, W5. الكلمتان W1 و W2 تنتميان إلى مجتمع بمؤشر قيمته 25، والكلمتان W3 و W4 تنتميان إلى مجتمع بمؤشر قيمته 30، والكلمة W5 تنتمي إلى مجتمع بمؤشر قيمته 15. مجموع مؤشرات الجمل هو 25+30+30+25+15=125. تُستخدم الدالة بعد ذلك هذه المؤشرات لتصنيف الجمل في ترتيب تنازلي، من الأكثر إلى الأقل أهمية.

from nltk import sent_tokenize # used to split a document into sentences def evaluate_sentences(doc:str, # original document word_to_community:dict, # maps each word to its community community_scores:dict, # maps each community to a score model_wv): # Word2Vec model # splits the text into sentences sentences=sent_tokenize(doc) scored_sentences=[]# stores (sentence, score) tuples for raw_sent in sentences: # for each sentence # get all the words in the sentence, ignore stopwords and focus only on words that are in the # Word2Vec model. sentence_words=[word for word in re.findall(r'\b\w\w+\b',raw_sent.lower()) # tokenizes if word not in stop and # ignores stopwords

وزارة التعليم Ministry of Education 2023 - 1447

180

word_to_community, community_scores = get_communities(G,tokenized_doc) word_to_community['player'][:10] # prints 10 words from the community of the word 'team'('champion', 'stretch', 'finished', 'fifth', 'playing', 'scoring', 'scorer', 'opening', 'team', 'win')الآن بعد ربط كل الكلمات بالمجتمع، وربط المجتمع بمؤشر الأهمية، ستكون الخطوة التالية هي استخدام هذه المعلومات لتقييم أهمية كل جملة في المستند الأصلي. دالة ()evaluate_sentences مصممة لهذا الغرض.--- SECTION: دالة Evaluate_sentences() --- دالة Evaluate_sentences()تبدأ الدالة بتقسيم المستند إلى جمل، ثم حساب مؤشر الأهمية لكل جملة، استنادًا إلى الكلمات التي تتضمنها. تكتسب كل كلمة مؤشر الأهمية من المجتمع الذي تنتمي إليه. على سبيل المثال، لديك جملة مكونة من خمسة كلمات W1, W2, W3, W4, W5. الكلمتان W1 و W2 تنتميان إلى مجتمع بمؤشر قيمته 25، والكلمتان W3 و W4 تنتميان إلى مجتمع بمؤشر قيمته 30، والكلمة W5 تنتمي إلى مجتمع بمؤشر قيمته 15. مجموع مؤشرات الجمل هو 25+30+30+25+15=125. تُستخدم الدالة بعد ذلك هذه المؤشرات لتصنيف الجمل في ترتيب تنازلي، من الأكثر إلى الأقل أهمية.from nltk import sent_tokenize # used to split a document into sentences def evaluate_sentences(doc:str, # original document word_to_community:dict, # maps each word to its community community_scores:dict, # maps each community to a score model_wv): # Word2Vec model# splits the text into sentences sentences=sent_tokenize(doc) scored_sentences=[]# stores (sentence, score) tuples for raw_sent in sentences: # for each sentence# get all the words in the sentence, ignore stopwords and focus only on words that are in the # Word2Vec model. sentence_words=[word for word in re.findall(r'\b\w\w+\b',raw_sent.lower()) # tokenizes if word not in stop and # ignores stopwords2023 - 1447