دالة Paraphrase() في معالجة النصوص - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

دالة Paraphrase() fx

تقسم الدالة في البداية النص المكون من فقرة إلى مجموعة من الجمل. ثم تحاول استبدال كل كلمة في الجملة بكلمة أخرى متشابهة دلالياً. يُقيّم التشابه الدلالي بواسطة نموذج الكلمة إلى المتجه (Word2Vec) الذي درسته في الدرس السابق. قد يوصي نموذج الكلمة إلى المتجه (Word2Vec) باستبدال الكلمة في الجملة بكلمة أخرى مشابهة لها، مثل: استبدال apple (تفاحة) بـ apples (تفاح). ولتجنب مثل هذه الحالات تُستخدم دالة مكتبة fuzzywuzzy الشهيرة لتقييم تشابه المفردات بين الكلمة الأصلية والكلمة البديلة. الدالة نفسها موضحة بالأسفل:

def paraphrase(text:str, # text to be paraphrased stop:set, # set of stopwords model_wv, # Word2Vec Model lexical_sim_ubound:float, # upper bound on lexical similarity semantic_sim_lbound:float # lower bound on semantic similarity ): words=word_tokenize(text) # tokenizes the text to words new_words=[] # new words that will replace the old ones. for word in words: # for every word in the text word_l=word.lower() # lower-case the word. # if the word is a stopword or is not included in the Word2Vec model, do not try to replace it. if word_l in stop or word_l not in model_wv: new_words.append(word) # append the original word else: # otherwise # get the 10 most similar words, as per the Word2Vec model. # returned words are sorted from most to least similar to the original. # semantic similarity is always between 0 and 1. replacement_words=model_wv.most_similar(positive=[word_l], topn=10) # for each candidate replacement word for rword, sem_sim in replacement_words: # get the lexical similarity between the candidate and the original word. # the partial_ratio function returns values between 0 and 100. # it compares the shorter of the two words with all equal-sized substrings # of the original word. lex_sim=fuzz.partial_ratio(word_l,rword) # if the lexical sim is less than the bound, stop and use this candidate. if lex_sim<lexical_sim_ubound: break

fuzzywuzzy تشير إلى مكتبة fuzzywuzzy

وزارة التعليم 175 Ministry of Education 2023 - 1447

--- SECTION: دالة Paraphrase() --- دالة Paraphrase() fxتقسم الدالة في البداية النص المكون من فقرة إلى مجموعة من الجمل. ثم تحاول استبدال كل كلمة في الجملة بكلمة أخرى متشابهة دلالياً. يُقيّم التشابه الدلالي بواسطة نموذج الكلمة إلى المتجه (Word2Vec) الذي درسته في الدرس السابق. قد يوصي نموذج الكلمة إلى المتجه (Word2Vec) باستبدال الكلمة في الجملة بكلمة أخرى مشابهة لها، مثل: استبدال apple (تفاحة) بـ apples (تفاح). ولتجنب مثل هذه الحالات تُستخدم دالة مكتبة fuzzywuzzy الشهيرة لتقييم تشابه المفردات بين الكلمة الأصلية والكلمة البديلة. الدالة نفسها موضحة بالأسفل:def paraphrase(text:str, # text to be paraphrased stop:set, # set of stopwords model_wv, # Word2Vec Model lexical_sim_ubound:float, # upper bound on lexical similarity semantic_sim_lbound:float # lower bound on semantic similarity ):words=word_tokenize(text) # tokenizes the text to words new_words=[] # new words that will replace the old ones.for word in words: # for every word in the text word_l=word.lower() # lower-case the word.# if the word is a stopword or is not included in the Word2Vec model, do not try to replace it. if word_l in stop or word_l not in model_wv: new_words.append(word) # append the original word else: # otherwise# get the 10 most similar words, as per the Word2Vec model. # returned words are sorted from most to least similar to the original. # semantic similarity is always between 0 and 1. replacement_words=model_wv.most_similar(positive=[word_l], topn=10)# for each candidate replacement word for rword, sem_sim in replacement_words: # get the lexical similarity between the candidate and the original word. # the partial_ratio function returns values between 0 and 100. # it compares the shorter of the two words with all equal-sized substrings # of the original word. lex_sim=fuzz.partial_ratio(word_l,rword)# if the lexical sim is less than the bound, stop and use this candidate. if lex_sim<lexical_sim_ubound: break fuzzywuzzy تشير إلى مكتبة fuzzywuzzy2023 - 1447--- VISUAL CONTEXT --- **FIGURE**: Python code for paraphrase function Description: A Python code listing defining the `paraphrase` function. It takes text, stopwords, a Word2Vec model, and lexical/semantic similarity bounds as input. It tokenizes the text, iterates through words, converts them to lowercase, and checks if they are stopwords or not in the Word2Vec model. If not, it attempts to find the 10 most similar words using Word2Vec and then iterates through these candidates to find one with a lexical similarity (using fuzzywuzzy's partial_ratio) below a specified upper bound, breaking the loop once found. Key Values: def paraphrase(text:str, stop:set, model_wv, lexical_sim_ubound:float, semantic_sim_lbound:float), words=word_tokenize(text), new_words=[], for word in words:, word_l=word.lower(), if word_l in stop or word_l not in model_wv:, new_words.append(word), else:, replacement_words=model_wv.most_similar(positive=[word_l], topn=10), for rword, sem_sim in replacement_words:, lex_sim=fuzz.partial_ratio(word_l,rword), if lex_sim<lexical_sim_ubound: break Context: This code block provides the implementation details for the text paraphrasing function discussed in the accompanying Arabic text, demonstrating how Word2Vec and fuzzywuzzy libraries are used for semantic and lexical similarity checks.**FIGURE**: fuzzywuzzy library reference Description: A blue-bordered callout box with an arrow pointing to the 'fuzzywuzzy' part of the code, clarifying that 'fuzzywuzzy' refers to the fuzzywuzzy library. Key Values: fuzzywuzzy Context: This visual element clarifies the meaning of 'fuzzywuzzy' as a library used within the Python code for lexical similarity calculations.