تحليل النص باستخدام معالجة اللغة الطبيعية - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

%%capture import nltk # import the nltk library for nlp. import re # import the re library for regular expressions. import numpy as np # used for numeric computations from collections import Counter # used to count the frequency of elements in a given list from sklearn.manifold import TSNE # Tool used for Dimensionality Reduction. # download the 'stopwords' tool from the nltk library. It includes very common words for different languages nltk.download('stopwords') from nltk.corpus import stopwords # import the 'stopwords' tool. stop=set(stopwords.words('english')) # load the set of english stopwords.

تُستخدم الدالة الآتية لاحقًا لتحديد عينة من الكلمات التمثيلية من مجموعة بيانات هيئة الإذاعة البريطانية. يحدّد المقطع البرمجي الكلمات الخمسين الأكثر تكرارًا على وجه التحديد من الأقسام الإخبارية الخمسة لهيئة الإذاعة البريطانية مع استثناء الكلمات المستبعدة (Stopwords) وهي الكلمات الإنجليزية الشائعة جدًا والكلمات التي لم تُضمّن في نموذج الكلمة إلى المتجه (Word2Vec) المدرب مسبقًا.

def get_sample(bbc_docs:list, bbc_labels:list ):

بعض الكلمات الإنجليزية الشائعة التي تُعد كلمات مستبعدة (Stopwords) هي the (ال) و a (أ) و is (يكون) و are (يكونون).

word_sample=set() # a sample of words from the BBC dataset # for each BBC news section for label in ['business', 'entertainment', 'politics', 'sport', 'tech']: # get all the words in this news section, ignore stopwords. # for each BBC doc and for each word in the BBC doc # if the word belongs to the label and is not a stopword and is included in the Word2Vec model label_words=[word for i in range(len(bbc_docs)) for word in re.findall(r'\b\w+\b',bbc_docs[i].lower()) if bbc_labels[i]==label and word not in stop and word in model_wv]

cnt=Counter(label_words) # count the frequency of each word in this news section. # get the top 50 most frequent words in this section. top50=[word for word,freq in cnt.most_common(50)] # add the top50 words to the word sample. word_sample.update(top50)

word_sample=list(word_sample) # convert the set to a list. return word_sample word_sample=get_sample(bbc_docs,bbc_labels)

وزارة التعليم 165 Ministry of Education 2023 - 1447

%%capture import nltk # import the nltk library for nlp. import re # import the re library for regular expressions. import numpy as np # used for numeric computations from collections import Counter # used to count the frequency of elements in a given list from sklearn.manifold import TSNE # Tool used for Dimensionality Reduction.# download the 'stopwords' tool from the nltk library. It includes very common words for different languages nltk.download('stopwords')from nltk.corpus import stopwords # import the 'stopwords' tool.stop=set(stopwords.words('english')) # load the set of english stopwords.تُستخدم الدالة الآتية لاحقًا لتحديد عينة من الكلمات التمثيلية من مجموعة بيانات هيئة الإذاعة البريطانية. يحدّد المقطع البرمجي الكلمات الخمسين الأكثر تكرارًا على وجه التحديد من الأقسام الإخبارية الخمسة لهيئة الإذاعة البريطانية مع استثناء الكلمات المستبعدة (Stopwords) وهي الكلمات الإنجليزية الشائعة جدًا والكلمات التي لم تُضمّن في نموذج الكلمة إلى المتجه (Word2Vec) المدرب مسبقًا.def get_sample(bbc_docs:list, bbc_labels:list ):بعض الكلمات الإنجليزية الشائعة التي تُعد كلمات مستبعدة (Stopwords) هي the (ال) و a (أ) و is (يكون) و are (يكونون).word_sample=set() # a sample of words from the BBC dataset# for each BBC news section for label in ['business', 'entertainment', 'politics', 'sport', 'tech']:# get all the words in this news section, ignore stopwords. # for each BBC doc and for each word in the BBC doc # if the word belongs to the label and is not a stopword and is included in the Word2Vec model label_words=[word for i in range(len(bbc_docs)) for word in re.findall(r'\b\w+\b',bbc_docs[i].lower()) if bbc_labels[i]==label and word not in stop and word in model_wv]cnt=Counter(label_words) # count the frequency of each word in this news section.# get the top 50 most frequent words in this section. top50=[word for word,freq in cnt.most_common(50)] # add the top50 words to the word sample. word_sample.update(top50)word_sample=list(word_sample) # convert the set to a list. return word_sample word_sample=get_sample(bbc_docs,bbc_labels)2023 - 1447