التعلم غير الموجه وتقنيات التجميع - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

وإحدى المزايا الرئيسية لاستخدام التعلم غير الموجه هي أنه يمكن استخدامه للكشف عن الأنماط والعلاقات التي قد لا تبدو واضحة على الفور للمراقب البشري. وقد يكون هذا مفيدًا بشكل خاص في فهم مجموعات البيانات الكبيرة المكونة من النصوص غير المتراكبة، حيث يكون التحليل اليدوي غير عملي. في هذه الوحدة، ستستخدم مجموعة بيانات متوافرة للعامة من المقالات الإخبارية من هيئة الإذاعة البريطانية (BBC) بواسطة جرين وكونينجهام (Greene & Cunningham, 2006) لتوضيح بعض التقنيات الرئيسية للتعلم غير الموجه. يُستخدم المقطع البرمجي التالي لتحميل مجموعة البيانات، المنظمة في خمسة مجلدات إخبارية مختلفة تمثل مقالات من أقسام إخبارية مختلفة، هي: الأعمال التجارية، والسياسة، والرياضة، والتقنية، والترفيه. لن تستخدم القيم الخمسة في توجيه أي من الخوارزميات المستخدمة في هذه الوحدة. وبدلاً من ذلك، ستستخدم فقط لأغراض التصوير والمصادقة. يتضمن كل مجلد إخباري مئات الملفات النصية. وكل ملف يتضمن محتوى مقالة واحدة محددة. وقد حُمّلت مجموعة البيانات بالفعل إلى مفكرة جوبيتر (Jupyter Notebook) وستقوم لبنة التعليمات البرمجية بفتح واستخراج كل المستندات والقيم المطلوبة في تركيبتين لبيانات القوائم، على التوالي.

العنقود هو مجموعة من الأشياء المتشابهة. وفي تعلم الآلة، يشير التجميع (Clustering) إلى عملية تجميع البيانات غير المعنونة في عناقيد متجانسة.

شكل 3.16: تمثيل عنقود

BBC open dataset https://www.kaggle.com/datasets/shivamkushwaha/bbc-full-text-document-classification D. Greene and P. Cunningham. "Practical Solutions to the Problem of Diagonal Dominance in Kernel Document Clustering", Proc. ICML 2006. All rights, including copyright, in the content of the original articles are owned by the BBC.

# used to list all the files and subfolders in a given folder from os import listdir # used for generating random number import random shuffling lists bbc_docs=[] # holds the text of the articles bbc_labels=[] # holds the news section for each article for folder in listdir('bbc'): # for each news-section folder for file in listdir('bbc/'+folder): # for each text file in this folder # open the text file, use encoding='utf8' because articles may include non-ascii characters with open('bbc/'+folder+'/'+file,encoding='utf8',errors='ignore') as f: bbc_docs.append(f.read()) # read the text of the article and append to the docs list # use the name of the folder (news section) as a label for this doc bbc_labels.append(folder) # shuffle the docs and labels lists in parallel merged = list(zip(bbc_docs, bbc_labels)) # link the two lists random.shuffle(merged) # shuffle them in parallel (with the same random order) bbc_docs, bbc_labels = zip(*merged) # separate them again into individual lists.

وزارة التعليم 155 Ministry of Education 2023 - 1447

وإحدى المزايا الرئيسية لاستخدام التعلم غير الموجه هي أنه يمكن استخدامه للكشف عن الأنماط والعلاقات التي قد لا تبدو واضحة على الفور للمراقب البشري. وقد يكون هذا مفيدًا بشكل خاص في فهم مجموعات البيانات الكبيرة المكونة من النصوص غير المتراكبة، حيث يكون التحليل اليدوي غير عملي. في هذه الوحدة، ستستخدم مجموعة بيانات متوافرة للعامة من المقالات الإخبارية من هيئة الإذاعة البريطانية (BBC) بواسطة جرين وكونينجهام (Greene & Cunningham, 2006) لتوضيح بعض التقنيات الرئيسية للتعلم غير الموجه. يُستخدم المقطع البرمجي التالي لتحميل مجموعة البيانات، المنظمة في خمسة مجلدات إخبارية مختلفة تمثل مقالات من أقسام إخبارية مختلفة، هي: الأعمال التجارية، والسياسة، والرياضة، والتقنية، والترفيه. لن تستخدم القيم الخمسة في توجيه أي من الخوارزميات المستخدمة في هذه الوحدة. وبدلاً من ذلك، ستستخدم فقط لأغراض التصوير والمصادقة. يتضمن كل مجلد إخباري مئات الملفات النصية. وكل ملف يتضمن محتوى مقالة واحدة محددة. وقد حُمّلت مجموعة البيانات بالفعل إلى مفكرة جوبيتر (Jupyter Notebook) وستقوم لبنة التعليمات البرمجية بفتح واستخراج كل المستندات والقيم المطلوبة في تركيبتين لبيانات القوائم، على التوالي.--- SECTION: العنقود (Cluster): --- العنقود هو مجموعة من الأشياء المتشابهة. وفي تعلم الآلة، يشير التجميع (Clustering) إلى عملية تجميع البيانات غير المعنونة في عناقيد متجانسة.شكل 3.16: تمثيل عنقودBBC open dataset https://www.kaggle.com/datasets/shivamkushwaha/bbc-full-text-document-classification D. Greene and P. Cunningham. "Practical Solutions to the Problem of Diagonal Dominance in Kernel Document Clustering", Proc. ICML 2006. All rights, including copyright, in the content of the original articles are owned by the BBC.# used to list all the files and subfolders in a given folder from os import listdir # used for generating random number import random shuffling lists bbc_docs=[] # holds the text of the articles bbc_labels=[] # holds the news section for each article for folder in listdir('bbc'): # for each news-section folder for file in listdir('bbc/'+folder): # for each text file in this folder# open the text file, use encoding='utf8' because articles may include non-ascii characters with open('bbc/'+folder+'/'+file,encoding='utf8',errors='ignore') as f: bbc_docs.append(f.read()) # read the text of the article and append to the docs list # use the name of the folder (news section) as a label for this doc bbc_labels.append(folder) # shuffle the docs and labels lists in parallel merged = list(zip(bbc_docs, bbc_labels)) # link the two lists random.shuffle(merged) # shuffle them in parallel (with the same random order) bbc_docs, bbc_labels = zip(*merged) # separate them again into individual lists.2023 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: شكل 3.16: تمثيل عنقود Description: A diagram illustrating a cluster, with a central blue circle connected by radiating lines to multiple smaller blue circles arranged in a larger circular pattern around it. This visual represents the concept of a data cluster where similar items are grouped around a central point or theme, as described in the accompanying text. Context: This diagram visually explains the definition of a 'cluster' in the context of machine learning and data analysis, showing how data points can be grouped together based on similarity.