التجميع التكتلي ودالة Linkage في البايثون - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

التجميع التكتلي (AC)

التجميع التكتلي (AC) هو الطريقة الأكثر انتشارًا وفعالية في هذا الفضاء، فمن خلالها يمكن التغلب على هذا التحدي بتوفير طريقة واضحة لتحديد العدد المناسب من العناقيد. يستند التجميع التكتلي (AC) إلى منهجية التصميم من أسفل إلى أعلى، حيث تبدأ بحساب المسافة بين كل أزواج نقاط البيانات، ثم اختيار النقطتين الأقرب ودمجهما في عنقود واحد. تتكرر هذه العملية حتى تدمج كل نقاط البيانات في عنقود واحد، أو حتى الوصول إلى العدد المطلوب من العناقيد.

دالة Linkage()

تنفذ لغة البايثون التجميع التكتلي (AC) باستخدام دالة (linkage). يجب توفير متغيرين لدالة (linkage): • البيانات النصية الممثلة بالمتجهات، ويمكن استخدام دالة ()toarray لتحويل البيانات إلى تنسيق كثيف يمكن لهذه الدالة أن تتعامل معه. • مقياس المسافة الذي يجب استخدامه لتحديد العناقيد التي ستدمج أثناء عملية التجميع التكتلي. تتوفر عدة خيارات من مقاييس المسافة للاختيار من بينها وفقًا لمتطلبات وتفضيلات المستخدم، مثل المسافة الإقليدية (Euclidean)، ومسافة مانهاتن (Manhattan) ... إلخ. ولكن في هذا المشروع ستستخدم طريقة وارد (ward) القياسية. يستخدم المقطع البرمجي التالي دالة (linkage) من الأداة الهرمية (Hierarchy) الواردة بالأعلى لتطبيق هذه العملية على بيانات هيئة الإذاعة البريطانية الممثلة بالمتجهات:

plt.figure() # create a new empty figure # iteratively merge points and clusters until all points belong to a single cluster # return the linkage of the produced tree linkage_tfidf=hierarchy.linkage(text_tfidf.toarray(),method='ward') # visualize the linkage hierarchy.dendrogram(linkage_tfidf) # show the figure plt.show()

شكل 3.19: التجميع التكتلي (AC)

شكل 3.20: الرسم الشجري الهرمي لبيانات هيئة الإذاعة البريطانية

وزارة التعليم

Ministry of Education

2025 - 1447

160

--- SECTION: التجميع التكتلي (AC) --- التجميع التكتلي (AC)التجميع التكتلي (AC) هو الطريقة الأكثر انتشارًا وفعالية في هذا الفضاء، فمن خلالها يمكن التغلب على هذا التحدي بتوفير طريقة واضحة لتحديد العدد المناسب من العناقيد. يستند التجميع التكتلي (AC) إلى منهجية التصميم من أسفل إلى أعلى، حيث تبدأ بحساب المسافة بين كل أزواج نقاط البيانات، ثم اختيار النقطتين الأقرب ودمجهما في عنقود واحد. تتكرر هذه العملية حتى تدمج كل نقاط البيانات في عنقود واحد، أو حتى الوصول إلى العدد المطلوب من العناقيد.--- SECTION: دالة Linkage() --- دالة Linkage()تنفذ لغة البايثون التجميع التكتلي (AC) باستخدام دالة (linkage). يجب توفير متغيرين لدالة (linkage): • البيانات النصية الممثلة بالمتجهات، ويمكن استخدام دالة ()toarray لتحويل البيانات إلى تنسيق كثيف يمكن لهذه الدالة أن تتعامل معه. • مقياس المسافة الذي يجب استخدامه لتحديد العناقيد التي ستدمج أثناء عملية التجميع التكتلي. تتوفر عدة خيارات من مقاييس المسافة للاختيار من بينها وفقًا لمتطلبات وتفضيلات المستخدم، مثل المسافة الإقليدية (Euclidean)، ومسافة مانهاتن (Manhattan) ... إلخ. ولكن في هذا المشروع ستستخدم طريقة وارد (ward) القياسية. يستخدم المقطع البرمجي التالي دالة (linkage) من الأداة الهرمية (Hierarchy) الواردة بالأعلى لتطبيق هذه العملية على بيانات هيئة الإذاعة البريطانية الممثلة بالمتجهات:plt.figure() # create a new empty figure # iteratively merge points and clusters until all points belong to a single cluster # return the linkage of the produced tree linkage_tfidf=hierarchy.linkage(text_tfidf.toarray(),method='ward') # visualize the linkage hierarchy.dendrogram(linkage_tfidf) # show the figure plt.show()--- SECTION: شكل 3.19: التجميع التكتلي (AC) --- شكل 3.19: التجميع التكتلي (AC)--- SECTION: شكل 3.20: الرسم الشجري الهرمي لبيانات هيئة الإذاعة البريطانية --- شكل 3.20: الرسم الشجري الهرمي لبيانات هيئة الإذاعة البريطانية2025 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: شكل 3.19: التجميع التكتلي (AC) Description: A dendrogram illustrating the agglomerative clustering process. It shows how individual data points (labeled 'a' through 'i') are progressively merged into clusters across six hierarchical levels. The horizontal dashed lines indicate the different levels of clustering, from المستوى الأول (Level 1) at the bottom to المستوى السادس (Level 6) at the top. X-axis: Data Points (a-i) Y-axis: Clustering Level Data: The dendrogram starts with 9 individual data points (a, b, c, d, e, f, g, h, i) at Level 1. As the clustering progresses upwards, points are merged based on their proximity. For example, 'a' and 'b' merge, 'c' and 'd' merge, 'f' and 'g' merge. These merged clusters then combine further at higher levels, eventually forming a single cluster at Level 6. Key Values: Data points: a, b, c, d, e, f, g, h, i, Levels: المستوى الأول, المستوى الثاني, المستوى الثالث, المستوى الرابع, المستوى الخامس, المستوى السادس Context: This visual element demonstrates the step-by-step process of agglomerative hierarchical clustering, showing how individual data points are grouped into larger clusters based on their similarity or distance, forming a tree-like structure.**DIAGRAM**: شكل 3.20: الرسم الشجري الهرمي لبيانات هيئة الإذاعة البريطانية Description: A complex dendrogram showing hierarchical clustering for a larger dataset, likely related to British Broadcasting Corporation data. The dendrogram displays numerous data points clustered into distinct groups, indicated by different colors (blue, green, yellow, red, purple, orange). The y-axis represents the distance or dissimilarity between clusters, with a scale ranging from 0 to approximately 6. The x-axis represents the individual data points or sub-clusters. X-axis: Data Points/Clusters Y-axis: Distance Data: The dendrogram shows a large number of data points at the base, which are progressively merged into larger clusters. Distinct clusters are highlighted with different colors: a blue cluster on the far left, followed by green, yellow, red, purple, and orange clusters. The height of the merges on the y-axis indicates the distance at which clusters were combined. The overall structure suggests several major groupings within the dataset. Key Values: Y-axis range: 0 to ~6 (Distance), Multiple colored clusters: blue, green, yellow, red, purple, orange Context: This visual element provides a real-world example of hierarchical clustering applied to a substantial dataset, demonstrating how complex data can be organized into meaningful clusters based on their inherent structure and relationships.