تجميع المستندات وعوامل الجودة - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

تجميع المستندات Document Clustering

الآن بعد تحميل مجموعة البيانات فإن الخطوة التالية هي تجزئة مدة طرائق غير موجهة، ومنها: التجميع الذي يُعدُّ الطريقة غير الموجهة الأكثر شهرة في هذا النطاق. وبالنظر إلى مجموعة من المستندات غير المعنونة، سيكون الهدف هو تجميع الوثائق المتشابهة معًا، وفي الوقت نفسه الفصل بين الوثائق غير المتشابهة.

تجميع المستندات (Document Clustering) تجميع المستندات هو طريقة تستخدم لتجميع المستندات النصية في عناقيد بناءً على تشابه محتواها.

جدول 3.2: العوامل التي تحدد جودة النتائج

1 طريقة تمثيل البيانات بالمتجهات: على الرغم من أن تقنية تكرار المصطلح - تكرار المستند العكسي (TF-IDF) أثبتت كفاءتها وفعاليتها في هذا المجال، إلا أنك ستتعرف في هذه الوحدة على مزيد من البدائل الأكثر تطورًا وتعقيدًا. 2 التعريف الدقيق للتشابه بين مستند وآخر: بالنسبة للبيانات النصية الممثلة بالمتجهات، تكون مقاييس المسافة الإقليدية وجيب التمام هما الأكثر شيوعًا، وسيُستخدم الأول في الأمثلة المشروحة في هذه الوحدة. 3 عدد العناقيد المختارة: يوفر التجميع التكتلي (Agglomerative Clustering - AC) طريقة واضحة لتحديد العدد المناسب من العناقيد ضمن مجموعة محددة من البيانات، وهو التحدي الرئيس الذي يواجه مهام التجميع.

تحديد عدد العناقيد Selecting the Number of Clusters

تحديد العدد الصحيح للعناقيد هو خطوة ضرورية ضمن مهام التجميع. للأسف، تعتمد الغالبية العظمى من خوارزميات التجميع على المستخدم في تحديد عدد العناقيد الصحيحة ضمن المدخلات، ربما يكون للعدد المحدد تأثيرًا كبيرًا على جودة النتائج وقابليتها للتفسير. ولكن هناك العديد من المقاييس أو المؤشرات التي يمكن استخدامها لتحديد عدد العناقيد. • إحدى الطرائق الشائعة هي استخدام مقياس التراص (Compactness). يمكن القيام بذلك عن طريق حساب مجموع المسافات بين النقاط ضمن كل عنقود، وتحديد عدد العناقيد الذي يقلل من هذا المجموع إلى الحد الأدنى. • هناك طريقة أخرى تتلخص في مقياس الفصل (Separation) بين العناقيد، مثل متوسط المسافة بين النقاط في العناقيد المختلفة، وبناء عليه، يتم تحديد عدد العناقيد الذي يرفع من هذا المتوسط. وبشكل عملي، غالبًا ما تتعارض المنهجيات المذكورة بالأعلى مع بعضها من حيث التوصية بأرقام مختلفة، ويمثل هذا تحديًا مشتركًا عند التعامل مع البيانات النصية بشكل خاص، فعادة ما يصعب تمييز تركيبها.

المسافة الإقليدية (Euclidean Distance) المسافة الإقليدية هي مسافة الخط المستقيم بين نقطتين في فضاء متعدد الأبعاد. وتُحسب بالجذر التربيعي لمجموع مربعات الفروقات بين الأبعاد المناظرة للنقاط. تُستخدم المسافة الإقليدية في التجميع لقياس التشابه بين نقطتي بيانات.

مسافة جيب التمام (Cosine Distance) تُستخدم مسافة جيب التمام لقياس التشابه في جيب التمام بين نقطتي البيانات. فهي تحسب جيب تمام الزاوية بين متجهين يمثلان نقاط البيانات، وتُستخدم عادة في تجميع البيانات النصية. وتقع قيمة جيب التمام بين 1- و 1؛ حيث تشير القيمة -1 إلى الاتجاه العكسي، بينما تشير القيمة 1 إلى الاتجاه نفسه.

شكل 3.17: آلة حساب المسافات بين النقاط

وزارة التعليم Ministry of Education 2023 - 1447

156

--- SECTION: تجميع المستندات Document Clustering --- تجميع المستندات Document Clusteringالآن بعد تحميل مجموعة البيانات فإن الخطوة التالية هي تجزئة مدة طرائق غير موجهة، ومنها: التجميع الذي يُعدُّ الطريقة غير الموجهة الأكثر شهرة في هذا النطاق. وبالنظر إلى مجموعة من المستندات غير المعنونة، سيكون الهدف هو تجميع الوثائق المتشابهة معًا، وفي الوقت نفسه الفصل بين الوثائق غير المتشابهة.--- SECTION: تجميع المستندات (Document Clustering) --- تجميع المستندات (Document Clustering) تجميع المستندات هو طريقة تستخدم لتجميع المستندات النصية في عناقيد بناءً على تشابه محتواها.--- SECTION: جدول 3.2: العوامل التي تحدد جودة النتائج --- جدول 3.2: العوامل التي تحدد جودة النتائج1 طريقة تمثيل البيانات بالمتجهات: على الرغم من أن تقنية تكرار المصطلح - تكرار المستند العكسي (TF-IDF) أثبتت كفاءتها وفعاليتها في هذا المجال، إلا أنك ستتعرف في هذه الوحدة على مزيد من البدائل الأكثر تطورًا وتعقيدًا. 2 التعريف الدقيق للتشابه بين مستند وآخر: بالنسبة للبيانات النصية الممثلة بالمتجهات، تكون مقاييس المسافة الإقليدية وجيب التمام هما الأكثر شيوعًا، وسيُستخدم الأول في الأمثلة المشروحة في هذه الوحدة. 3 عدد العناقيد المختارة: يوفر التجميع التكتلي (Agglomerative Clustering - AC) طريقة واضحة لتحديد العدد المناسب من العناقيد ضمن مجموعة محددة من البيانات، وهو التحدي الرئيس الذي يواجه مهام التجميع.--- SECTION: تحديد عدد العناقيد Selecting the Number of Clusters --- تحديد عدد العناقيد Selecting the Number of Clustersتحديد العدد الصحيح للعناقيد هو خطوة ضرورية ضمن مهام التجميع. للأسف، تعتمد الغالبية العظمى من خوارزميات التجميع على المستخدم في تحديد عدد العناقيد الصحيحة ضمن المدخلات، ربما يكون للعدد المحدد تأثيرًا كبيرًا على جودة النتائج وقابليتها للتفسير. ولكن هناك العديد من المقاييس أو المؤشرات التي يمكن استخدامها لتحديد عدد العناقيد. • إحدى الطرائق الشائعة هي استخدام مقياس التراص (Compactness). يمكن القيام بذلك عن طريق حساب مجموع المسافات بين النقاط ضمن كل عنقود، وتحديد عدد العناقيد الذي يقلل من هذا المجموع إلى الحد الأدنى. • هناك طريقة أخرى تتلخص في مقياس الفصل (Separation) بين العناقيد، مثل متوسط المسافة بين النقاط في العناقيد المختلفة، وبناء عليه، يتم تحديد عدد العناقيد الذي يرفع من هذا المتوسط. وبشكل عملي، غالبًا ما تتعارض المنهجيات المذكورة بالأعلى مع بعضها من حيث التوصية بأرقام مختلفة، ويمثل هذا تحديًا مشتركًا عند التعامل مع البيانات النصية بشكل خاص، فعادة ما يصعب تمييز تركيبها.--- SECTION: المسافة الإقليدية (Euclidean Distance) --- المسافة الإقليدية (Euclidean Distance) المسافة الإقليدية هي مسافة الخط المستقيم بين نقطتين في فضاء متعدد الأبعاد. وتُحسب بالجذر التربيعي لمجموع مربعات الفروقات بين الأبعاد المناظرة للنقاط. تُستخدم المسافة الإقليدية في التجميع لقياس التشابه بين نقطتي بيانات.--- SECTION: مسافة جيب التمام (Cosine Distance) --- مسافة جيب التمام (Cosine Distance) تُستخدم مسافة جيب التمام لقياس التشابه في جيب التمام بين نقطتي البيانات. فهي تحسب جيب تمام الزاوية بين متجهين يمثلان نقاط البيانات، وتُستخدم عادة في تجميع البيانات النصية. وتقع قيمة جيب التمام بين 1- و 1؛ حيث تشير القيمة -1 إلى الاتجاه العكسي، بينما تشير القيمة 1 إلى الاتجاه نفسه.--- SECTION: شكل 3.17: آلة حساب المسافات بين النقاط --- شكل 3.17: آلة حساب المسافات بين النقاط--- VISUAL CONTEXT --- **TABLE**: جدول 3.2: العوامل التي تحدد جودة النتائج Description: A table listing three factors that determine the quality of clustering results, with each factor described in detail. Table Structure: Headers: الرقم | العامل / الوصف Rows: Row 1: 1 | طريقة تمثيل البيانات بالمتجهات: على الرغم من أن تقنية تكرار المصطلح - تكرار المستند العكسي (TF-IDF) أثبتت كفاءتها وفعاليتها في هذا المجال، إلا أنك ستتعرف في هذه الوحدة على مزيد من البدائل الأكثر تطورًا وتعقيدًا. Row 2: 2 | التعريف الدقيق للتشابه بين مستند وآخر: بالنسبة للبيانات النصية الممثلة بالمتجهات، تكون مقاييس المسافة الإقليدية وجيب التمام هما الأكثر شيوعًا، وسيُستخدم الأول في الأمثلة المشروحة في هذه الوحدة. Row 3: 3 | عدد العناقيد المختارة: يوفر التجميع التكتلي (Agglomerative Clustering - AC) طريقة واضحة لتحديد العدد المناسب من العناقيد ضمن مجموعة محددة من البيانات، وهو التحدي الرئيس الذي يواجه مهام التجميع. Data: The table outlines three key factors: 1. Data representation method (mentioning TF-IDF and other advanced alternatives). 2. Precise definition of similarity between documents (highlighting Euclidean and Cosine distances). 3. Number of selected clusters (referencing Agglomerative Clustering and the challenge of determining the optimal number). Key Values: TF-IDF, Euclidean Distance, Cosine Distance, Agglomerative Clustering (AC) Context: This table provides a structured overview of the critical factors that influence the quality and effectiveness of document clustering, setting the stage for understanding the underlying principles and challenges in the field.**DIAGRAM**: شكل 3.17: آلة حساب المسافات بين النقاط Description: A conceptual diagram illustrating the calculation of distances between data points. It shows a central cluster of blue points, with dashed lines extending from them to surrounding white points, representing the distances being measured. The blue points are interconnected, suggesting a cluster, while the white points are external or part of other potential clusters. Context: This diagram visually supports the discussion on distance metrics (like Euclidean and Cosine Distance) used in clustering. It helps to understand how proximity between points is assessed to form clusters, which is a fundamental concept in data analysis and machine learning.