تطبيق T-SNE على بيانات BBC النصية - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

إحدى الخصائص الرئيسية لتقنية تضمين المجاور العشوائي الموزع على شكل T (T-SNE) هي محاولة الحفاظ على التركيب المحلي للبيانات قدر الإمكان، حتى تقارب نقاط البيانات الشبيهة في التمثيل منخفض الأبعاد، ويتحقق ذلك بتقليص التباعد بين التوزيعين المحتملين: توزيع البيانات عالية الأبعاد، وتوزيع البيانات منخفضة الأبعاد. مجموعة بيانات هيئة الإذاعة البريطانية الممثلة بالمتجهات تُصنّف بالتأكيد كبيانات عالية الأبعاد، لأنها تتضمن بعدًا مستقلاً أي عمودًا (Column) لكل كلمة فريدة تظهر في البيانات. يُحسب العدد الإجمالي للأبعاد كما يلي:

print('Number of unique words in the BBC documents vectors:', len(vectorizer.get_feature_names_out()))

Number of unique words in the BBC documents vectors: 5867

يُستخدم المقطع البرمجي التالي لإسقاط 5,867 بعدًا في محورين فقط وهما محوري X و Y في الرسم البياني. يُستخدم المقطع البرمجي التالي لتصميم مخطط الانتشار حيث يمثل كل لون أحد الأقسام الإخبارية الخمسة.

tsne = TSNEVisualizer(colors=['blue', 'green', 'red', 'yellow', 'brown']) tsne.fit(text_tfidf,bbc_labels) tsne.show();

شكل 3.18: إسقاط تضمين المجاور العشوائي الموزع على شكل T (T-SNE)

يُستخدم هذا التصور قيمة ground-truth (بيانات الحقيقة المعتمدة) من القسم الإخباري (News Section) في كل مستند للكشف عن انتشار كل قيمة في إسقاط فضاء البرمجة الاتجاهية ثنائي الأبعاد. يوضح الشكل أنه على الرغم من ظهور بعض الشوائب في فراغات محددة من فضاء البيانات، إلا أن الأقسام الإخبارية الخمسة منفصلة بشكل جيد. وسنستعرض لاحقًا البرمجة الاتجاهية المحسّنة للحد من هذه الشوائب.

وزارة التعليم Ministry of Education 159 2025 - 1447

--- SECTION: EMPTY --- إحدى الخصائص الرئيسية لتقنية تضمين المجاور العشوائي الموزع على شكل T (T-SNE) هي محاولة الحفاظ على التركيب المحلي للبيانات قدر الإمكان، حتى تقارب نقاط البيانات الشبيهة في التمثيل منخفض الأبعاد، ويتحقق ذلك بتقليص التباعد بين التوزيعين المحتملين: توزيع البيانات عالية الأبعاد، وتوزيع البيانات منخفضة الأبعاد. مجموعة بيانات هيئة الإذاعة البريطانية الممثلة بالمتجهات تُصنّف بالتأكيد كبيانات عالية الأبعاد، لأنها تتضمن بعدًا مستقلاً أي عمودًا (Column) لكل كلمة فريدة تظهر في البيانات. يُحسب العدد الإجمالي للأبعاد كما يلي:--- SECTION: EMPTY --- print('Number of unique words in the BBC documents vectors:', len(vectorizer.get_feature_names_out()))--- SECTION: EMPTY --- Number of unique words in the BBC documents vectors: 5867--- SECTION: EMPTY --- يُستخدم المقطع البرمجي التالي لإسقاط 5,867 بعدًا في محورين فقط وهما محوري X و Y في الرسم البياني. يُستخدم المقطع البرمجي التالي لتصميم مخطط الانتشار حيث يمثل كل لون أحد الأقسام الإخبارية الخمسة.--- SECTION: EMPTY --- tsne = TSNEVisualizer(colors=['blue', 'green', 'red', 'yellow', 'brown']) tsne.fit(text_tfidf,bbc_labels) tsne.show();--- SECTION: شكل 3.18 --- شكل 3.18: إسقاط تضمين المجاور العشوائي الموزع على شكل T (T-SNE)--- SECTION: EMPTY --- يُستخدم هذا التصور قيمة ground-truth (بيانات الحقيقة المعتمدة) من القسم الإخباري (News Section) في كل مستند للكشف عن انتشار كل قيمة في إسقاط فضاء البرمجة الاتجاهية ثنائي الأبعاد. يوضح الشكل أنه على الرغم من ظهور بعض الشوائب في فراغات محددة من فضاء البيانات، إلا أن الأقسام الإخبارية الخمسة منفصلة بشكل جيد. وسنستعرض لاحقًا البرمجة الاتجاهية المحسّنة للحد من هذه الشوائب.--- SECTION: EMPTY --- 2025 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: TSNE Projection of 2225 Documents Description: A 2D scatter plot showing the t-SNE projection of 2225 documents, colored by their respective news categories. The plot displays distinct clusters for each category, indicating good separation, though some outliers are present. Table Structure: Headers: N/A Rows: Calculation needed: EMPTY X-axis: EMPTY Y-axis: EMPTY Data: The plot shows 2225 data points, each representing a document, projected into a two-dimensional space. The points are colored according to their original classification into five news categories: business (blue), entertainment (green), politics (red), sport (yellow), and tech (brown). The visualization demonstrates that documents from the same category tend to cluster together, forming visually distinct groups, with some overlap or 'noise' in specific areas. Key Values: business (blue), entertainment (green), politics (red), sport (yellow), tech (brown) Context: This t-SNE projection demonstrates the effectiveness of dimensionality reduction in visualizing high-dimensional text data, showing how documents from different news categories can be separated into distinct clusters in a 2D space, aiding in understanding data structure and identifying potential outliers or noise.