تقييم جودة تجميع البيانات باستخدام مقاييس sklearn - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

يستخدم المقطع البرمجي التالي قيم بيانات الحقيقة المعتمدة وثلاثة دوال مختلفة لتسجيل النقاط من مكتبة سكيليرن (sklearn) لتقييم جودة تجميع البيانات:

تكون قيم مؤشر التجانس (Homogeneity Score) بين 0 و 1 ويمكن زيادة هذه القيم عندما تكون كل النقاط في كل عنقود لها قيمة بيانات الحقيقة المعتمدة. وبالمثل، يحتوي كل عنقود على نقاط البيانات وحيدة التصنيف.

تكون قيمة مؤشر راند المعدل (Adjusted Rand Score) بين 0.5- و 1.0 ويمكن زيادة هذه القيم عندما تقع كل نقاط البيانات ذات القيم نفسها في العنقود نفسه وكل نقاط البيانات ذات القيم المختلفة في عناقيد مختلفة.

تكون قيمة مؤشر الاكتمال (Completeness Score) بين 0 و 1 ويمكن زيادة هذه القيمة بتعيين كل نقاط البيانات من تصنيف محدد في العنقود نفسه.

from sklearn.metrics import homogeneity_score,adjusted_rand_score,completeness_score print('\nHomogeneity score:',homogeneity_score(bbc_labels,pred_tfidf)) print('\nAdjusted Rand score:',adjusted_rand_score(bbc_labels,pred_tfidf)) print('\nCompleteness score:',completeness_score(bbc_labels,pred_tfidf))

Homogeneity score: 0.6224333236569846 Adjusted Rand score: 0.4630492696176891 Completeness score: 0.5430590192420555

المؤشر أقرب إلى 1 وهذا يعني أن مجموعة النصوص في العنقود تنتمي إلى قيمة واحدة.

المؤشر أقرب إلى 1 وهذا يعني إنشاء روابط أفضل بين العناقيد والقيم؛ كل على حده.

لاستكمال تحليل البيانات، يُعاد تجميع البيانات باستخدام 5 عناقيد، بالتساوي مع العدد الحقيقي لقيم (بيانات الحقيقة المعتمدة):

AC_tfidf=AgglomerativeClustering(linkage='ward',n_clusters=5) AC_tfidf.fit(text_tfidf.toarray()) pred_tfidf=AC_tfidf.labels_ print('\nHomogeneity score:',homogeneity_score(bbc_labels,pred_tfidf)) print('\nAdjusted Rand score:',adjusted_rand_score(bbc_labels,pred_tfidf)) print('\nCompleteness score:',completeness_score(bbc_labels,pred_tfidf))

Homogeneity score: 0.528836079209762 Adjusted Rand score: 0.45628412883628383 Completeness score: 0.6075627851312266

نظرًا لقدرة التجميع الهرمي على إيجاد العدد الحقيقي من القيم، وتوفير مؤشر اكتمال أكثر دقة، ستحصل على عملية تجميع أفضل من حيث تمثيل البيانات.

على الرغم من أن النتائج المؤشر تظهر أن التجميع التكتلي باستخدام البرمجة الاتجاهية لتكرار المصطلح العكسي (TF-IDF) تحقق نتائج معقولة، إلا أنه لا يزال بالإمكان تحسين دقة عملية التجميع. سيوضح القسم التالي كيف يمكن أن نحقق نتائج مبهرة باستخدام تقنيات البرمجة الاتجاهية المستندة على الشبكات العصبية.

وزارة التعليم Ministry of Education 2025 - 1447

162

يستخدم المقطع البرمجي التالي قيم بيانات الحقيقة المعتمدة وثلاثة دوال مختلفة لتسجيل النقاط من مكتبة سكيليرن (sklearn) لتقييم جودة تجميع البيانات:--- SECTION: تكون قيم مؤشر التجانس (Homogeneity Score) --- تكون قيم مؤشر التجانس (Homogeneity Score) بين 0 و 1 ويمكن زيادة هذه القيم عندما تكون كل النقاط في كل عنقود لها قيمة بيانات الحقيقة المعتمدة. وبالمثل، يحتوي كل عنقود على نقاط البيانات وحيدة التصنيف.--- SECTION: تكون قيمة مؤشر راند المعدل (Adjusted Rand Score) --- تكون قيمة مؤشر راند المعدل (Adjusted Rand Score) بين 0.5- و 1.0 ويمكن زيادة هذه القيم عندما تقع كل نقاط البيانات ذات القيم نفسها في العنقود نفسه وكل نقاط البيانات ذات القيم المختلفة في عناقيد مختلفة.--- SECTION: تكون قيمة مؤشر الاكتمال (Completeness Score) --- تكون قيمة مؤشر الاكتمال (Completeness Score) بين 0 و 1 ويمكن زيادة هذه القيمة بتعيين كل نقاط البيانات من تصنيف محدد في العنقود نفسه.--- SECTION: Python Code Example 1 --- from sklearn.metrics import homogeneity_score,adjusted_rand_score,completeness_score print('\nHomogeneity score:',homogeneity_score(bbc_labels,pred_tfidf)) print('\nAdjusted Rand score:',adjusted_rand_score(bbc_labels,pred_tfidf)) print('\nCompleteness score:',completeness_score(bbc_labels,pred_tfidf))--- SECTION: Output Scores 1 --- Homogeneity score: 0.6224333236569846 Adjusted Rand score: 0.4630492696176891 Completeness score: 0.5430590192420555المؤشر أقرب إلى 1 وهذا يعني أن مجموعة النصوص في العنقود تنتمي إلى قيمة واحدة.المؤشر أقرب إلى 1 وهذا يعني إنشاء روابط أفضل بين العناقيد والقيم؛ كل على حده.لاستكمال تحليل البيانات، يُعاد تجميع البيانات باستخدام 5 عناقيد، بالتساوي مع العدد الحقيقي لقيم (بيانات الحقيقة المعتمدة):--- SECTION: Python Code Example 2 --- AC_tfidf=AgglomerativeClustering(linkage='ward',n_clusters=5) AC_tfidf.fit(text_tfidf.toarray()) pred_tfidf=AC_tfidf.labels_print('\nHomogeneity score:',homogeneity_score(bbc_labels,pred_tfidf)) print('\nAdjusted Rand score:',adjusted_rand_score(bbc_labels,pred_tfidf)) print('\nCompleteness score:',completeness_score(bbc_labels,pred_tfidf))--- SECTION: Output Scores 2 --- Homogeneity score: 0.528836079209762 Adjusted Rand score: 0.45628412883628383 Completeness score: 0.6075627851312266نظرًا لقدرة التجميع الهرمي على إيجاد العدد الحقيقي من القيم، وتوفير مؤشر اكتمال أكثر دقة، ستحصل على عملية تجميع أفضل من حيث تمثيل البيانات.على الرغم من أن النتائج المؤشر تظهر أن التجميع التكتلي باستخدام البرمجة الاتجاهية لتكرار المصطلح العكسي (TF-IDF) تحقق نتائج معقولة، إلا أنه لا يزال بالإمكان تحسين دقة عملية التجميع. سيوضح القسم التالي كيف يمكن أن نحقق نتائج مبهرة باستخدام تقنيات البرمجة الاتجاهية المستندة على الشبكات العصبية.2025 - 1447