صفحة 138 - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

يعبر هذا التنسيق الكثيف (Dense) للمصفوفة على عمود لكل كلمة تظهر في 10 مراجعات على الأقل (منفذة بواسطة المتغير min_df). كما يتضح من الأعلى، ينتج عن ذلك 23,392 عموداً، مرتبة في ترتيب رقمي. يعبر مدخل المصفوفة في الموضع [i:j] عن عدد المرات التي تظهر فيها كلمة i في المراجعة j. وعلى الرغم من إمكانية استخدام هذه المصفوفة مباشرةً، إلا أنها غير فعالة من حيث استخدام الذاكرة. والنتيجة هي أن غالبية المدخلات في هذه المصفوفة تساوي 0. وهذا يحدث لأن نسبة ضئيلة جداً فقط من بين 23,392 كلمة، تخزن أداة CountVectorizer البيانات غير الصفرية في كل عمود. يستخدم المقطع البرمجي لغة البايثون (Python) بالبايت (Bytes) لتوضيح مدى التوفير في الذاكرة عند استخدام المصفوفة المتفرقة لبيانات IMDb.

from sys import getsizeof print('\nMegaBytes of RAM memory used by the raw text format:', getsizeof(X_train_text)/1000000) print('\nMegaBytes of RAM memory used by the dense matrix format:', getsizeof(X_train_v1_dense)/1000000) print('\nMegaBytes of RAM memory used by the sparse format:', getsizeof(X_train_v1)/1000000)

MegaBytes of RAM memory used by the raw text format: 54.864133 MegaBytes of RAM memory used by the dense matrix format: 7485.440144 MegaBytes of RAM memory used by the sparse format: 4.8e-05

يعبر هذا التنسيق الكثيف (Dense) للمصفوفة على عمود لكل كلمة تظهر في 10 مراجعات على الأقل (منفذة بواسطة المتغير min_df). كما يتضح من الأعلى، ينتج عن ذلك 23,392 عموداً، مرتبة في ترتيب رقمي. يعبر مدخل المصفوفة في الموضع [i:j] عن عدد المرات التي تظهر فيها كلمة i في المراجعة j. وعلى الرغم من إمكانية استخدام هذه المصفوفة مباشرةً، إلا أنها غير فعالة من حيث استخدام الذاكرة. والنتيجة هي أن غالبية المدخلات في هذه المصفوفة تساوي 0. وهذا يحدث لأن نسبة ضئيلة جداً فقط من بين 23,392 كلمة، تخزن أداة CountVectorizer البيانات غير الصفرية في كل عمود. يستخدم المقطع البرمجي لغة البايثون (Python) بالبايت (Bytes) لتوضيح مدى التوفير في الذاكرة عند استخدام المصفوفة المتفرقة لبيانات IMDb. from sys import getsizeof print('\nMegaBytes of RAM memory used by the raw text format:', getsizeof(X_train_text)/1000000) print('\nMegaBytes of RAM memory used by the dense matrix format:', getsizeof(X_train_v1_dense)/1000000) print('\nMegaBytes of RAM memory used by the sparse format:', getsizeof(X_train_v1)/1000000) MegaBytes of RAM memory used by the raw text format: 54.864133 MegaBytes of RAM memory used by the dense matrix format: 7485.440144 MegaBytes of RAM memory used by the sparse format: 4.8e-05 --- VISUAL CONTEXT --- **TABLE**: Untitled Description: No description Table Structure: Headers: 00 | 000 | 007 | 01 | 02 | 04 | 05 | 06 | 07 | 08 | zoom | zooming | zooms | zorro | zu | zueco | zucker | zulu | über Rows: Row 1: 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 2: 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 3: 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 4: 3 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 5: 4 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 6: 39995 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 7: 39996 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 8: 39997 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 9: 39998 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Row 10: 39999 | 0 | 2 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 Calculation needed: Represents sparse data where most values are zero. Context: This table shows a snippet of the sparse matrix data, illustrating that most entries are zero, indicating the efficiency of sparse representation for text data.