المحولات ونموذج GPT-2 - كتاب الذكاء الإصطناعي - الصف 12 - الفصل 1 - المملكة العربية السعودية

--- SECTION: المحولات Transformers --- المحولات Transformersالمحولات مناسبة لمهام توليد اللغات الطبيعية لقدرتها على معالجة البيانات المدخلة المتسلسلة بكفاءة. في نموذج المحولات، تمرر البيانات المدخلة عبر المرمز الذي يحول المدخلات إلى تمثيل مستمر، ثم يمرر التمثيل عبر مفكك الترميز الذي يولد التسلسل المخرج. إحدى الخصائص الرئيسة لهذه النماذج هي استخدام آليات الانتباه التي تسمح للنموذج بالتركيز على الأجزاء المهمة من التسلسل في حين تتجاهل الأجزاء الأقل دلالة. أظهرت نماذج المحولات كفاءة عالية في توليد النص للعديد من مهام توليد اللغات الطبيعية بما في ذلك ترجمة الآلة، والتلخيص، والإجابة على الأسئلة.--- SECTION: نموذج الإصدار الثاني من المحول التوليدي مسبق التدريب GPT-2 Model --- نموذج الإصدار الثاني من المحول التوليدي مسبق التدريب GPT-2 Modelفي هذا القسم، سنستخدم الإصدار الثاني من المحول التوليدي مسبق التدريب (2-GPT) وهو نموذج لغوي قوي طورته شركة أوبن إي آي (OpenAI) لتوليد النصوص المستندة إلى النص التلقيني المدخل بواسطة المستخدم. الإصدار الثاني من المحول التوليدي مسبق التدريب (2-GPT) (Generative Pre-training Transformer 2 - GPT-2) مدرب على مجموعة بيانات تضم أكثر من ثمان ملايين صفحة ويب ويتميز بالقدرة على إنشاء النصوص البشرية بعدة لغات وأساليب. بنية الإصدار الثاني من المحول التوليدي مسبق التدريب (2-GPT) المبنية على المحول تسمح بتحديد التبعيات (Dependencies) بعيدة المدى وتوليد النصوص المتسقة، وهو مدرب للتنبؤ بالكلمة التالية وفقًا لكل الكلمات السابقة ضمن النص. وبالتالي، يمكن استخدام النموذج لتوليد نصوص طويلة جدًا عبر التنبؤ المستمر وإضافة المزيد من الكلمات.%capture !pip install transformers !pip install torch import torch # an open-source machine learning library for neural networks, required for GPT2. from transformers import GPT2LMHeadModel, GPT2Tokenizer# initialize a tokenizer and a generator based on a pre-trained GPT2 model.# used to: # -encode the text provided by the user into tokens # -translate (decode) the output of the generator back to text tokenizer = GPT2Tokenizer.from_pretrained('gpt2')# used to generate new tokens based on the inputted text generator = GPT2LMHeadModel.from_pretrained('gpt2')يقدم النص التالي كأساس يستند إليه الإصدار الثاني من المحول التوليدي مسبق التدريب (2-GPT):text='We had dinner at this restaurant yesterday. It is very close to my house. All my friends were there, we had a great time. The location is2023 - 1447--- VISUAL CONTEXT --- **DIAGRAM**: شكل 3.29: الذاكرة المطولة قصيرة المدى Description: A diagram illustrating the architecture of a Long Short-Term Memory (LSTM) network. It shows a sequence of three LSTM units, each taking an input and producing an output. The units are connected sequentially, indicating the flow of information over time. The inputs are labeled 'INPUT 1', 'INPUT 2', 'INPUT N' and correspond to text segments 'I', 'am', 'today'. The outputs are labeled 'OUTPUT 1', 'OUTPUT 2', 'OUTPUT N'. Arrows indicate the forward flow of information through the LSTM units and the backward flow for context/memory. Key Values: INPUT 1, INPUT 2, INPUT N, OUTPUT 1, OUTPUT 2, OUTPUT N, LSTM, I, am, today Context: This diagram visually represents the concept of Long Short-Term Memory (LSTM) networks, a type of recurrent neural network used in natural language processing for handling sequential data and capturing long-range dependencies. It shows how input tokens are processed sequentially to produce outputs, with the LSTM units maintaining a 'memory' of previous states.**DIAGRAM**: شكل 3.30: المحول Description: A diagram illustrating the high-level architecture of a Transformer model, which consists of an Encoder and a Decoder. An arrow points from the 'المرمز (ENCODERS)' block to the 'مفكك الترميز (DECODERS)' block, indicating the flow of information. Below the 'المرمز (ENCODERS)' block, there is an 'المدخل (Input)' labeled 'I am a student'. Below the 'مفكك الترميز (DECODERS)' block, there is an 'المخرج (Output)' labeled 'أنا طالب'. This setup suggests a machine translation task where English input is translated to Arabic output. Key Values: المرمز (ENCODERS), مفكك الترميز (DECODERS), المدخل (Input), المخرج (Output), I am a student, أنا طالب Context: This diagram introduces the fundamental Encoder-Decoder architecture of a Transformer model, a key component in modern natural language processing tasks like machine translation. It demonstrates how an input sequence is encoded into a representation, which is then decoded into an output sequence, exemplified by translating 'I am a student' to 'أنا طالب'.