BERT مقابل GPT: مقارنة بين نماذج Transformers

يُعدّ BERT وGPT من أكثر نماذج Transformers تأثيرًا في مجال معالجة اللغة الطبيعية. دعونا نتعرّف على الاختلافات بينهما وعلى تطبيقاتهما الخاصة.

البنية وآلية العمل

BERT (Bidirectional Encoder Representations from Transformers)

class BERT(nn.Module):
    def __init__(self, vocab_size, hidden_size, num_layers, num_heads):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, hidden_size)
        self.position_encoding = PositionalEncoding(hidden_size)
        self.encoder_layers = nn.ModuleList([
            TransformerEncoderLayer(hidden_size, num_heads)
            for _ in range(num_layers)
        ])
        
    def forward(self, input_ids, attention_mask=None):
        # Embedding et position encoding
        x = self.embedding(input_ids)
        x = self.position_encoding(x)
        
        # المرور عبر طبقات المشفّر
        for layer in self.encoder_layers:
            x = layer(x, attention_mask)
            
        return x

GPT (Generative Pre-trained Transformer)

class GPT(nn.Module):
    def __init__(self, vocab_size, hidden_size, num_layers, num_heads):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, hidden_size)
        self.position_encoding = PositionalEncoding(hidden_size)
        self.decoder_layers = nn.ModuleList([
            TransformerDecoderLayer(hidden_size, num_heads)
            for _ in range(num_layers)
        ])
        
    def forward(self, input_ids, attention_mask=None):
        # Embedding et position encoding
        x = self.embedding(input_ids)
        x = self.position_encoding(x)
        
        # المرور عبر طبقات فك التشفير
        for layer in self.decoder_layers:
            x = layer(x, attention_mask)
            
        return x

الاختلافات الرئيسية

1. اتجاه الانتباه

• BERT: ثنائي الاتجاه (يرى السياق كاملًا)
• GPT: أحادي الاتجاه (يرى السياق السابق فقط)

2. البنية

• BERT: Encoder-only (مشفّر فقط)
• GPT: Decoder-only (مفكّك تشفير فقط)

3. التطبيقات

• BERT:

  • تصنيف النصوص
  • استخراج الكيانات المسماة
  • الإجابة عن الأسئلة
  • تحليل المشاعر

• GPT:

  • توليد النصوص
  • إكمال النصوص
  • الحوار
  • إنشاء المحتوى

أمثلة على الاستخدام

BERT للتصنيف

from transformers import BertTokenizer, BertForSequenceClassification

# تحميل النموذج والـ tokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# التنبؤ
text = "J'adore ce produit !"
inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True)
outputs = model(**inputs)
predictions = torch.nn.functional.softmax(outputs.logits, dim=-1)

GPT للتوليد

from transformers import GPT2Tokenizer, GPT2LMHeadModel

# تحميل النموذج والـ tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = GPT2LMHeadModel.from_pretrained('gpt2')

# توليد النص
prompt = "L'intelligence artificielle est"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100, num_return_sequences=1)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

الأداء والقيود

BERT

• المزايا:

  • فهم أفضل للسياق
  • أداء ممتاز في مهام التصنيف
  • مناسب لمهام الفهم

• القيود:

  • لا يستطيع توليد النصوص
  • يتطلب مهام fine-tuning محددة

GPT

• المزايا:

  • توليد نصوص سلس
  • إبداع في الإنتاج
  • مناسب لمهام التوليد

• القيود:

  • تحيّزات في التوليد
  • لا يتمتع بفهم ثنائي الاتجاه
  • قد ينتج معلومات غير صحيحة

الخاتمة

يمثّل BERT وGPT نهجين مختلفين لكنهما متكاملان في معالجة اللغة الطبيعية. ويعتمد الاختيار بينهما على الاحتياجات الخاصة بتطبيقك.

مصادر إضافية

• BERT Paper
• GPT Paper
• Hugging Face Transformers