مقدمة في نماذج اللغة (LLM)

مقدمة في نماذج اللغة (LLM)

ما هو نموذج اللغة؟

نموذج اللغة (Language Model، أو LLM) هو نموذج ذكاء اصطناعي مصمَّم لفهم النصوص البشرية وتوليدها. يُدرَّب هذا النوع من النماذج على مجموعات ضخمة من النصوص، وبإمكانه:

• التنبؤ بالتتمة المنطقية للنص
• توليد محتوى متماسك
• الإجابة عن الأسئلة
• الترجمة بين اللغات
• تلخيص النصوص
• وغير ذلك الكثير...

أنواع نماذج اللغة

1. النماذج القائمة على المحوِّلات (transformers)

تُعد المحوِّلات (transformers) البنية المهيمنة في نماذج LLM الحديثة. وهي تستخدم آلية الانتباه (attention) لفهم العلاقات بين الكلمات داخل النص.

أمثلة:

• GPT (Generative Pre-trained Transformer)
• BERT (Bidirectional Encoder Representations from Transformers)
• T5 (Text-to-Text Transfer Transformer)
• LLaMA (Large Language Model Meta AI)

2. نماذج بأحجام مختلفة

يمكن تصنيف نماذج LLM بحسب حجمها:

• النماذج الصغيرة: أقل من مليار معامل (paramètre)

  • مثال: GPT-2 Small (124 مليون معامل)

• النماذج المتوسطة: من 1 إلى 10 مليارات معامل

  • مثال: GPT-3 Small (125 مليون معامل)

• النماذج الكبيرة: من 10 إلى 100 مليار معامل

  • مثال: GPT-3 (175 مليار معامل)

• النماذج الكبيرة جدًا: أكثر من 100 مليار معامل

  • مثال: GPT-4 (الحجم الدقيق غير معلن)