Introduction aux modèles de langage (LLM)

Introduction aux modèles de langage (LLM)

Qu'est-ce qu'un modèle de langage ?

Un modèle de langage (Language Model, ou LLM) est un modèle d'intelligence artificielle conçu pour comprendre et générer du texte humain. Ces modèles sont entraînés sur de vastes corpus de textes et peuvent :

• Prédire la suite logique d'un texte
• Générer du contenu cohérent
• Répondre à des questions
• Traduire entre langues
• Résumer des textes
• Et bien plus encore...

Types de modèles de langage

1. Modèles basés sur les transformers

Les transformers sont l'architecture dominante des LLM modernes. Ils utilisent un mécanisme d'attention pour comprendre les relations entre les mots dans un texte.

Exemples :

• GPT (Generative Pre-trained Transformer)
• BERT (Bidirectional Encoder Representations from Transformers)
• T5 (Text-to-Text Transfer Transformer)
• LLaMA (Large Language Model Meta AI)

2. Modèles de différentes tailles

Les LLM peuvent être classés selon leur taille :

• Petits modèles : < 1 milliard de paramètres

  • Exemple : GPT-2 Small (124M paramètres)

• Modèles moyens : 1-10 milliards de paramètres

  • Exemple : GPT-3 Small (125M paramètres)