Affiner un modèle pré-entraîné
Adapter CamemBERT à sa propre tâche : Trainer de Hugging Face, boucle PyTorch manuelle, LoRA, et les réglages qui déterminent réellement le résultat.
Pré-entraîner CamemBERT a demandé un corpus de plus de cent gigaoctets de texte français et des milliers d'heures de GPU. L'affiner sur votre tâche demande quelques milliers d'exemples annotés et une vingtaine de minutes sur un GPU grand public. Ce rapport, de plusieurs ordres de grandeur, est ce qui a rendu le NLP moderne accessible en dehors des grands laboratoires.
Ce qui se transfère mérite d'être nommé précisément, parce que c'est ce qui explique quand la méthode marche et quand elle échoue. Le modèle pré-entraîné a appris la structure du français : la morphologie, l'accord, l'ordre des constituants, la portée de la négation, et une masse de connaissances lexicales sur les cooccurrences. Il n'a rien appris de votre tâche. L'affinage consiste à greffer une petite couche de décision par-dessus cette compétence linguistique, et à réajuster légèrement l'ensemble pour la servir.
La conséquence pratique est que l'affinage est très efficace quand votre tâche s'appuie sur la compréhension du français — sentiment, intention, thème — et bien moins quand elle dépend de connaissances absentes du pré-entraînement, comme un jargon d'entreprise interne ou une nomenclature métier récente.