Afinar un modelo preentrenado
Adaptar CamemBERT a tu propia tarea: Trainer de Hugging Face, bucle manual en PyTorch, LoRA y los ajustes que realmente determinan el resultado.
Preentrenar CamemBERT exigió un corpus de más de cien gigabytes de texto en francés y miles de horas de GPU. Afinarlo para tu tarea requiere unos pocos miles de ejemplos anotados y una veintena de minutos en una GPU de consumo. Esta relación, de varios órdenes de magnitud, es lo que ha hecho que el NLP moderno sea accesible fuera de los grandes laboratorios.
Conviene nombrar con precisión lo que se transfiere, porque eso es lo que explica cuándo el método funciona y cuándo falla. El modelo preentrenado ha aprendido la estructura del francés: la morfología, la concordancia, el orden de los constituyentes, el alcance de la negación y una gran cantidad de conocimiento léxico sobre las coocurrencias. No ha aprendido nada de tu tarea. El afinado consiste en injertar una pequeña capa de decisión sobre esa competencia lingüística y en reajustar ligeramente el conjunto para ponerlo a su servicio.
La consecuencia práctica es que el afinado es muy eficaz cuando tu tarea se apoya en la comprensión del francés (sentimiento, intención, tema) y mucho menos cuando depende de conocimientos ausentes del preentrenamiento, como una jerga interna de empresa o una nomenclatura profesional reciente.