Ajustando um modelo pré-treinado (fine-tuning)
Adaptar o CamemBERT à sua própria tarefa: Trainer do Hugging Face, loop manual em PyTorch, LoRA e os ajustes que realmente determinam o resultado.
Pré-treinar o CamemBERT exigiu um corpus de mais de cem gigabytes de texto em francês e milhares de horas de GPU. Ajustá-lo (fine-tuning) para a sua tarefa exige alguns milhares de exemplos anotados e uns vinte minutos em uma GPU de consumo. Essa proporção, de várias ordens de grandeza, é o que tornou o NLP moderno acessível fora dos grandes laboratórios.
Vale nomear com precisão o que se transfere, porque isso explica quando o método funciona e quando falha. O modelo pré-treinado aprendeu a estrutura do francês: a morfologia, a concordância, a ordem dos constituintes, o alcance da negação e uma massa de conhecimentos lexicais sobre coocorrências. Ele não aprendeu nada sobre a sua tarefa. O fine-tuning consiste em enxertar uma pequena camada de decisão sobre essa competência linguística e reajustar levemente o conjunto para servi-la.
A consequência prática é que o fine-tuning é muito eficaz quando a sua tarefa se apoia na compreensão do francês — sentimento, intenção, tema — e bem menos quando depende de conhecimentos ausentes do pré-treinamento, como um jargão interno da empresa ou uma nomenclatura de negócio recente.