Tokenización: dividir el texto en unidades
Elisiones, guiones, abreviaturas y subpalabras: cómo dividir correctamente texto en francés con spaCy, NLTK y los tokenizadores de CamemBERT.
La tokenización es la primera operación de toda cadena de procesamiento del lenguaje, y la única cuyos errores se propagan hasta el final sin avisar. Un modelo mal tokenizado no falla: aprende un vocabulario ligeramente erróneo y pierde unos puntos de rendimiento que nadie sabe explicar.
El término «token» no tiene un equivalente español plenamente satisfactorio. No es una palabra: es la unidad que su sistema decide tratar como atómica. Según la tarea, será una palabra, un signo de puntuación, un fragmento de palabra o incluso un carácter. La pregunta que hay que plantearse nunca es «cómo dividir un texto», sino «cuál es la unidad adecuada para lo que quiero hacer».
El francés hace la cuestión especialmente espinosa. El apóstrofo es allí un carácter gramatical, no un signo de cita: en «l'État», el apóstrofo marca una elisión y separa dos palabras; en «aujourd'hui», es interno a una única palabra fosilizada. Ninguna regla tipográfica distingue ambos casos. El guion es todavía peor: une palabras compuestas («porte-monnaie»), pronombres pospuestos («donne-le-moi»), inversiones interrogativas («viens-tu»), y no conviene tratarlos igual.