Normalización: mayúsculas, acentos, lematización

Normalizar es decidir voluntariamente perder información. Pasamos todo a minúsculas y renunciamos a distinguir « État » de « état ». Quitamos los acentos y « tache » y « tâche » se convierten en una misma palabra. Eliminamos las palabras vacías y « je n'aime pas ce film » y « j'aime ce film » acaban siendo idénticas.

Esta última consecuencia no es un caso de laboratorio. Es el error más frecuente y más costoso de los proyectos de análisis de sentimiento en francés: las listas de palabras vacías ya hechas contienen ne, pas, plus, sans, aucun, exactamente las palabras que expresan la negación. Un modelo entrenado después de ese filtrado es estructuralmente incapaz de distinguir una crítica de un elogio, y sus métricas no lo dejan claro.

La pregunta correcta no es, por tanto, « cómo normalizar », sino « qué tiene derecho a olvidar mi tarea ». En la búsqueda documental, eliminar los acentos es un servicio al usuario que escribe sin ellos. En la extracción de entidades, es una catástrofe: los nombres propios se distinguen precisamente por su grafía.

Esta lección recorre las cinco normalizaciones clásicas, muestra qué destruye cada una en francés y termina con una función reutilizable en la que cada paso es un parámetro, porque ningún ajuste único sirve para todas las tareas.