Normalização: caixa, acentos, lematização
Minúsculas, Unicode, acentos, stop words, stemming e lematização em francês: toda normalização destrói informação, saiba qual.
Normalizar é decidir voluntariamente perder informação. Passamos tudo para minúsculas e, com isso, deixamos de distinguir “État” de “état”. Removemos os acentos, e “tache” e “tâche” viram a mesma palavra. Eliminamos as stop words, e “je n'aime pas ce film” e “j'aime ce film” acabam idênticas.
Essa última consequência não é um caso de livro didático. É o erro mais frequente e mais custoso dos projetos de análise de sentimentos em francês: as listas de stop words prontas contêm ne, pas, plus, sans, aucun, exatamente as palavras que carregam a negação. Um modelo treinado após essa filtragem é estruturalmente incapaz de distinguir uma crítica de um elogio, e suas métricas não deixam isso claro.
A boa pergunta, portanto, não é “como normalizar”, mas “o que a minha tarefa pode se dar ao luxo de esquecer”. Para busca documental, achatar os acentos é um favor ao usuário que digita sem acentos. Para extração de entidades, é uma catástrofe: os nomes próprios se distinguem justamente pela grafia.
Esta lição percorre as cinco normalizações clássicas, mostra o que cada uma destrói em francês e termina com uma função reutilizável em que cada etapa é um parâmetro, porque nenhuma configuração única serve a todas as tarefas.