Classificação de textos
Construir um classificador de textos confiável: baselines honestos, divisões sem vazamento, métricas que não mentem e análise sistemática de erros.
A classificação de textos é a tarefa mais rentável do NLP aplicado. Filtrar e-mails indesejados, encaminhar tickets de suporte para a equipe certa, detectar uma avaliação de cliente insatisfeito, identificar um documento confidencial: em todos esses casos, uma entrada textual deve produzir um rótulo dentro de um conjunto finito.
É também a tarefa em que é mais fácil se enganar sobre o próprio desempenho. Um classificador que anuncia 97% de acurácia em um problema em que 97% dos exemplos pertencem a uma única classe não aprendeu nada: ele responde sempre a mesma coisa. Um classificador treinado com dados mal divididos aprende a identidade dos exemplos em vez do conteúdo deles, e exibe uma pontuação que a produção vai desmentir de forma brutal.
É por isso que esta lição dedica tanto espaço à avaliação quanto ao treinamento. Treinar um modelo de texto exige cinco linhas de scikit-learn; saber se podemos confiar nele exige bem mais. A ordem adotada aqui é a de um projeto real: definir os rótulos, constituir os dados, estabelecer um baseline ingênuo, treinar, medir corretamente e, por fim, examinar os erros um por um.