Clasificación de textos
Construir un clasificador de textos fiable: referencias honestas, particiones sin fugas de datos, métricas que no mienten y análisis sistemático de los errores.
La clasificación de textos es la tarea más rentable del NLP aplicado. Filtrar correos no deseados, enviar tickets de soporte al equipo adecuado, detectar una opinión de cliente descontento, localizar un documento confidencial: en todos estos casos, una entrada textual debe producir una etiqueta entre un conjunto finito.
Es también la tarea en la que resulta más fácil equivocarse sobre el propio rendimiento. Un clasificador que anuncia un 97 % de exactitud en un problema donde el 97 % de los ejemplos pertenece a una sola clase no ha aprendido nada: responde siempre lo mismo. Un clasificador entrenado con datos mal divididos aprende la identidad de sus ejemplos en lugar de su contenido, y muestra una puntuación que la producción desmentirá bruscamente.
Por eso esta lección dedica tanto espacio a la evaluación como al entrenamiento. Entrenar un modelo de texto requiere cinco líneas de scikit-learn; saber si se puede confiar en él requiere mucho más. El orden adoptado aquí es el de un proyecto real: definir las etiquetas, reunir los datos, fijar una línea base ingenua, entrenar, medir correctamente y, por último, revisar los errores uno por uno.