10 - Jour 3 - ML sur un flux

Ce quiz de fin de formation vérifie que vous savez appliquer un modèle Spark ML à un flux de courses de taxis jaunes de New York avec Structured Streaming. Il couvre le rechargement d'un PipelineModel sauvegardé et son application à un DataFrame de streaming, l'interprétation des colonnes ajoutées par un classifieur binaire (prédiction, probabilité) pour la prédiction de pourboire, ainsi que la cohérence de la préparation des variables entre entraînement et inférence. Il aborde aussi les agrégations par fenêtre de temps sur une colonne TIMESTAMP_NTZ, le rôle du watermark avec le mode de sortie append, le dossier de checkpoint et les modifications de requête qui l'invalident, la lecture depuis Kafka ou depuis des fichiers Parquet et CSV, et l'effet de spark.sql.shuffle.partitions sur une requête agrégée. Un niveau intermédiaire est attendu : il faut connaître les bases de Spark SQL, des DataFrames et de Spark ML. À la fin, vous saurez repérer pourquoi une requête échoue ou donne des résultats inattendus, et choisir la bonne configuration pour un traitement continu fiable.

Preguntas gratuitas

10

Modo certificado

10 preguntas

Banco

10 preguntas

Umbral de aprobado

70%

Supera la versión corta para obtener gratis el Certificado Esencial. El pago desbloquea la versión avanzada y el Certificado de Excelencia, más valorado.

Puedes hacer el quiz sin cuenta. Para recibir tus resultados por email y conservarlos en tu historial, crea una cuenta.