10 - Jour 3 - ML sur un flux

Ce quiz de fin de formation vérifie que vous savez appliquer un modèle Spark ML à un flux de courses de taxis jaunes de New York avec Structured Streaming. Il couvre le rechargement d'un PipelineModel sauvegardé et son application à un DataFrame de streaming, l'interprétation des colonnes ajoutées par un classifieur binaire (prédiction, probabilité) pour la prédiction de pourboire, ainsi que la cohérence de la préparation des variables entre entraînement et inférence. Il aborde aussi les agrégations par fenêtre de temps sur une colonne TIMESTAMP_NTZ, le rôle du watermark avec le mode de sortie append, le dossier de checkpoint et les modifications de requête qui l'invalident, la lecture depuis Kafka ou depuis des fichiers Parquet et CSV, et l'effet de spark.sql.shuffle.partitions sur une requête agrégée. Un niveau intermédiaire est attendu : il faut connaître les bases de Spark SQL, des DataFrames et de Spark ML. À la fin, vous saurez repérer pourquoi une requête échoue ou donne des résultats inattendus, et choisir la bonne configuration pour un traitement continu fiable.

Questões gratuitas

10

Modo certificante

10 questões

Banco

10 questões

Nota de aprovação

70%

Seja aprovado na versão curta para obter gratuitamente o Certificado Essencial. O pagamento desbloqueia a versão aprofundada e o Certificado de Excelência, mais valorizado.

Você pode fazer o quiz sem conta. Para receber seus resultados por e-mail e mantê-los no seu histórico, crie uma conta.