Dans ce deuxième volet de la série de cours sur Dataflow, nous allons nous intéresser de plus près au développement de pipelines à l'aide du SDK Beam. Nous allons commencer par passer en revue les concepts d'Apache Beam. Nous allons ensuite parler du traitement des données par flux à l'aide de fenêtres, de filigranes et de déclencheurs. Nous passerons ensuite aux options de sources et de récepteurs dans vos pipelines, aux schémas pour présenter vos données structurées, et nous verrons comment effectuer des transformations avec état à l'aide des API State et Timer. Nous aborderons ensuite les bonnes pratiques qui vous aideront à maximiser les performances de vos pipelines. Vers la fin du cours, nous présentons le langage SQL et les DataFrames pour représenter votre logique métier dans Beam, et nous expliquons comment développer des pipelines de manière itérative à l'aide des notebooks Beam.
Traitement des données sans serveur avec Dataflow : cours 2
Instructeur : Google Cloud Training
Inclus avec 
Ce que vous apprendrez
Passer en revue les principaux concepts d'Apache Beam abordés dans le cours "Data Engineering on Google Cloud"
Passer en revue les concepts de base du traitement par flux abordés dans le cours "Ingénierie des données"
Sélectionnez et ajustez les E/S de votre choix pour votre pipeline Dataflow
Utilisez des schémas pour simplifier votre code Beam et améliorer les performances de votre pipeline
Compétences que vous acquerrez
- Catégorie : Serverless Computing
- Catégorie : Apache Kafka
- Catégorie : Data Pipelines
- Catégorie : SQL
- Catégorie : Jupyter
- Catégorie : Performance Tuning
- Catégorie : Real Time Data
- Catégorie : Dataflow
- Catégorie : Data Processing
Détails à connaître
Ajouter à votre profil LinkedIn
septembre 2025
8 devoirs
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Il y a 10 modules dans ce cours
Ce module vous présente le cours et son plan.
Inclus
1 vidéo
Découvrir les principaux concepts d'Apache Beam et comment les appliquer pour écrire vos propres pipelines de traitement des données
Inclus
3 vidéos1 lecture1 devoir2 éléments d'application
Dans ce module, vous allez apprendre à traiter des données en flux continu avec Dataflow. Pour cela, vous devez maîtriser trois concepts principaux : comment regrouper les données dans des fenêtres, l'importance des filigranes pour savoir quand la fenêtre est prête à produire des résultats, et comment contrôler quand et combien de fois la fenêtre émettra des résultats.
Inclus
3 vidéos1 lecture1 devoir4 éléments d'application
Dans ce module, vous allez découvrir ce qui fait qu'une source ou un récepteur est considéré comme tel dans Dataflow. Le module présentera des exemples de TextIO, FileIO, BigQueryIO, PubsubIO, KafkaIO, BigtableIO, AvroIO et d'argument DoFn fractionnable. Le module présentera également certaines fonctionnalités utiles associées à chaque E/S.
Inclus
8 vidéos1 lecture1 devoir
Ce module présente les schémas, qui permettent aux développeurs de représenter des données structurées dans leurs pipelines Beam.
Inclus
2 vidéos1 lecture1 devoir2 éléments d'application
Ce module aborde les états et les minuteurs, deux fonctionnalités puissantes que vous pouvez utiliser dans votre argument DoFn pour implémenter des transformations avec état.
Inclus
3 vidéos1 lecture1 devoir
Ce module aborde les bonnes pratiques et les modèles courants qui permettent de maximiser les performances de vos pipelines Dataflow.
Inclus
7 vidéos1 lecture1 devoir2 éléments d'application
Ce module présente deux nouvelles API pour représenter votre logique métier dans Beam : SQL et DataFrames.
Inclus
3 vidéos1 lecture1 devoir1 élément d'application
Ce module présente les notebooks Beam, une interface permettant aux développeurs Python de se familiariser avec le SDK Beam et de développer leurs pipelines de manière itérative dans un environnement de notebook Jupyter.
Inclus
1 vidéo1 lecture1 devoir
Ce module résume le cours.
Inclus
1 vidéo
Instructeur
Offert par
En savoir plus sur Software Development
- Statut : Essai gratuit
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.
If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.
Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.
Plus de questions
Aide financière disponible,