Data Engineering sur GCP & BigQuery
Une immersion totale dans l'écosystème data de Google Cloud Platform. Vous construirez des pipelines end-to-end : ingestion en batch et streaming avec Dataflow et Pub/Sub, transformation à l'échelle avec BigQuery et dbt, orchestration avec Cloud Composer (Airflow managé), et exposition des données via BigQuery ML et Looker Studio. Chaque atelier s'appuie sur des datasets industriels réels (e-commerce, IoT, logs applicatifs) pour couvrir les patterns les plus courants en production.
Ce que vous allez apprendre
Concevoir l'architecture data d'un projet GCP de bout en bout
Ingérer des données en batch avec Cloud Storage, Transfer et Dataflow
Gérer le streaming temps réel avec Pub/Sub et Dataflow Streaming
Modéliser et optimiser des tables BigQuery (partitionnement, clustering)
Orchestrer des pipelines avec Cloud Composer / Apache Airflow
Sécuriser les accès avec IAM, column-level security et row policies
Monitorer les pipelines avec Cloud Monitoring et alertes
Réduire les coûts BigQuery avec les bonnes pratiques de requêtage
Programme
- ›Architecture GCP pour la data : services et patterns clés
- ›BigQuery : columnar storage, slots et modèle de coûts
- ›Chargement de données : batch, streaming, Transfer Service
- ›Partitionnement et clustering : stratégies et gains de performance
- ›Atelier : construction d'un data lake sur Cloud Storage + BigQuery
Prérequis
Expérience en SQL avancé (fonctions analytiques, CTEs)
Notions de Python (lecture et modification de scripts)
Compte GCP avec billing activé (crédits fournis pour la formation)
Connaissance de base des concepts de data warehouse
Votre formateur
Praticien Senior
Expert en poste · Communauté ConnectMiT
Chaque formateur ConnectMiT Academy est un professionnel tech en activité dans une DSI ou startup scale-up. Leurs formations s'appuient sur des cas réels issus de leur pratique quotidienne.
Questions fréquentes
Oui, ConnectMiT Academy est en cours de certification QUALIOPI. En attendant, nos formations peuvent être prises en charge via plan de développement des compétences. Contactez-nous pour un devis adapté.