DataWatch

dbt 2 : TOP 5 des nouveautés qui changent le Data Engineering

Bertrand Fabre — Fri, 23 Oct 2026 07:21:00 GMT

dbt 2 arrive avec des changements majeurs. Et ce n’est pas juste une question de performances.

Pendant longtemps, dbt reposait sur une mécanique relativement simple : du Jinja, du SQL, un moteur Python et un data warehouse chargé de valider les requêtes.

Avec dbt 2, c’est une évolution beaucoup plus profonde qui se dessine.

Dans ce nouvel épisode court de DataWatch, je décrypte les 5 nouveautés les plus importantes de dbt 2, avec un angle très concret : ce qui change réellement pour les Data Engineers, les architectures data et les pipelines CI/CD.

Au programme : une observabilité native avec OpenTelemetry, une documentation repensée autour de DuckDB-Wasm, un moteur réécrit en Rust et des métadonnées désormais exploitables en Parquet.

Mais le changement le plus structurant est peut-être ailleurs : dbt commence à comprendre le SQL qu’il génère.

Et ça change beaucoup de choses. Détecter des erreurs avant d'interroger le data warehouse, réduire la consommation de compute, fiabiliser les transformations et renforcer les contrôles de gouvernance deviennent des possibilités concrètes.

Au-delà des gains de vitesse, c'est toute la façon de développer, tester et exploiter des projets dbt qui évolue.

En moins de 3 minutes, on fait le tour des 5 annonces à retenir, sans hype inutile, avec leurs impacts techniques.

Et vous, quelle nouveauté de dbt 2 vous semble la plus importante ? Le moteur Rust, la compréhension SQL ou le nouveau format des métadonnées ?

Chapitres

00:00 Introduction — Le top 5 de dbt 2
00:06 #5 — Observabilité native avec OpenTelemetry
00:43 #4 — dbt Docs réinventé avec DuckDB-Wasm
01:27 #3 — Un nouveau moteur en Rust
01:55 #2 — dbt Information Schema en Parquet
02:41 #1 — La compréhension SQL native

#dbt #DataEngineering #DataWatch #dbtFusion #SQL

Snowflake Cortex avec Ferhat

Bertrand Fabre — Wed, 27 May 2026 15:41:12 GMT

Automatiser la lecture de JSON avec Cortex + dbt sur Snowflake

Dans cet épisode de DataWatch, on plonge dans un use case ultra concret de Data Engineering moderne : comment automatiser le flatten de JSON complexes dans Snowflake grâce à Cortex Code et dbt.

Avec Ferhat Aouaghzene, consultant spécialisé Snowflake & dbt, on décortique une problématique que beaucoup d’équipes data rencontrent aujourd’hui : gérer des données semi-structurées massives issues d’API, avec des schémas imbriqués, des tableaux dans des tableaux et des pipelines qui deviennent vite ingérables à maintenir à la main.

Plutôt que d’utiliser un LLM externe, Ferhat montre comment exploiter Cortex Code directement dans Snowflake pour :

→ Détecter automatiquement les colonnes VARIANT

→ Générer les flatten SQL

→ Créer toute l’arborescence dbt

→ Générer les modèles staging / intermediate / marts

→ Produire les YAML et les tests dbt

→ Compiler et exécuter le projet automatiquement

Mais l’épisode va beaucoup plus loin qu’une simple démo technique.

On parle aussi :

• De l’avenir du métier de Data Engineer à l’ère des agents IA

• Des limites des LLM dans des environnements critiques

• D’idempotence et de qualité logicielle

• De gouvernance data

• De sécurité et de contrôle d’accès dans Snowflake

• Et surtout de la bonne manière d’utiliser l’IA sans tomber dans le “vibe coding”

Un épisode très concret pour comprendre comment l’IA peut réellement augmenter les équipes data quand elle est correctement cadrée.

👇 Dites-nous en commentaire :

Est-ce que vous utilisez déjà des agents IA dans vos pipelines data ?

Les ressources

👉 Ferhat sur Linkedin : https://www.linkedin.com/in/ferhat-aouaghzene-23a895217/

➕ Medium : https://medium.com/@faouaghzene

➕ Github : https://github.com/FerAou/Snow_tips/tree/main/json_to_dbt

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Insights : https://datayoka.com/insights

➕ Newsletter : https://datayoka.com/newsletter

➕ Formations : https://datayoka.com/formations

➕ Coaching individuel SQL/BigQuery/FinOps : https://datayoka.com/coaching

Chapitres

00:00 Introduction & présentation de Ferhat

02:17 Le problème des JSON complexes dans Snowflake

06:13 Démo du skill Cortex Code pour générer un projet dbt

14:17 Snowflake + dbt Core + Cortex : comment tout s’intègre

18:04 Idempotence, automatisation et qualité des pipelines IA

31:55 L’avenir du métier de Data Engineer avec les agents IA

#dataengineering #snowflake #dbt #cortex #genai #llm #datawatch

Google Next'26

Bertrand Fabre — Tue, 28 Apr 2026 19:51:25 GMT

Dans cet épisode, on revient à chaud sur Google Cloud Next’26, avec un filtre très clair : qu’est-ce qui compte vraiment pour les équipes data.

Plutôt que d’énumérer les centaines d’annonces, on prend le temps de décortiquer les signaux forts. BigQuery continue de s’étendre, le Lakehouse se structure autour d’Iceberg, la gouvernance des données prend une nouvelle dimension… mais surtout, un changement de paradigme se dessine.

Google ne pousse plus seulement de la GenAI “cosmétique”. La vraie bascule, c’est l’arrivée des agents.

On parle ici de systèmes capables de comprendre un contexte, d’utiliser des outils, d’interagir avec les données et surtout d’agir. Et ça change tout : la qualité des données, leur accessibilité et leur gouvernance ne sont plus des sujets secondaires, ils deviennent critiques.

On prend aussi du recul sur ce qui est réellement disponible aujourd’hui vs ce qui relève encore de la stratégie produit. Parce que derrière les annonces, il y a une direction très nette : une plateforme data pensée pour orchestrer des agents, pas juste alimenter des dashboards.

Un épisode pour comprendre où va l’écosystème data côté Google, sans hype inutile, mais sans passer à côté des vraies évolutions.

Les ressources

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Formation pour diminuer vos coûts BigQuery : https://datayoka.com/formations/diminuer-vos-cots-bigquery

➕ Formation SQL sur BigQuery : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance

➕ Coaching individuel SQL/BigQuery/FinOps : https://datayoka.com/formations/coaching-individuel-en-sql-sur-bigquery

➕ Newsletter : https://datayoka.com/newsletter

➕ Blog : https://datayoka.com/blog

Lien vers l’article :

https://cloud.google.com/blog/topics/google-cloud-next/welcome-to-google-cloud-next26?hl=en

Chapitres

00:00 Introduction & contexte de Google Next

02:30 Comment lire les annonces Google (produit vs stratégie)

07:30 BigQuery, Lakehouse et Iceberg : les évolutions clés

15:00 Data Catalog et gouvernance : un rôle qui change

22:00 Agents vs chatbots : le vrai tournant

30:00 Impact pour les équipes data

Les Data Contract sont insuffisants !

Bertrand Fabre — Mon, 13 Apr 2026 20:17:18 GMT

Et si les Data Contracts devenaient insuffisant pour garantir la qualité et la compréhension des données ?

Dans l’épisode, nous, Axel et Bertrand, parlons de la différence entre la forme des données et leur signification métier.

Pour matérialiser cela, le concept d’Open Semantic Interchange (OSI) est abordé.

On explique pourquoi les Data Contracts ne suffisent plus à eux seuls, et comment la couche sémantique devient un élément clé pour rendre les données réellement exploitables comme dans un contexte d’IA et d’agents autonomes.

On donne également de notre vision terrain :

- Pourquoi la sémantique devient centrale

- Les limites actuelles des approches existantes

- Ce que cela change concrètement pour les Data Engineers

Dans cet épisode, on parle de :

- Data contracts vs sémantique métier (forme vs fond)

- Open Semantic Interchange (OSI)

- Limites des semantic layers actuelles

- Interopérabilité et dépendance aux outils

- Impact sur les architectures Data modernes

- Enjeux pour les agents IA et l’automatisation

Les ressources

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Formation pour diminuer vos coûts BigQuery : https://datayoka.com/formations/diminuer-vos-cots-bigquery

➕ Formation SQL sur BigQuery : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance

➕ Coaching individuel SQL/BigQuery/FinOps : https://datayoka.com/formations/coaching-individuel-en-sql-sur-bigquery

➕ Newsletter : https://datayoka.com/newsletter

➕ Blog : https://datayoka.com/blog

Lien vers l’article :

https://www.snowflake.com/content/snowflake-site/global/en/blog/open-semantic-interchanges-specs-finalized

00:00 Introduction & contexte de l’épisode

01:10 Data contracts : pourquoi ça ne suffit pas

04:30 Forme vs fond : comprendre la limite actuelle

07:20 Introduction à l’Open Semantic Interchange (OSI)

10:40 Pourquoi la sémantique devient critique

13:30 Limites des semantic layers actuelles

16:00 Dépendance aux outils & fragmentation

18:30 Interopérabilité des données : le vrai enjeu

21:00 Impact sur les architectures data modernes

23:30 OSI et futur des agents IA

26:00 Ce que ça change pour les Data Engineers

28:30 Conclusion & takeaways

L’IA nous remplacera-t-il sur GCP ?

Bertrand Fabre — Wed, 01 Apr 2026 19:32:04 GMT

☝️ Dans cet épisode Bertrand et Axel passent en revue les dernières nouveautés Data de Google Cloud, en mettant l’accent sur l’arrivée massive de l’IA dans les outils comme BigQuery. Ils parlent du Conversational Analytics, qui permet de générer des requêtes SQL en langage naturel, ainsi que les limites liées aux hallucinations et à la validation métier. La discussion aborde également l’émergence des data products comme fondation pour les agents IA, capables d’automatiser des workflows et de générer des insights de manière autonome. Enfin, ils évoquent les impacts pour les Data Engineers, entre automatisation, amélioration de la qualité des données, observabilité accrue et évolution des pratiques vers plus de gouvernance et de structuration.

Les ressources

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Formation pour diminuer vos coûts BigQuery : https://datayoka.com/formations/diminuer-vos-cots-bigquery

➕ Formation SQL sur BigQuery : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance

➕ Coaching individuel SQL/BigQuery/FinOps : https://datayoka.com/formations/coaching-individuel-en-sql-sur-bigquery

➕ Newsletter : https://datayoka.com/newsletter

➕ Blog : https://datayoka.com/blog

Lien vers l’article :

https://cloud.google.com/blog/products/data-analytics/whats-new-with-google-data-cloud/

Chapitres

00:00 Introduction & présentation de l’épisode

01:14 Conversational Analytics dans BigQuery (IA + SQL)

07:30 Data Products & Agents IA

12:45 Importance des métadonnées & Data Governance

15:30 Mise à jour des modèles & RAG

16:30 Debug Airflow avec Gemini

17:45 Recommandations BigQuery & optimisation des coûts

18:50 Multi-cloud & gestion des identités (Microsoft Entra ID)

21:30 Comparaison AWS vs GCP (vision terrain)

23:10 Cloud SQL pour l’IA & Feature Store

25:30 JDBC BigQuery (connectivité Java)

27:00 Conclusion & fin de l’épisode

Spark est-il devenu inutile ?

Bertrand Fabre — Sat, 07 Mar 2026 12:54:44 GMT

☝️ Dans cet épisode Bertrand et Axel discutent des tendances actuelles en matière de Data, en se concentrant sur une vidéo YouTube d’interview de Daniel Beach. Ils explorent le retour au vertical scaling, l'état du marché des outils de data, et l'évolution du rôle de Data Engineer à l'ère de l'IA. La conversation aborde également les défis liés au choix des outils dans un environnement saturé et les implications des modèles de Data Modeling traditionnels face à l'émergence de concepts comme le Data Mesh.

Les ressources

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Formation SQL sur BigQuery de 3 jours : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance

➕ Newsletter : https://datayoka.notion.site/1355071b...

➕ Blog : https://datayoka.com/blog

Lien vers l’article : https://www.confessionsofadataguy.com/building-credible-data-systems-hoyt-emerson-on-the-full-data-stack/

Chapitres

00:00 - Introduction à l’épisode : tendances data et IA en 2026

00:27 - Retour au vertical scaling

08:02 - Impact de l’IA sur la gestion de projets Data en startup et grandes structures

13:52 - Vision d’un Data Engineer à l’ère de l’IA

23:27 - L’impact sur les modèles de Data Modeling

27:04 - Vers une transformation complète des pratiques Data avec l’IA

Spécial dbt avec Victor Vaneecloo !

Bertrand Fabre — Tue, 20 Jan 2026 20:00:52 GMT

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre accueillent Victor Vaneecloo, Data Engineer expérimenté, pour échanger sur ses retours d’expérience autour de dbt (data build tool) et de ses usages en Data Engineering.

Les ressources

👉 Victor sur LinkedIn : https://www.linkedin.com/in/baptiste-wlodarczyk/

➕ rateIndex : https://rateindex.streamlit.app/

➕ Newsletter : https://vaneec.tech/

➕ Site : https://vvaneecloo.ghost.io/

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Formation SQL sur BigQuery de 3 jours : https://datayoka.com/formations/formation-de-sql-avec-bigquery-distance

➕ Newsletter : https://datayoka.notion.site/1355071b...

➕ Blog : https://datayoka.com/blog

Liens vers les articles

1️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-performance-working-at-scale-trade-offs-1-3/

2️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-why-dbt-your-orchestration-layer-one-app-not-two-2-3/

3️⃣ https://vvaneecloo.ghost.io/supercharging-dbt-lets-build-a-production-ready-platform-with-dbt-airflow-3-3/

Chapitres

00:00 Introduction et présentation de l’invité

01:13 Comprendre DBT : définition et enjeux

03:22 Défis et pièges dans l’utilisation de DBT

05:37 Passage à l’échelle de DBT : aspects techniques et organisationnels

09:38 Intégration des modèles incrémentaux dans DBT

11:54 Le rôle de la gouvernance en data engineering

15:34 Intégration de DBT avec les outils d’orchestration

19:39 L’intérêt des monorepos

21:53 Simplifier l’orchestration des données avec Airflow et DBT

23:55 Gouvernance et visibilité dans la gestion des données

25:20 Les avantages du micro-batching

27:09 Présentation d’Elementary pour l’observabilité

29:23 Quand utiliser un traitement complet ou incrémental

31:14 Projets et outils futurs en data engineering

Databricks utilise Excel comme data source

Bertrand Fabre — Wed, 07 Jan 2026 05:32:08 GMT

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les dernières avancées en ingénierie des données et en intelligence artificielle. Ils discutent des nouvelles fonctionnalités d'AWS S3 pour le stockage de vecteurs, de l'IDE Antigravity de Google, et de l'intégration d'Excel avec Databricks. Les hôtes partagent leurs réflexions sur l'impact de ces technologies sur le secteur et les défis potentiels qu'elles posent.

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Newsletter de Bertrand : https://datayoka.notion.site/1355071ba1ca80189240d83808f5994d

➕ Blog de Bertrand : https://datayoka.com/blog

00:00:00 Introduction et présentation

00:03:00 AWS S3 et le stockage de vecteurs

00:09:00 Google Antigravity et l'expérience IA

00:15:00 Databricks et l'Intégration d'Excel

00:21:00 Conclusion et perspectives

Décathlon déploie Polars en prod !

Bertrand Fabre — Tue, 23 Dec 2025 14:48:31 GMT

☝️ Dans cet épisode, Bertrand et Axel discutent de l'utilisation de Polars chez Decathlon, de la comparaison entre Polars et Spark, de Lance comme nouveau format de données, et de l'impact de l'IA sur l'observabilité des données avec Monte Carlo. Ils explorent comment ces outils et technologies peuvent optimiser le traitement des données et améliorer l'efficacité des équipes data.

👉 Axel sur LinkedIn : https://www.linkedin.com/in/axel-mauroy-5699509a/

👉 Bertrand sur LinkedIn : https://www.linkedin.com/in/bertrandfabre/

➕ Newsletter de Bertrand : https://datayoka.notion.site/1355071ba1ca80189240d83808f5994d

➕ Blog de Bertrand : https://datayoka.com/blog

00:00 Introduction et présentation des sujets

00:58 Utilisation de Polars chez Décathlon

08:48 Comparaison entre Polars et Spark

16:33 Lance : un nouveau format de données

27:54 Monte Carlo et l'IA pour l'observabilité

Python 3.14, vraiment mieux ?

Bertrand Fabre — Tue, 18 Nov 2025 14:28:16 GMT

☝️ Dans cet épisode, Bertrand et Axel explorent les nouveautés de Python 3.14, notamment le T-String, les améliorations de débogage, et les implications du GIL sur les performances. Ils discutent également des concepts de Data Redaction et Data Masking, ainsi que des meilleures pratiques pour la gestion des données sensibles.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

Liens vers les articles :

👉 Les nouveautés de Python 3.14 : https://www.docstring.fr/blog/les-nouveautes-de-python-314/

👉 Data redaction vs. data masking: What's the difference? : https://www.rudderstack.com/blog/data-redaction-vs-data-masking

00:00 Introduction au Data Engineering et Python 3.14

02:00 Les nouveautés de Python 3.14 : T-String et F-String

06:13 Améliorations de débogage et annotations différées

09:06 Le GIL et ses implications sur les performances

10:57 Just-In-Time et multi-interpréteur dans Python

16:09 Nouvelles fonctionnalités de compression et gestion des erreurs

18:37 Data Redaction vs Data Masking : Concepts et applications

27:52 Conclusion et réflexions sur la conformité des données

Modélisation avancée DBT : optimisez votre pipeline analytique

Bertrand Fabre — Tue, 12 Aug 2025 04:30:00 GMT

Dans cet épisode de "Lecture à chaud", Bertrand Fabre explore un article de Clarisse Véron sur la modélisation avancée avec dbt, un outil incontournable dans la transformation des données modernes. Bertrand partage ses réflexions à chaud sur les pratiques de modélisation, l'importance de la documentation et les défis liés à l'utilisation de dbt dans les entreprises. Découvrez comment structurer efficacement vos pipelines de données et les meilleures pratiques pour garantir la qualité et la pérennité de vos projets.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

Modélisation avancée DBT

Data Virtualisation : plus besoin de Data Warehouse ?

Bertrand Fabre — Tue, 02 Sep 2025 04:30:00 GMT

Dans cet épisode, Bertrand Fabre explore le concept de data virtualisation, un mécanisme qui permet aux organisations de partager et d'exploiter des données sans les déplacer. Il discute des avantages, des défis et des implications environnementales de cette approche, tout en mettant en lumière des exemples concrets d'application et les perspectives d'avenir dans le domaine de la gestion des données.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

Data Virtualisation

Uber dans le cloud, DuckDB 1.1.0 et Pandas sur Snowflake : les annonces marquantes

Bertrand Fabre — Sat, 21 Sep 2024 14:36:31 GMT

☝️ Dans cet épisode, nous parlons de la migration de Uber vers le cloud, de la sortie de DuckDB 1.1.0, de la sortie de Airbyte 1.0, de la classification des Data Engineers en trois groupes et de la disponibilité de Pandas sur Snowflake. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles 👉 La migration de Uber vers le cloud ; 👉 La sortie de DuckDB 1.1.0 ; 👉 La sortie de Airbyte 1.0 ; 👉 La classification des Data Engineers en trois groupes ; 👉 La disponibilité de Pandas sur Snowflake.

Disponibilité des CTEs Récursives dans Databricks !

Bertrand Fabre — Tue, 19 Aug 2025 04:30:00 GMT

Dans cet épisode de "Lecture à chaud", Bertrand Fabre explore les nouveautés des CTEs récursives sur Databricks, en les comparant avec d'autres plateformes comme BigQuery. Il partage ses réflexions en direct sur l'article, en expliquant comment ce type de CTE permet de naviguer dans des hiérarchies de données. Bertrand illustre le concept avec des exemples pratiques, notamment la construction d'un vélo à partir de sa nomenclature.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

CTEs Récursives dans Databricks

SQL automatisé, BigQuery Jobs Explorer et PostgreSQL 17 : les nouveautés à connaître

Bertrand Fabre — Sat, 05 Oct 2024 10:24:05 GMT

☝️ Dans cet épisode, nous parlons de la génération automatisée de requêtes SQL, de la présentation de BigQuery jobs explorer, de l’intégration de PyCharm avec Databricks, de bonnes pratiques en SQL et de la sortie de PostgreSQL 17 ; 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles 👉 La génération automatisée de requêtes SQL 👉 La présentation de BigQuery jobs explorer 👉 L’intégration de PyCharm avec Databricks 👉 Les bonnes pratiques en SQL 👉 La sortie de PostgreSQL 17

BigQuery Continuous Queries et Cloud SQL Studio : toujours plus de nouveautés !

Bertrand Fabre — Mon, 19 Aug 2024 21:24:31 GMT

☝️ Dans cet épisode, je parle de Data Engineering vs Software Engineering, de Cloud SQL Studio, des fonctions d’agrégat personnaliées en python sur Snowflake, de BigQuery Continuous Queries et de recommandations pour la résolution de problèmes de Data Engineering. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 Est-ce que la Data Engineering est du Software Engineering ?

👉 Disponibilité générale de Cloud SQL Studio sur GCP

👉 Disponibilité des fonctions d’agrégat customisées en python sur Snowflake

👉 Sortie en preview de BigQuery Continuous Queries

👉 Recommandations pour résoudre des problèmes de Data Engineering

Les outils essentiels du Data Engineer ! 500Mds$ dans la data 💰

Bertrand Fabre — Tue, 04 Feb 2025 14:09:44 GMT

☝️ Dans cet épisode, nous parlons du rachat de SDF par dbt, du plan de Donald Trump de 500 milliards de $ pour l'IA, des outils essentiels en Data Engineering et de l'architecture des pipelines de données chez BlaBlaCar. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 ⁠Axel sur LinkedIn⁠ 👉 ⁠Bertrand sur LinkedIn⁠ ➕ ⁠Newsletter de Bertrand⁠ ➕ ⁠Blog de Bertrand Articles 👉 Tobiko - dbt + SDF : Ce qui change et ce qui ne change pas 👉 Donald Trump annonce son plan de 500 milliards de $ pour l'IA 👉 Architecture des pipelines de données chez BlaBlaCar 👉 La boîte à outils en Data Engineering : Les Outils essentiels

Des bases de données fiables pour les banques françaises

Bertrand Fabre — Mon, 28 Jul 2025 04:30:00 GMT

Dans cet épisode de DataWatch, Bertrand Fabre inaugure un nouveau format plus spontané et interactif. Il explore un article récent de Decideo sur l'importance des bases de données sécurisées pour les banques françaises, partageant ses réflexions en temps réel. Découvrez pourquoi ces bases de données sont essentielles pour la conformité, la fiabilité des opérations bancaires, et la satisfaction client.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

Des bases de données fiables pour les banques françaises

Polars 1.0 et Data Vaults sur Snowflake : vers une gestion optimale des données

Bertrand Fabre — Sun, 07 Jul 2024 09:25:59 GMT

☝️ Dans cet épisode, nous parlons de la sortie de la version 1.0 de Polars, de Smart Data, de la gestion du cycle de vie des données avec les Data Vaults sur Snowflake, de gestion logique des données et de la preview du plugin BigQuery JupyterLab.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 Polars version 1.0

👉 Smart Data

👉 Gestion du cycle de vie des données avec Data Vault sur Snowflake

👉 Plugin BigQuery JupyterLab en preview

👉 Gestion logique des données

Les différences entre SQLMesh et dbt 💪

Bertrand Fabre — Tue, 23 Sep 2025 13:32:44 GMT

Dans cet épisode, Bertrand Fabre explore les différences entre SQLMesh et dbt, deux outils de transformation de données. Il met en avant les fonctionnalités de SQLMesh, notamment son intégration de Python, son versioning et son orchestration intégrée. La discussion aborde également les tests et CI/CD, ainsi que les environnements de développement. Bertrand conclut en soulignant l'importance de SQLMesh dans le paysage des outils de transformation de données.

👉 ⁠⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠⁠

➕ ⁠⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠⁠

➕ ⁠⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠⁠

Article : Les différences entre SQLMesh et dbt

MongoDB 8.0, Python 3.13 et Lakehouse : les annonces phares du moment

Bertrand Fabre — Fri, 18 Oct 2024 14:08:42 GMT

☝️ Dans cet épisode, nous parlons de la sortie de la version 3.13.0 de Python, de la mort du Data Warehouse au profit du Data Lake House, de la Preview des Databricks Apps, de la sortie de la version 8.0 de MongoDB et de Data Strategy. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles 👉 La sortie de la version 3.13.0 de Python 👉 La mort du Data Warehouse au profit du Data Lake House 👉 La Preview des Databricks Apps 👉 La sortie de la version 8.0 de MongoDB et de Data Strategy 👉 La Data Strategy

De l’incrémental au Data Product en passant par l'IA : ce qui redéfinit le Data Engineering

Bertrand Fabre — Fri, 29 Nov 2024 14:16:17 GMT

☝️ Dans cet épisode, nous parlons de la montée des traitements incrémentaux et l’impact sur la Data Quality, des Data Products pour améliorer la Data Quality des traitements incrémentaux, des Data Rooms Virtuelles, des différents design de pipelines de données, de Snowflake Intelligence et ses agents de données ; 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠⁠Axel sur LinkedIn⁠⁠⁠⁠

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠

Articles 👉 La montée des traitements incrémentaux et l’impact sur la Data Quality 👉 Les Data Products pour améliorer la Data Quality des traitements incrémentaux 👉 Les Data Rooms Virtuelles 👉 Les différents design de pipelines de données 👉 Snowflake Intelligence et ses agents de données

Gaël Lemaux sur les Snowflake Dynamic Tables et DuckDB 1.0 : la Data Engineering continue d'évoluer

Bertrand Fabre — Sun, 16 Jun 2024 15:30:55 GMT

☝️ Dans cet épisode, nous parlons de Dynamics Tables sur Snowflake vs ETL/ELT, la sortie de la version 1.0.0 de DuckDB, l'intégration d’Amazon OpenSearch Service avec Amazon S3, le support de Delta Lake dans BigQuery et Variant Data Type dans Databricks. 🤩 Nous avons également un nouvel invité cette semaine qui est l'auteur d'un article sur les Dynamics Tables : Gaël Lemaux. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Gaël sur LinkedIn 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 Les Dynamics Table sur Snowflake avec Gaël Lemaux

👉 La sortie de la version 1.0.0 de DuckDB

👉 L'intégration d'Amazon OpenSeach Service avec Amazon S3

👉 Le support de Delta Lake dans BigQuery

👉 Databricks sort un nouveau format de données : Variant

Pipe Syntax en SQL, Apache Iceberg et IA générative : vers une Data Engineering plus simple ?

Bertrand Fabre — Fri, 27 Sep 2024 22:07:39 GMT

☝️ Dans cet épisode, nous parlons de l’importance de la Data Engineering dans l’IA générative, de la Pipe Syntax en SQL, de Data Observability, de la déperdition du Data Modeling et de cas d’usage d’Apache Iceberg dans Snowflake. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles 👉 L’importance de la Data Engineering dans l’IA générative 👉 La Pipe Syntax en SQL 👉 Data Observability 👉 La déperdition du Data Modeling 👉 Des cas d’usage d’Apache Iceberg dans Snowflake

BigQuery, dbt v1.9 et Data Quality : les stratégies qui transforment la donnée

Bertrand Fabre — Fri, 25 Oct 2024 13:35:21 GMT

☝️ Dans cet épisode, nous parlons des stratégies innovantes en Data Engineering, de la preview des datasets externes entre BigQuery et Spanner, de la preview des tables BigQuery pour Apache Iceberg, du micro batch incremental models de la v1.9 de dbt, du Data Quality Management ; 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles 👉 Les stratégies innovantes en Data Engineering 👉 La preview des datasets externes entre BigQuery et Spanner 👉 La preview des tables BigQuery pour Apache Iceberg 👉 Le micro batch incremental models de la v1.9 de dbt 👉 Data Quality Management

Snowflake MCP : la fin des Data Engineers SQL ?!

Bertrand Fabre — Tue, 26 Aug 2025 04:30:00 GMT

Dans cet épisode, Bertrand Fabre explore un article sur le protocole MCP de Snowflake, qui permet d'exécuter des requêtes SQL en langage naturel. Il discute des avantages de l'automatisation des analyses de données, de l'optimisation des coûts et des performances, ainsi que des défis liés à l'utilisation de l'IA dans la Data Engineering. L'épisode aborde également des cas d'utilisation concrets et les implications de cette technologie pour les équipes de données.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :Snowflake MCP

Airbyte et son MCP dans Cursor !

Bertrand Fabre — Tue, 22 Jul 2025 14:42:51 GMT

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent divers sujets liés au Data Engineering, notamment les nouvelles fonctionnalités d'Airbyte, l'impact de l'IA sur l'intégration des données, et les outils comme le standard MCP et Starburst qui facilitent l'accès et la gestion des données. Ils discutent également de l'importance de la qualité des données et de la préparation des modèles d'IA pour la production, ainsi que de l'automatisation de l'infrastructure avec PyInfra.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠Axel sur LinkedIn⁠⁠⁠

👉 ⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠

➕ ⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠

➕ ⁠⁠⁠Blog de Bertrand⁠⁠⁠

Articles

👉 Introduction du chargement direct dans Airbyte 👉 PyAirbyte MCP : Le Standard de Connexion pour LLM 👉 L'association de SFEIR et Starburst 👉 Redéfinir les données data pour l'IA en vue de la production 👉 Automatisation de l'infrastructure avec PyInfra

Data Engineer 2.0 : clustering, IA, et plan pour 2025

Bertrand Fabre — Fri, 15 Nov 2024 15:54:07 GMT

☝️ Dans cet épisode, nous parlons des clés de clustering sur Snowflake, du rôle de l’AI Data Engineer, de la disponibilité des vues matérialisées et des tables de streaming pour AWS et Azure, de la planification de fin d’année pour les objectifs 2025 et de l’utilisation du streaming de données pour le développement des futurs services financiers ;

🎙️ DataWatch est un podcast de veille en data.

Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠Axel sur LinkedIn⁠⁠

👉 ⁠⁠Bertrand sur LinkedIn ⁠⁠

➕ ⁠⁠Newsletter de Bertrand⁠⁠

➕ ⁠⁠Blog de Bertrand⁠⁠

Articles

👉 Les clés de clustering sur Snowflake

👉 Le rôle de l’AI Data Engineer

👉 La disponibilité des vues matérialisées et des tables de streaming pour AWS et Azure

👉 La planification de fin d’année pour les objectifs 2025

👉 L’utilisation du streaming de données pour le développement des futurs services financiers

dbt fait sa Fusion !

Bertrand Fabre — Tue, 10 Jun 2025 12:32:53 GMT

☝️ Dans cet épisode, nous parlons du rachat de la société Informatica par Salesforce, de Google Cloud’s s'ouvrant au Lakehouse, des nouveautés 2025 de dbt et de DuckLake, présentant SQL au format Lakehouse.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 Axel sur LinkedIn

👉 Bertrand sur LinkedIn

➕ Newsletter de Bertrand

➕ Blog de Bertrand

Articles

👉 DuckLake - SQL au format Lakehouse

👉 Les nouveautés 2025 de dbt

👉 Google Cloud’s s'ouvre au Lakehouse

👉 Rachat d'Informatica par Salesforce

La disparition des Data Engineers !

Bertrand Fabre — Sat, 01 Mar 2025 17:13:28 GMT

☝️ Dans cet épisode, nous parlons de l'acquisition de Voyage AI par MongoDB, de l'exécution des LLM open-source sur BigQuery ML, de l'acquisition d'Upsolver par Qlik, de la levée de fonds de 47 millions de dollars par Prophecy, de l'optimisation du moteur vectoriel d'OpenSearch, de la méthode pour simplifier votre code Python avec l'opérateur walrus, l'avenir du métier de Data Engineer face aux IA et l'avenir des données non structurées dans le Data Engineering.

🎙️ DataWatch est un podcast de veille en data.

Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠Axel sur LinkedIn⁠⁠

👉 ⁠⁠Bertrand sur LinkedIn⁠⁠

➕ ⁠⁠Newsletter de Bertrand⁠⁠

➕ ⁠⁠Blog de Bertrand⁠

Articles

👉 MongoDB annonce l'acquisition de Voyage AI pour permettre aux organisations de construire des applications d’IA fiables ⁠

👉 Prophecy lève 47 millions de dollars de fonds

👉 Optimisation du moteur vectoriel d'OpenSearch ⁠

👉 Les Data Engineers vont ils devenirs obsolètes ?

👉 Les données non structurées sont l'avenir du Data Engineering

👉 Exécuter des LLM open-source sur BigQuery ML

👉 Qlik acquiert Upsolver pour proposer l’ingestion et l’optimisation à faible latence pour Apache Iceberg

Shift Left, la data change de responsable !

Bertrand Fabre — Tue, 01 Apr 2025 19:46:51 GMT

☝️ Dans cet épisode, nous parlons de l'annonce de la prise en charge de Git dans BigQuery, du lancement de dbt copilot pour améliorer l’efficacité des développeurs, du Shift Left, du Sommet Databricks Data + AI 2025, et de l'investissement de Snowflake Ventures dans DataOps.live.🎙️ DataWatch est un podcast de veille en data.Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠⁠Axel sur LinkedIn⁠⁠⁠⁠

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠Articles👉 Annonce des dépôts BigQuery 👉 DBT Labs lance un copilote d'IA 👉 Databricks Data + AI 2025 👉 Snowflake Ventures investit dans DataOps.live 👉 Le Manifeste des données de Shift Left

MCP, une sécurité en danger ?

Bertrand Fabre — Tue, 04 Nov 2025 13:48:54 GMT

☝️ Dans cet épisode, Bertrand Fabre, Axel Mauroy et leur invité Baptiste Vlodarczyk (AI Engineer chez SFEIR, en mission chez L’Oréal) discutent de plusieurs sujets liés à l’intelligence artificielle et à l’ingénierie des données.Baptiste présente un article de Google sur la sécurisation des serveurs MCP (Model Context Protocol), standard proposé par Anthropic pour connecter les modèles de langage à des outils via des interfaces compréhensibles par les LLM. Ils abordent les risques de sécurité (exposition de données, vol de tokens, détournement de session) et la solution proposée par Google : un proxy centralisé avec des couches de contrôle telles que Model Armor, IAM et Secret Manager.La conversation se poursuit sur les différences entre API et SDK, les standards ouverts (notamment l’OpenAI SDK), et l’importance de ces outils pour unifier l’écosystème IA.Enfin, les intervenants commentent l’article de Daniel Beach sur le rôle du YAML Engineer, en débattant de la surutilisation du YAML et de Terraform dans la data et des limites en termes de flexibilité et de créativité.L’épisode se conclut sur une réflexion sur la place du code, la lisibilité, et la bonne répartition entre logique applicative et infrastructure.

🎙️ DataWatch est un podcast de veille en data.Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 Axel sur LinkedIn

👉 Bertrand sur LinkedIn

➕ Newsletter de Bertrand

➕ Blog de Bertrand

Liens vers les articles :

👉 Le MCP et sa sécurité

👉 SDK vs API

👉 Le YAML Engineer

LakeFlow et Unity Catalog Open Source : les nouveautés de Databricks

Bertrand Fabre — Sun, 23 Jun 2024 20:43:08 GMT

☝️ Dans cet épisode, nous parlons de la disponibilité de LakeFlow sur Databricks, du package python Daft, de la mise en Open Source de Unity Catalog de Databricks, du rôle du DPU dans l’informatique, de la future sortie de la version 2.0 de Numpy. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 La disponibilité de LakeFlow de Databricks

👉 La package python : Daft

👉 La mise en Open Source de Unity Catalog de Databricks

👉 Le rôle du DPU dans l'informatique

👉 La future sortie de NumPy 2.0

Data Engineer, ça craint ou pas ?

Bertrand Fabre — Mon, 24 Mar 2025 14:14:01 GMT

☝️ Dans cet épisode, nous parlons des nouveautés de Databricks SQL de février 2025, du rachat de DataStax par IBM pour renforcer watsonx et l'IA générative, de la sortie d'Apache Beam 2.63.0, des graphiques d'utilisation des ressources BigQuery, du réexamen du GROUP BY ROLLUP avec un exemple plus réaliste, des difficultés du métier de Data Engineer et de l'état actuel de l'architecture Lakehouse.

🎙️ DataWatch est un podcast de veille en data.Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠Axel sur LinkedIn⁠⁠⁠

👉 ⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠

➕ ⁠⁠⁠Newsletter de Bertrand⁠⁠⁠

➕ ⁠⁠⁠Blog de Bertrand⁠⁠

Articles⁠👉 Graphiques d'utilisation des ressources BigQuery 👉 The State of Lakehouse Architecture👉 IBM rachète DataStax pour renforcer watsonx et l'IA générative👉 Etre Data Engineer ça craint👉 Apache Beam 2.63.0 👉 Nouveautés de Databricks SQL, février 2025 👉 Réexamen du GROUP BY ROLLUP avec un exemple plus réaliste

SQL avec Python, Airflow 2.10.0 et Vector Search : les tendances data du moment

Bertrand Fabre — Sun, 01 Sep 2024 22:28:24 GMT

☝️ Dans cet épisode, je parle de l’utilisation de SQL avec python, de Apache Iceberg vs Apache Hudi, la preview du Vector Search sur MariaDB, la sortie de la version 2.10.0 d’Airflow et sur les différents niveaux de Data Engineers et Software Engineers 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles 👉 Utilisation de SQL avec Python 👉 Apache Iceberg vs Apache Hudi 👉 Preview de Vector Search sur MariaDB 👉 Apache Airflow 2.10.0 👉 Les niveaux de Data et Software Engineer

Data Mesh, Data Owner et la fin des clés primaires : ce que vous devez savoir

Bertrand Fabre — Fri, 01 Nov 2024 16:24:33 GMT

☝️ Dans cet épisode, nous parlons de la mort des clés primaires et étrangères, de l’implémentation du Data Mesh chez Roche, du Github Actions pour la Data Engineering, de la Data Stack déclarative et du rôle de Data Owner ; 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles

👉 La mort des clés primaires et étrangères 👉 La Data Observability lors de l’implémentation du Data Mesh chez Roche 👉 Github Actions pour la Data Engineering 👉 La Data Stack déclarative 👉 Le rôle de Data Owner

Presto, Rust et Data Lineage : les tendances qui transforment la Data Engineering

Bertrand Fabre — Fri, 11 Oct 2024 13:03:00 GMT

☝️ Dans cet épisode, nous parlons de l’importance de Presto et de son framework d’optimisation basé sur l’historique, de l’utilisation de Rust dans la Data Engineering, de l’implémentation du Data Lineage dans les traitements python, de la balance entre achat et création d’outils Data et de la sortie de la version 1.0.0 de dlt. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles 👉 Presto et son framework d’optimisation basé sur l’historique 👉 L’utilisation de Rust dans la Data Engineering 👉 L’implémentation du Data Lineage dans les traitements python 👉 La balance entre achat et création d’outils Data 👉 La sortie de la version 1.0.0 de dlt

Cycle de vie du stockage : pourquoi cela peut transformer vos coûts data ?

Bertrand Fabre — Sun, 04 Aug 2024 10:09:19 GMT

☝️ Dans cet épisode, je parle de 5 erreurs en Data Engineering, des bénéfices économiques dans la mise en place d’une politique de cycle de vie du stockage, de Snowflake Horizon, de l’utilisation de la simplicité pour résoudre les problèmes, et de différentes techniques de Data Modeling. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 5 erreurs en Data Engineering

👉 Les économies d’une politique de cycle de vie du stockage

👉 Snowflake Horizon pour une gouvernance unifiée

👉 L’utilisation de la simplicité pour résoudre les problèmes

👉 Différentes techniques de Data Modeling

BigQuery Vector Search et Ray chez Amazon : les clés du changement ?

Bertrand Fabre — Mon, 09 Sep 2024 11:24:08 GMT

☝️ Dans cet épisode, je parle de ScaNN sur BigQuery Vector Search, des nouveautés de Databricks Workflows, de InstantDB, de tables de faits et de dimensions et de migration d’Apache Spark vers Ray chez Amazon. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles 👉 Preview de l’algorithme ScaNN sur BigQuery Vector Search 👉 Les nouveautés de Databricks Worklfows 👉 Présentation de InstantDB utilisé dans Notion ou Figma 👉 Les tables de faits et de dimension 👉 Explication de la migration d’Apache Spark vers Ray chez Amazon

Data Centers, souveraineté et qualité : les défis de la gestion des données

Bertrand Fabre — Sat, 27 Jul 2024 17:48:45 GMT

☝️ Dans cet épisode, nous parlons de souveraineté des données, de Exadata Exascale de Oracle, de Data Timeliness, de 3 étapes pour la mise en place de Data Quality et de la croissance des Data Centers. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Cette semaine, je serai exceptionnellement seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 La souveraineté des données

👉 Exadata Exascale de Oracle

👉 Data Timeliness

👉 3 étapes pour la mise en place de Data Quality

👉 La croissance fulgurante des Data Centers

dbt 1.8, Pandas vs Polars et réduction des coûts sur Snowflake : décryptage

Bertrand Fabre — Fri, 31 May 2024 21:14:02 GMT

☝️ Pour ce premier épisode, nous parlons de la version 1.8 de dbt, de réduction des coûts sur Snowflake, de Pandas vs Polars et de Python sur SQL Server. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles 👉 DBT version 1.8 👉 Réduction des coûts sur Snowflake 👉 Pandas vs Polars 👉 Python sur SQL Server

Data Reliability et BigQuery Datasream : les clés pour vos données !

Bertrand Fabre — Sat, 29 Jun 2024 21:32:06 GMT

☝️ Dans cet épisode, nous parlons de Data Reliability, de CI/CD pour les Data Engineers, de l'utilisation du mode "append-only" de Datasream sur BigQuery et des tendances et opportunités actuelles en data.

Articles

👉 L'utilisation du mode "append-only" de Datasream sur BigQuery

👉 Data Reliability

👉 Tendances et opportunités actuelles en data

👉 CI/CD pour les Data Engineers

Identification des causes racines en Data Engineering

Bertrand Fabre — Tue, 05 Aug 2025 04:30:00 GMT

Dans cet épisode de DataWatch, Bertrand Fabre explore un article sur Monte Carlo, un outil de data quality et d'observabilité. Il partage ses réflexions sur les défis de la qualité des données, notamment la recherche des causes racines des anomalies, et discute des solutions possibles pour améliorer l'efficacité des équipes Data et IA.

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Article :

Identification des causes racines

70% de coûts en moins en utilisant Rust ?!

Bertrand Fabre — Tue, 24 Jun 2025 15:18:26 GMT

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre abordent des sujets clés de la Data Engineering, notamment Cloud Run, l'essor de Rust dans la Data Engineering, et les améliorations de BigQuery. Cloud Run se distingue par sa capacité à s'adapter rapidement aux besoins, tandis que Rust offre des performances supérieures et des économies de coûts significatives. BigQuery, quant à lui, évolue avec des techniques de vectorisation avancées pour optimiser la gestion des données.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠Axel sur LinkedIn⁠

👉 ⁠Bertrand sur LinkedIn⁠

➕ ⁠Newsletter de Bertrand ⁠

➕ ⁠Blog de Bertrand⁠

Articles👉 Google Cloud Run propose des GPU sans serveur pour l'IA et le traitement par lots : 👉 L'essor de Rust dans l'ingénierie des données : 👉 Améliorations de gestion de données de BigQuery et de sa vectorisation

Julien Hurault sur les Slowly Changing Dimensions et les Snowflake Native Apps

Bertrand Fabre — Sat, 13 Jul 2024 20:17:16 GMT

☝️ Dans cet épisode, nous parlons des Slowly Changing Dimensions en compagnie de Julien Hurault, de Data Validation, du script bq2dbt, de BigQuery Data Canvas, de Data Sharing avec les Snowflake Native Apps. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Julien Hurault sur LinkedIn ➕ Et le lien de sa newsletter 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 Les Slowly Changing Dimensions

👉 Le Data Sharing avec les Snowflake Native Apps

👉 La Data Validation

👉 Le script python : bq2dbt

👉 BigQuery Data Canvas

Airflow 3.0 !

Bertrand Fabre — Wed, 07 May 2025 13:06:23 GMT

☝️ Dans cet épisode, nous parlons de la présentation du serveur MCP pour DBT, de la version 3 d'Apache Airflow, des pistes pour devenir un « meilleur » Data Engineer, et la différence entre le clustering et les partitions.

🎙️ DataWatch est un podcast de veille en data.

Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠⁠⁠Axel sur LinkedIn⁠⁠⁠⁠⁠

👉 ⁠⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠⁠

➕ ⁠⁠⁠⁠⁠Newsletter de Bertrand⁠⁠⁠⁠⁠

➕ ⁠⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠

Articles

👉 Présentation du serveur MCP pour DBT

👉 Sortie d'Apache Airflow 3

👉 Comment devenir un « meilleur » Data Engineer

👉 Clustering vs Partitions

Polars vs PySpark et quand l'OLTP et l'OLAP convergent enfin avec Snowflake !

Bertrand Fabre — Sat, 20 Jul 2024 09:27:40 GMT

☝️ Dans cet épisode, nous parlons de Polars vs PySpark, de la création d’une couche sémantique des données, de conseils pour leader une équipe data, de la convergence de l’OLTP et de l’OLAP avec Unistore de Snowflake et de l’histoire de la Modern Data Stack.

🎙️ DataWatch est un podcast de veille en data.Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 Axel sur LinkedIn

👉 Bertrand sur LinkedIn

Articles

👉 Polars vs PySpark

👉 Conseils pour leader une équipe data

👉 Couche sémantique des données avec dbt

👉 Unistore, la convergence de l’OLTP et de l’OLAP

👉 L’histoire de la Modern Data Stack

Uber, IA et Data Governance : les enjeux critiques de la data d'aujourd’hui

Bertrand Fabre — Sun, 15 Sep 2024 20:15:25 GMT

☝️ Dans cet épisode, nous parlons du retour d'Elasticsearch en Open Source, des risques des décisions basées uniquement sur la Data, de l'utilisation des résultats d'une procédure stockée dans un SELECT sur Snowflake, des tendances de la Data Engineering avec l'IA et de Data Governance et 324 millions d'amende pour Uber 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

➕ Newsletter de Bertrand

➕ Blog de Bertrand Articles 👉 Le retour d'Elasticsearch en Open Source 👉 Les risques des décisions basées uniquement sur la Data 👉 Utilisation des résultats d'une procédure stockée dans un SELECT sur Snowflake 👉 Les tendances de la Data Engineering avec l'IA 👉 Data Governance et 324 millions d'amende pour Uber

575K$ comme Staff Data Enginneer chez Airbnb ! Ses conseils pour décrocher ce poste

Bertrand Fabre — Fri, 06 Dec 2024 21:55:28 GMT

☝️ Dans cet épisode, nous parlons de Microsoft Drasi, de la bascule de l’ELT vers l’esprit Graphe, de la tendance à utiliser les outils Apache Kafka, Apache Flink et Apache Iceberg en Data Engineering, des conseils de préparation d’entretien pour un post de Staff Data Engineer chez Airbnb à 575K$ et les tendances 2025 pour la Data Engineering et l’IA. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn ➕ Newsletter de Bertrand ➕ Blog de Bertrand Articles 👉 Microsoft Drasi pour la gestion des données en streaming 👉 La bascule de l’ELT vers l’esprit Graphe 👉 La tendance à utiliser les outils Apache Kafka, Apache Flink et Apache Iceberg en Data Engineering 👉 La préparation d’entretien pour un post de Staff Data Engineer chez Airbnb 👉 Les tendances 2025 pour la Data Engineering et l’IA

Florent Jakubowski sur ETL vs ELT et l’évolution des rôles en Data Engineering

Bertrand Fabre — Fri, 07 Jun 2024 20:03:51 GMT

☝️ Dans cet épisode, nous parlons de l'ETL vs ELT, du rôle d'Analytics Engineer, de l'interpréteur RustPython, du package python SQLFrame et de l'utilisation du RAG pour générer du SQL. 🤩 Nous avons également un invité qui est l'auteur d'un post LinkedIn détaillé sur la comparaison entre ETL et ELT : Florent Jakubowski. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Florent sur LinkedIn 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn

Articles

👉 Les différences d’aujourd’hui entre ETL et ELT avec Florent Jakubowski

👉 L'interpréteur RustPython

👉 Le rôle d'Analytics Engineer

👉 Le package python SQLFrame

👉 L'utilisation du RAG pour générer du SQL

50 ans de SQL et Liquid Clustering : les nouveautés et réflexions en Data Engineering

Bertrand Fabre — Fri, 31 May 2024 21:28:46 GMT

☝️ Dans cet épisode, nous parlons des différents types de stockage, de Data Quality Management, de la disponibilité générale du Liquid Clustering sur Databricks, des 50 ans du SQL, de contrôle des coûts sur Dataflow et du dictionnaire de données vs le catalogue de données. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data et découlant du post LinkedIn du vendredi de Bertrand qui liste les articles en question. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn Articles

👉 Les différents types de stockage

👉 Les 50 ans du SQL

👉 Disponibilité générale du Liquid Clustering sur Databricks

👉 Le Data Quality Management

👉 Dictionnaire de données vs Catalogue de données

👉 Contrôle des coûts sur Dataflow

Les stratégies data de Netflix, Meta, Spotify, Airbnb et Uber révélées !

Bertrand Fabre — Fri, 22 Nov 2024 15:36:52 GMT

☝️ Dans cet épisode, nous parlons des données synthétiques pour des données sécurisées avec l’IA, des règles de base et des règles métier dans la DataQuality, sur le besoin d’utiliser les bons tests dans un projet dbt, des Data Silos et des architectures de Data Engineering utilisées par Netflix, Uber, Spotify, Meta et Airbnb ;

🎙️ DataWatch est un podcast de veille en data.Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠Axel sur LinkedIn⁠⁠⁠

👉 ⁠⁠⁠Bertrand sur LinkedIn ⁠⁠⁠

➕ ⁠⁠⁠Newsletter de Bertrand⁠⁠⁠

➕ ⁠⁠⁠Blog de Bertrand⁠⁠

Articles

👉 Des données synthétiques pour des données sécurisées avec l’IA

👉 Les règles de base et les règles métier dans la DataQuality

👉 Le besoin d’utiliser les bons tests dans un projet dbt

👉 Les Data Silos

👉 Les architectures de Data Engineering utilisées par Netflix, Uber, Spotify, Meta et Airbnb

OVH sort sa Data Platform !

Bertrand Fabre — Tue, 08 Jul 2025 14:20:37 GMT

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les dernières tendances en Data Engineering et en intelligence artificielle, en mettant l'accent sur la nouvelle plateforme de données d'OVH, les innovations de BigQuery, et l'analyse des dépenses cloud qui continuent d'augmenter, notamment en raison de la demande croissante pour des solutions d'IA.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠Axel sur LinkedIn⁠⁠

👉 ⁠⁠Bertrand sur LinkedIn⁠⁠

➕ ⁠⁠Newsletter de Bertrand ⁠⁠

➕ ⁠⁠Blog de Bertrand⁠⁠

Articles

👉OVHcloud présente la Data Platform idéale 👉 Les dépenses mondiales en infrastructure cloud ont augmenté de 21 % au premier trimestre 2025 👉 Présentation de BigQuery ObjectRef

L’architecture médaillon du marketing ?!

Bertrand Fabre — Tue, 16 Sep 2025 16:27:56 GMT

☝️ Dans cet épisode, Axel Mauroy et Bertrand Fabre explorent les nuances de l'architecture médaillon, un concept popularisé par Databricks. Ils discutent des couches de données bronze, silver et gold, et remettent en question la nécessité de certaines de ces couches. L'épisode aborde également l'impact du marketing sur les nouvelles technologies et l'importance de rester pragmatique dans l'adoption de nouvelles architectures. Enfin, ils partagent des nouvelles du secteur, notamment le rachat de Tobiko Data par Fivetran et l'introduction par Google Cloud de son SDK avec Rust.

🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠⁠⁠⁠Axel sur LinkedIn⁠⁠⁠⁠

👉 ⁠⁠⁠⁠Bertrand sur LinkedIn⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Newsletter de Bertrand ⁠⁠⁠⁠

➕ ⁠⁠⁠⁠Blog de Bertrand⁠⁠⁠⁠

Articles👉 Nouvelles du Secteur - Rachat de Tobico Data 👉 Google Cloud et le SDK Rust👉 Impact du Marketing sur les Technologies👉 Décryptage de l'Architecture Médaillon

Kafka 3.8 et Data Lake CDC : ce que les Data Engineers doivent savoir

Bertrand Fabre — Sun, 11 Aug 2024 23:52:21 GMT

☝️ Dans cet épisode, je parle de la sortie d’Apache Kafka 3.8.0, de menaces cachées dans un Data Warehouse, de l’avenir des hyperscalers et des data centers, de simplicité et de composabilité en Data Engineering, et de Data Lake Change Data Capture. 🎙️ DataWatch est un podcast de veille en data. Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data. Pendant le mois d'août, je serai seul pour animer le podcast. 👉 Axel sur LinkedIn 👉 Bertrand sur LinkedIn
Articles

👉 Apache Kafka 3.8.0

👉 Menaces cachées dans un Data Warehouse

👉 L'avenir entre hyperscalers et datacenters locaux

👉 La simplicité et la composabilité en Data Engineering

👉 Le Data Lake Change Data Capture

Le premier Data Engineer IA et la surveillance des pipelines : décryptage

Bertrand Fabre — Fri, 08 Nov 2024 22:42:15 GMT

☝️ Dans cet épisode, nous parlons de l’organisation des équipes logiciel et data, des trois composants d’une stack de données non structurées, de la stratégie de surveillance des pipelines ETL, du premier data Engineer IA au monde et de la réalité des formats de tables ouverts ;

🎙️ DataWatch est un podcast de veille en data.

Axel Mauroy et Bertrand Fabre échangent autour d’articles publiés récemment en data.

👉 ⁠Axel sur LinkedIn⁠

👉 ⁠Bertrand sur LinkedIn ⁠

➕ ⁠Newsletter de Bertrand⁠

➕ ⁠Blog de Bertrand⁠

Articles :

👉 ⁠L’organisation des équipes logiciel et data⁠

👉 ⁠Les trois composants d’une stack de données non structurées⁠

👉 ⁠La stratégie de surveillance des pipelines ETL⁠

👉 ⁠Le premier data Engineer IA au monde⁠

👉 ⁠La réalité des formats de tables ouverts