More Related Content Similar to LA DUCK CONF 2023 - Architecture analytics : déjà-vu ? (20) More from OCTO Technology (20) LA DUCK CONF 2023 - Architecture analytics : déjà-vu ?2. Coin
Coin
!
2
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Qui suis-je ?
Référent Data @ OCTO Technology
Benjamin Joyen-Conseil
Data Engineering
Data Science
Data centrée
utilisateur
@BenJoyenConseil Github & LinkedIn
6. Coin
Coin
!
6
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2000 à 2010 : Explosion du modèle
2010
2000 2020 Futur…
7. Coin
Coin
!
7
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2000
2000 à 2010 : Explosion du modèle
2010 2020 Futur…
2000 2010
2010
10. Coin
Coin
!
10
La Duck Conf by OCTO Technology © 2023 - All rights reserved
Moyen Age : Retour vers le passé
2010 2020 Futur…
Moyen Age 2010
11. 11
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2010 à 2020 : multiplication des produits SaaS
2000 2020 Futur…
2010
2010
15. Coin
Coin
!
15
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2020
Le cycle IT
touche à sa fin
3
2010
2000 Futur…
2020
16. 16
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2023 : Les nouveaux standards
๏ Le DW Cloud ouvre l’analytique à toute entreprise
๏ data pipeline…………as Code
data modelisation…....as Code
data contract…………....as Code
๏ DAG : accessibilité du pipeline data aux
populations data
๏ Les datasets respectent des contrats, pour servir
leurs utilisateurs
2010
2000 2020 Futur…
18. Coin
Coin
!
18
La Duck Conf by OCTO Technology © 2023 - All rights reserved
1 - Shift right : reporting…..as Code
2010
2000 2020 Futur…
19. Coin
Coin
!
19
La Duck Conf by OCTO Technology © 2023 - All rights reserved
2 - Remise en question du SQL pour illisibilité !
WITH table_0 AS (
SELECT
employees.*,
ROW_NUMBER() OVER (
PARTITION BY role
ORDER BY
join_date
) AS _rn
FROM
employees
)
SELECT
table_0.*
FROM
table_0
WHERE
_rn <= 1
SQL
from employees
group role (
sort join_date
take 1
)
PRQL
étape 2
étape 1
étape 3
étape 4
étape 1
étape 2
étape 3
étape 5
étape 4
2010
2000 2020 Futur…
20. Coin
Coin
!
20
La Duck Conf by OCTO Technology © 2023 - All rights reserved
dbt
3 - Modern Data Stack en boîte 🥫
approche
embarquée de
l’analytique
Apache
Arrow
DuckDB
● vectorization
● IO-Stream
● compression
● statistiques
● PostgreSQL
● Parquet
● embarqué
● natif
la
performance
accessible
Analytique
avec Layers
● build DW layers
● idempotence
langage
moderne de
transformations
PRQL
● orthogonal
● moderne
● compatible SQL
2010
2000 2020 Futur…
Data Warehouse Serverless
21. Coin
Coin
!
21
La Duck Conf by OCTO Technology © 2023 - All rights reserved
3 - Apache Arrow + duckDB + dbt + PRQL = MDS en boîte 🥫
- simple
- portable
- légère
- rapide à instancier
2010
2000 2020 Futur…
22. 22
Coin
Coin
!
La Duck Conf by OCTO Technology © 2023 - All rights reserved
La Matrice encore plus accessible
2000 Data Analystes
2010 Data Ingénieurs
2015 Data Scientifiques
2020 Data PO, PM, UX
2025 Data Citizen