Stash - Data FinOPS

•

0 j'aime•95 vues

FinOps Data - FR - par Matthieu Rousseau & Ismael Goulani Matthieu Rousseau, CEO & Data Engineer Modeo. Ismael Goulani, CTO & Data Engineer Modeo. Retour sur le premier prix dans la catégorie "Solution Innovante" du challenge #LaNuitdelaData avec leur solution Stach, plateforme qui aide les équipes Data à mieux comprendre l'utilisation des données par les "consumers", son coût, et son impact carbone.

Logiciels

WE BUILD UNIQUE DATA
SOLUTIONS TO CREATE
VALUE
Since 2019
1

2
Une problématique commune chez les clients de Modeo
Création d’une Data Platform permettant d’analyser des
performances financières pour proposer des prêts
Création d’une Data Platform permettant d’analyser des
données énergétiques sur des parcs de bâtiments
L’Oréal: Mise à disposition de données pour les métiers
grâce à la création de domaines de données partagés
au sein d’une data platform

3
Problèmes rencontrés :
Pas de solution d'Analytics clé en main pour les Data Platforms
Les équipes data ne sont pas data-driven
Web Product Data Platform
Stash

Comment mesurer l’adoption de la Data par les équipes métier ?
Expectations
Data
Team
Reality
Data
Consumers
Data
Consumers
Data Team
4
Problèmes rencontrés : Use case

Notre solution : Stash
1.
Connexion aux outils Data (Datawarehouse,
dashboard) et extraction des métadonnées
2.
Vue globale sur l’ensemble des assets data et
analyse de l’activité des Data Consumers
3.
Tracking de l’usage des nouveaux assets, du
niveau d’adoption, alerting et optimisations
5
Data Warehouse
Dashboard

Les cas d’usages possibles avec Stash
6
Monitoring des coûts liés aux
activités data
2.
Production de rapports d’impacts
carbone liés aux activités data
3.
Priorisation des demandes
faites aux équipes data
1.

Les gains apportés par Stash
Augmentation du ROI de
l’équipe Data
Réduction des coûts de
fonctionnement
Diminution de l’impact
écologique
Facilitation de la prise en main de
la donnée par les équipes métiers
7
1. 2.
4.
3.

Roadmap de Stash
10
Mai 2023 Juillet 2023 Décembre 2023
• Connecteur BigQuery
• Connecteur Metabase
• Analyse des coûts
• Activités des utilisateurs
• Connecteur Snowflake
• Connecteur Looker
• Connecteur Redshift
• Analyse des dashboards
• Prédiction sur l’évolution des
coûts
• Alerting automatique
• Connecteur Tableau, Power BI
• Gestion des autorisation et accès
• Authentification SSO
• Multi-Admin
• Gestion des tickets
• Suggestion d’optimisation des
coûts
• Nettoyage automatique des
ressources

Contenu connexe

Tendances

Developing a Data Strategy for your organization can seem like a daunting task – but it’s worth the effort. Getting your Data Strategy right can provide significant value, as data drives many of the key initiatives in today’s marketplace, from digital transformation to marketing, customer centricity, population health, and more. This webinar will help demystify Data Strategy and its relationship to Data Architecture and will provide concrete, practical ways to get started.

Building a Data Strategy – Practical Steps for Aligning with Business Goals

DATAVERSITY

As cloud computing continues to gather speed, organizations with years’ worth of data stored on legacy on-premise technologies are facing issues with scale, speed, and complexity. Your customers and business partners are likely eager to get data from you, especially if you can make the process easy and secure. Challenges with performance are not uncommon and ongoing interventions are required just to “keep the lights on”. Discover how Snowflake empowers you to meet your analytics needs by unlocking the potential of your data. Agenda of Webinar : ~Understand Snowflake and its Architecture ~Quickly load data into Snowflake ~Leverage the latest in Snowflake’s unlimited performance and scale to make the data ready for analytics ~Deliver secure and governed access to all data – no more silos

Let’s get to know Snowflake

Knoldus Inc.

Scan any number of financial industry news publications, and stories regarding Wall Street’s hunger for new data sets to improve alpha abound. While this might seem like a new trend, monetizing data - or the ability to turn corporate data into revenue streams - has existed for decades. But both the supply side and the demand side have changed. On the supply side, the extreme variety of data that now exists (location-based, geospatial, socio-demographic, online search trends, pricing, etc.) combines with high computing power and new digital requirements to create a fertile data market environment. On the demand side, to remain competitive, companies in a wide variety of industries, not just the financial sector, are leveraging data in all forms to maintain an edge or be disruptive. During this session we’ll explore what data monetization is and the forms it can take; characteristics of data that could make it more valuable to external parties; and key considerations in making data products available to external parties. Intellectual property, data privacy, and contractual issues will also be explored.

Data Monetization

DATAVERSITY

Intuit's Data Mesh - Data Mesh Leaning Community meetup 5.13.2021

Tristan Baker

Nubank is the leading fintech in Latin America. Using bleeding-edge technology, design, and data, the company aims to fight complexity and empower people to take control of their finances. We are disrupting an outdated and bureaucratic system by building a simple, safe and 100% digital environment. In order to succeed, we need to constantly make better decisions in the speed of insight, and that’s what We aim when building Nubank’s Data Platform. In this talk we want to explore and share the guiding principles and how we created an automated, scalable, declarative and self-service platform that has more than 200 contributors, mostly non-technical, to build 8 thousand distinct datasets, ingesting data from 800 databases, leveraging Apache Spark expressiveness and scalability. The topics we want to explore are: – Making data-ingestion a no-brainer when creating new services – Reducing the cycle time to deploy new Datasets and Machine Learning models to production – Closing the loop and leverage knowledge processed in the analytical environment to take decisions in production – Providing the perfect level of abstraction to users You will get from this talk: – Our love for ‘The Log’ and how we use it to decouple databases from its schema and distribute the work to keep schemas up to date to the entire team. – How we made data ingestion so simple using Kafka Streams that teams stopped using databases for analytical data. – The huge benefits of relying on the DataFrame API to create datasets which made possible having tests end-to-end verifying that the 8000 datasets work without even running a Spark Job and much more. – The importance of creating the right amount of abstractions and restrictions to have the power to optimize.

Data Democratization at Nubank

Databricks

Over the last decade, the 3Vs of data - Volume, Velocity & Variety has grown massively. The Big Data revolution has completely changed the way companies collect, analyze & store data. Advancements in cloud-based data warehousing technologies have empowered companies to fully leverage big data without heavy investments both in terms of time and resources. But, that doesn’t mean building and managing a cloud data warehouse isn’t accompanied by any challenges. From deciding on a service provider to the design architecture, deploying a data warehouse tailored to your business needs is a strenuous undertaking. Looking to deploy a data warehouse to scale your company’s data infrastructure or still on the fence? In this presentation you will gain insights into the current Data Warehousing trends, best practices, and future outlook. Learn how to build your data warehouse with the help of real-life use-cases and discussion on commonly faced challenges. In this session you will learn: - Choosing the best solution - Data Lake vs. Data Warehouse vs. Data Mart - Choosing the best Data Warehouse design methodologies: Data Vault vs. Kimball vs. Inmon - Step by step approach to building an effective data warehouse architecture - Common reasons for the failure of data warehouse implementations and how to avoid them

Data Warehousing Trends, Best Practices, and Future Outlook

James Serra

Tableau desktop & server

Chris Raby

Developing a Data Strategy for your organization can seem like a daunting task. The opportunity in getting it right can be significant, however, as data drives many of the key initiatives in today’s marketplace: digital transformation, marketing, customer centricity, and more. This webinar will help de-mystify Data Strategy and Data Architecture and will provide concrete, practical ways to get started.

DAS Slides: Building a Data Strategy - Practical Steps for Aligning with Busi...

DATAVERSITY

A solid data architecture is critical to the success of any data initiative. But what is meant by “data architecture”? Throughout the industry, there are many different “flavors” of data architecture, each with its own unique value and use cases for describing key aspects of the data landscape. Join this webinar to demystify the various architecture styles and understand how they can add value to your organization.

Data Architecture, Solution Architecture, Platform Architecture — What’s the ...

DATAVERSITY

DMBOK and Data Governance

Peter Vennel PMP,SCEA,CBIP,CDMP

Creating a Data-Driven Organization: an executive summary

Carl Anderson

Best practices and tips on how to design and develop a Data Warehouse using Microsoft SQL Server BI products. This presentation describes the inception and full lifecycle of the Carl Zeiss Vision corporate enterprise data warehouse. Technologies covered include: •Using SQL Server 2008 as your data warehouse DB •SSIS as your ETL Tool •SSAS as your data cube Tool You will Learn: •How to Architect a data warehouse system from End-to-End •Components of the data warehouse and functionality •How to Profile data and understand your source systems •Whether to ODS or not to ODS (Determining if a operational Data Store is required) •The staging area of the data warehouse •How to Build the data warehouse – Designing Dimensions and Fact tables •The Importance of using Conformed Dimensions •ETL – Moving data through your data warehouse system •Data Cubes - OLAP •Lessons learned from Zeiss and other projects

Architecting a Data Warehouse: A Case Study

Mark Ginnebaugh

Good data is like good water: best served fresh, and ideally well-filtered. Data Management strategies can produce tremendous procedural improvements and increased profit margins across the board, but only if the data being managed is of high quality. Determining how Data Quality should be engineered provides a useful framework for utilizing Data Quality management effectively in support of business strategy. This, in turn, allows for speedy identification of business problems, delineation between structural and practice-oriented defects in Data Management, and proactive prevention of future issues. Organizations must realize what it means to utilize Data Quality engineering in support of business strategy. This webinar will illustrate how organizations with chronic business challenges can often trace the root of the problem to poor Data Quality. Showing how Data Quality should be engineered provides a useful framework in which to develop an effective approach. This in turn allows organizations to more quickly identify business problems as well as data problems caused by structural issues versus practice-oriented defects and prevent these from reoccurring. Learning objectives: -Help you understand foundational Data Quality concepts for improving Data Quality at your organization -Demonstrate how chronic business challenges for organizations are often rooted in poor Data Quality -Share case studies illustrating the hallmarks and benefits of Data Quality success

Getting Data Quality Right

DATAVERSITY

With so many new technologies it can get confusing on the best approach to building a big data architecture. The data lake is a great new concept, usually built in Hadoop, but what exactly is it and how does it fit in? In this presentation I'll discuss the four most common patterns in big data production implementations, the top-down vs bottoms-up approach to analytics, and how you can use a data lake and a RDBMS data warehouse together. We will go into detail on the characteristics of a data lake and its benefits, and how you still need to perform the same data governance tasks in a data lake as you do in a data warehouse. Come to this presentation to make sure your data lake does not turn into a data swamp!

Big data architectures and the data lake

James Serra

It can be quite challenging keeping up with the frequent updates to the Microsoft products and understanding all their use cases and how all the products fit together. In this session we will differentiate the use cases for each of the Microsoft services, explaining and demonstrating what is good and what isn't, in order for you to position, design and deliver the proper adoption use cases for each with your customers. We will cover a wide range of products such as Databricks, SQL Data Warehouse, HDInsight, Azure Data Lake Analytics, Azure Data Lake Store, Blob storage, and AAS as well as high-level concepts such as when to use a data lake. We will also review the most common reference architectures (“patterns”) witnessed in customer adoption.

Differentiate Big Data vs Data Warehouse use cases for a cloud solution

James Serra

A one-day training course on the Concepts of Data Management and Business Intelligence (BI) in the DX age A Basic Review of BI and DM How to Implement BI A review of BI Tools and 2022 Gartner Quadrant Magic Basics of Data warehouse (DWH) An introductions to Power BI Components of Power BI Steps for BI Implementation Data Culture Intro to ETL and ELT OLAP files and Architecture Digital transformation or DX review A glance at DMBOK2.0 framework BI Challenges Data Governance Data Integration Data Security and Privacy in DMBOK2.0 Data-Driven Organization Data and BI Maturity Model Traditional BI Self-service BI who is DMP who is BI developer what is Metadata what is Master data Data Quality Data Literacy Benefits of BI BI features How does BI Works? Modern BI Data Analytics BI Architecture Data Types Data Lake Data Mart Data Silo Data Visualization Power BI Architecture and components

Business Intelligence (BI) and Data Management Basics

amorshed

Creating a clearly articulated data strategy—a roadmap of technology-driven capability investments prioritized to deliver value—helps ensure from the get-go that you are focusing on the right things, so that your work with data has a business impact. In this presentation, the experts at Silicon Valley Data Science share their approach for crafting an actionable and flexible data strategy to maximize business value.

8 Steps to Creating a Data Strategy

Silicon Valley Data Science

Today’s data-driven companies have a choice to make – where do we store our data? As the move to the cloud continues to be a driving factor, the choice becomes either the data warehouse (Snowflake et al) or the data lake (AWS S3 et al). There are pro’s and con’s for each approach. While the data warehouse will give you strong data management with analytics, they don’t do well with semi-structured and unstructured data with tightly coupled storage and compute, not to mention expensive vendor lock-in. On the other hand, data lakes allow you to store all kinds of data and are extremely affordable, but they’re only meant for storage and by themselves provide no direct value to an organization. Enter the Open Data Lakehouse, the next evolution of the data stack that gives you the openness and flexibility of the data lake with the key aspects of the data warehouse like management and transaction support. In this webinar, you’ll hear from Ali LeClerc who will discuss the data landscape and why many companies are moving to an open data lakehouse. Ali will share more perspective on how you should think about what fits best based on your use case and workloads, and how some real world customers are using Presto, a SQL query engine, to bring analytics to the data lakehouse.

Data Warehouse or Data Lake, Which Do I Choose?

DATAVERSITY

Data Staging Strategy

Milind Zodge

This slideshow presents: * The impact of poor quality data * The different aspects of data quality: data profiling, data cleansing * How to embed data quality in data integration * The advantages of open source for data quality To view the entire webinar with the demonstration, click on : http://nxy.in/m2j5s If you wish to see other webinars, click on: http://nxy.in/hkidj For Live Webinars, click here: http://nxy.in/pjeph

Talend Data Quality

Talend

Tendances (20)

Building a Data Strategy – Practical Steps for Aligning with Business Goals

Let’s get to know Snowflake

Data Monetization

Intuit's Data Mesh - Data Mesh Leaning Community meetup 5.13.2021

Data Democratization at Nubank

Data Warehousing Trends, Best Practices, and Future Outlook

Tableau desktop & server

DAS Slides: Building a Data Strategy - Practical Steps for Aligning with Busi...

Data Architecture, Solution Architecture, Platform Architecture — What’s the ...

DMBOK and Data Governance

Creating a Data-Driven Organization: an executive summary

Architecting a Data Warehouse: A Case Study

Getting Data Quality Right

Big data architectures and the data lake

Differentiate Big Data vs Data Warehouse use cases for a cloud solution

Business Intelligence (BI) and Data Management Basics

8 Steps to Creating a Data Strategy

Data Warehouse or Data Lake, Which Do I Choose?

Data Staging Strategy

Talend Data Quality

Similaire à Stash - Data FinOPS

Session découverte de la Data Virtualization

Denodo

Watch full webinar here: https://bit.ly/38mIuTp Denodo vous propose une session virtuelle pour découvrir la Data Virtualization. Quel que soit votre rôle, responsable IT, architecte, data scientist, analyste ou CDO, vous découvrirez comment Denodo Platform, la plateforme leader en data intégration, data management et livraison de données en temps réel permet d'accéder à tout type de source de données pour en tirer de la valeur.

Session découverte de la Data Virtualization

Denodo

Watch full webinar here: https://bit.ly/2zdlULt A l’ère de la transformation digitale et de l’adoption rapide de nouvelles solutions, les équipes IT sont amenées à traiter un volume croissant de sources de données disparates et à un rythme de plus en plus soutenu pour satisfaire les besoins Métiers. Les techniques d’intégration traditionnelles présentent des limites pour répondre à ces défis, car elles délivrent les données par lots programmés et ne peuvent pas prendre en charge les nombreux types de données riches et complexes actuels. La data virtualization constitue alors une approche moderne d’intégration des données. Cette technologie agile d’intégration, d’abstraction et de services de données en temps réel permet un accès unifié à un large éventail de sources, sans répliquer ou déplacer les données, afin d’en créer une couche unique virtuelle. Elle permet ainsi une réduction des coûts, des ressources et du temps alloués aux opérations IT. Les experts de Denodo et Govarch vous proposent ce webinar en français pour comprendre comment exploiter la data virtualization afin d’optimiser votre stratégie globale d’intégration de données et ainsi vous aligner sur les objectifs Métiers. Agenda : - Les défis actuels de l’intégration des données et les limites des techniques d’intégration traditionnelles - Comment déployer la couche de virtualisation dans une architecture IT pour bénéficier d’un accès unifié aux diverses sources des données - Une démo live de la solution Score One, pour évaluer l’applicabilité de la virtualisation des données à des cas d’usage concrets.

Optimiser l’intégration globale des données grâce à la Data Virtualization

Denodo

Big data

Ibn Tofail University

Watch full webinar here: https://bit.ly/3yp4Caz Denodo vous propose une session virtuelle pour découvrir la Logical Data Fabric soutenue par la Data Virtualization. Quel que soit votre rôle, responsable IT, architecte, data scientist, analyste ou CDO, vous découvrirez comment Denodo Platform, la plateforme leader en data intégration, data management et livraison de données en temps réel permet d'accéder à tout type de source de données pour en tirer de la valeur.

Session découverte de la Logical Data Fabric soutenue par la Data Virtualization

Denodo

Big Data - Quel usage au sein des projets internet

EOLAS, groupe Business & Decision

Watch full webinar here: https://bit.ly/3oGxZmz Reconnu en tant que leader dans le Gartner® Magic Quadrant™ for Data Integration Tools ainsi que Customers’ Choice 3 années consécutives, Denodo Platform, soutenue par la Data Virtualization, permet une approche moderne de l'intégration, de la gestion et de la livraison des données, en offrant des fonctionnalités clés telles que la couche d'abstraction des données, les requêtes optimisées par l'IA pour les charges de travail analytiques complexes, le data catalog basé sur l'IA/ML, et la gestion de l'infrastructure cloud. Découvrez lors de cette session d'1h30 en quoi la Logical Data Fabric et la Data Virtualization révolutionnent l'approche métier & IT dans l’accès, la livraison, la consommation, la gouvernance et la sécurisation de vos données, quel que soit l'âge de votre technologie, le format de la donnée ou son emplacement. Cette technologie mature comble le fossé entre l’IT et les utilisateurs métier, et permet des économies considérables en termes de coûts et de temps.

Session découverte de la Logical Data Fabric soutenue par la Data Virtualization

Denodo

Webinaire Business&Decision - Trifacta

Victor Coustenoble

Hadoop has become unavoidable. Companies of all sizes are at different stages of their thoughts on Big Data. Whether you're just starting to explore the platform or you already have several existing clusters, everyone faces the same challenge - to develop its internal expertise. Specialists of Big Data, Talend, and Hortonworks, watch this webinar to discover how to unify all your data in Hadoop, without specific skills Big Data.

Adoption de Hadoop : des Possibilités Illimitées - Hortonworks and Talend

Hortonworks

BigData BigBuzz @ Le Node

Excelerate Systems

Projet Cloud / Big Data - Optimisation de la QOS

Sébastien Kieger

Bi vf-3

AmeniBoubaker2

Business Intelligence : Offres du marché et benchmarking

Samia NACIRI

Watch full webinar here: https://bit.ly/3pjyzRY Une initiative de self-service réussie signifie que les utilisateurs métiers ont accès à une vue complète et cohérente des données, indépendamment de leur emplacement, de leur source ou de leur type. Toutefois, les entreprises doivent également veiller à ce que, tout en exploitant le plein potentiel des données pour les utilisateurs métiers, elles respectent les exigences de sécurité. La virtualisation des données en tant que couche de service de données gouvernée peut non seulement aider les organisations à mettre en place une couche d'accès aux données unifiée qui fournit des vues intégrées des données aux utilisateurs métiers en temps réel, mais permet également à l'organisation d'établir des protocoles de gouvernance et de spécifier des sources faisant autorité. Les points clés du webinar: - Les défis auxquels sont confrontés les utilisateurs métiers - Comment la virtualisation des données permet l’analytique self-service - Une démo live - Des études de cas client

Réussissez vos projets d’analytique self-service avec une couche de services ...

Denodo

Bluemix Paris Meetup : Big data et Analytics - 15 avril 2015

IBM France Lab

Watch full webinar here: https://bit.ly/34EYBaE Découvrez la Data Virtualization lors d'un atelier organisé à distance pour les professionnels de la donnée mardi 29 octobre. Quel que soit votre rôle, responsables IT, architectes, data scientists, analystes ou CDO, vous découvrirez comment la Data Virtualization permet de livrer des données en temps réel et accéder à tout type de source de données pour en tirer de la valeur.

Discovery Session France: Atelier découverte de la Data Virtualization

Denodo

Livre blanc Windows Azure Marketplace Datamarket

Microsoft Décideurs IT

introduction au Big Data stckage de big data : Les bases de données NoSQL - Différente catégories : clé-valeur , Document, colonne, , graphe - TP: - Mongodb, - Redis, - Cassandra III) hadoop map reduce - architecture hadoop, principe MAP REDUCE. - TP - Configuration hadoop sous ubuntu - Manipulation map reduce cas d’utilisation IV) Écosystème de Hadoop : big, hive et hbase - Fonctionnement - TPs (big, hive et hbase ) V) Machine learning

Ecosystème Big Data

Idriss22

Présentation Synthétique Semsoft

Damien Regnault

BigData & Cloud @ Excelerate Systems France

Excelerate Systems

Similaire à Stash - Data FinOPS (20)

Session découverte de la Data Virtualization

Optimiser l’intégration globale des données grâce à la Data Virtualization

Big data

Session découverte de la Logical Data Fabric soutenue par la Data Virtualization

Big Data - Quel usage au sein des projets internet

Session découverte de la Logical Data Fabric soutenue par la Data Virtualization

Webinaire Business&Decision - Trifacta

Adoption de Hadoop : des Possibilités Illimitées - Hortonworks and Talend

BigData BigBuzz @ Le Node

Projet Cloud / Big Data - Optimisation de la QOS

Bi vf-3

Business Intelligence : Offres du marché et benchmarking

Réussissez vos projets d’analytique self-service avec une couche de services ...

Bluemix Paris Meetup : Big data et Analytics - 15 avril 2015

Discovery Session France: Atelier découverte de la Data Virtualization

Livre blanc Windows Azure Marketplace Datamarket

Ecosystème Big Data

Présentation Synthétique Semsoft

BigData & Cloud @ Excelerate Systems France

Plus de Modern Data Stack France

Talend spark meetup 03042017 - Paris Spark Meetup

Modern Data Stack France

Paris Spark Meetup - Trifacta - 03_04_2017

Modern Data Stack France

Construire le cluster le plus rapide pour l'analyse des datas : benchmarks sur un régresseur par Christopher Bourez (Axa Global Direct) Les toutes dernières technologies de calcul parallèle permettent de calculer des modèles de prédiction sur des big datas en des temps records. Avec le cloud est facilité l'accès à des configurations hardware modernes avec la possibilité d'une scalabilité éphémère durant les calculs. Des benchmarks sont réalisés sur plusieurs configuration hardware, allant de 1 instance à un cluster de 100 instances. Christopher Bourez, développeur & manager expert en systèmes d'information modernes chez Axa Global Direct. Alien thinker. Blog : http://christopher5106.github.io/

Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...

Modern Data Stack France

Migration de données structurées entre Hadoop et RDBMS par Louis Rabiet (Squid Solution) Avec l'extraction de données stockées dans une base de données relationnelle à l'aide d'un outil de BI avancé, et avec l'envoi via Kafka des données vers Tachyon, plusieurs sessions Spark peuvent travailler sur le même dataset en limitant la duplication. On obtient grâce à cela une communication à coût contrôlé entre la base de données d'origine et Spark ce qui permet de réintroduire de manière dynamique les données modifiées avec MLlib tout en travaillant sur des données à jour. Les résultats préliminaires seront partagés durant cette présentation.

HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...

Modern Data Stack France

Système de recommandations de produits sur un site marchand par Koby KARP, Data Scientist (Equancy) & Hervé MIGNOT, Partner at Equancy La recommandation reste un outil clé pour la personnalisation des sites marchands et le sujet est loin d’être épuisé. La prise en compte de la particularité d’un marché peut nécessité d’adapter le traitement et les algorithmes utilisés. Après une revue des techniques de recommandations, nous présenterons la démarche spécifique que nous avons adopté. Le système a été développé sous Spark pour la préparation des données et le calcul des modèles de recommandations. Une API simple et son service ont été développé pour délivrer les recommandations aux applications clientes.

Hadoop France meetup Feb2016 : recommendations with spark

Modern Data Stack France

L'approche Model as Code par Benoit Grossin (EDF-R&D) et Matthieu Vautrot (Quantmetry) La mise en production de modèles est une étape charnière du cycle de vie d’un projet Data Science mené au sein d’une entreprise. On observe que cette partie est encore rarement industrialisée alors qu’elle est indispensable pour l’exploitation continue des résultats des modèles. Lorsque qu’un modèle finalisé présente un pouvoir prédictif satisfaisant en phase de développement, l'industrialisation de sa mise en production permet de le déployer et de l’exploiter de manière continue et automatique et ce, en minimisant la charge de travail. Notre intervention présentera notre retour d'expérience dans le contexte EDF sur la mise en place d'une approche capable de raccourcir voire d'annuler le temps de mise en production dans un environnement Hadoop et plus particulièrement Hive. Benoit Grossin est Ingénieur de Recherche chez EDF-R&D ICAM Matthieu Vautrot est Consultant Analytics & Big Data chez Quantmetry

Hug janvier 2016 -EDF

Modern Data Stack France

Industrialisation des processus Big Data chez CANAL+ par Pascal PERISSEAU et Stephen CLAIRVILLE (CanalPlus) L'intégration de la brique technique Big Data au sein d'une architecture décisionnelle déjà existante. Retour d’expérience sur les développements réalisés afin de faciliter l’intégration, la supervision, et l’exploitation des flux Hadoop dans notre écosystème décisionnel / présentation de la phase préparatoire de la mise à disposition des données aux data analysts et data scientists. Pascal PERISSEAU, responsable technique du pôle décisionnel et Big Data chez CANAL+ depuis 10 ans Stephen CLAIRVILLE, chef de projet tech. lead Big Data depuis 2 ans chez CANAL+

HUG France - 20160114 industrialisation_process_big_data CanalPlus

Modern Data Stack France

Presentation faite lors du Hadoop User Group France du 14 janvier 2016. L’analytique temps réel avec Riak et Spark par Michael Carney (Basho) et Olivier Girardot de Lateral Thoughts Selon un rapport de Salesforce, le nombre de sources de données analysées par les entreprises progressera de 83% au cours des cinq prochaines années, ainsi les organisations veulent désormais fournir des connaissances en temps réel même sur les appareils mobiles. Le traitement temps réel est donc, le futur de l’analyse big data. Ce talk présentera des nouveautés en matière de l’analyse temps réel autour de la famille SGBD Riak et Spark. Michael Carney est le Directeur Commercial de Basho pour le Sud d’Europe. Fondateur de MySQL France et de MariaDB, Michael a rejoint Basho en janvier 2015 pour explorer le monde de données sans tables ! Olivier Girardot est le CTO de Lateral Thoughts, il est développeur et formateur au sujet de Spark et également spécialiste de Java/Python dans le domaine de la finance de marché.

Hugfr SPARK & RIAK -20160114_hug_france

Modern Data Stack France

HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO) Le traitement et l’analyse de grand volume de données sont au cœur des activités des banques. Bon nombre d’acteurs des marchés financiers ont déjà adopté Hadoop sur de nombreux cas d’usage : gestion des risques, identification des opportunités commerciales, détection de fraude, surveillance des marchés… Une incroyable diversité de format doit être gérée. De ce point de vue, HBase est un choix naturel de base de données distribuée grâce à son modèle de donnée dynamique. Après une présentation générale des caractéristiques d’HBase, ce talk présente comment modéliser les informations traitées pour s’adapter à différents contextes d’utilisation. Pierre Bittner est le CTO de Scaled Risk, éditeur d’une plateforme Big Data dédiée aux institutions financières. Scaled Risk est bâtie sur HBase. Pierre intervient depuis 10 ans sur les SI bancaires.

HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)

Modern Data Stack France

Démarrer rapidement avec Apache Flink par Bilal Baltagi - Présentation de l'éco Système Apache Flink - Prise en main rapide Bilal Baltagi a obtenu un master en analyse des données à l'Université Paris Nord - Paris 13. Il est actuellement consultant décisionnel chez Sarenza à Paris. Il intervient sur toutes les phases d'un projet décisionnel et Big data: recueil des besoins, conceptions, réalisations et accompagnement des utilisateurs. Bilal est de plus en plus intéressé à l'intersection de la Big Data avec la Business Intelligence et aime jouer avec Apache Flink!

Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015

Modern Data Stack France

Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy Retour d'expérience sur la mise en place d'un Datalab avec Hadoop, Spark et ElasticSearch dans un environnement contraint. Nous allons exposer les méthodes qui nous ont permis d'améliorer la conception, le développement, les performances et la recette d'une application complexe en Spark. Jonathan Winandy est MOE, développeur Java/Scala spécialisé dans les pipelines de données.

Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...

Modern Data Stack France

Record Linkage, un cas d’utilisation en Spark ML par Alexis Seigneurin Le Record Linkage est le process qui consiste à trouver, dans un data set, les enregistrements qui représentent la même entité. Cette opération est particulièrement compliquée quand, comme nous, vous travaillez avec des données anonymisées. C’est là que le Machine Learning vient en renfort ! Nous avons implémenté un algorithme de Record Linkage en Spark SQL (DataFrames) et Spark ML plutôt que d’utiliser des règles statiques. Nous verrons le process de Feature Engineering, pourquoi nous avons dû étendre Spark DataFrames pour préserver des méta-données au travers du pipeline de traitement, et comment nous avons utilisé le Machine Learning pour réconcilier les enregistrements. Nous verrons enfin comment nous avons industrialisé cette application. Alexis Seigneurin : Développeur depuis 15 ans, j'attache beaucoup d'importance aux problématiques de traitement, d'analyse et de stockage de la donnée.Chez Ippon, j'interviens principalement sur des missions de conseil et d'architecture autour de technologies big data. Par ailleurs, j'anime la formation Spark chez Ippon.

Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015

Modern Data Stack France

Spark dataframe

Modern Data Stack France

June Spark meetup : search as recommandation

Modern Data Stack France

Spark ML par Xebia (Spark Meetup du 11/06/2015)

Modern Data Stack France

Spark meetup at viadeo

Modern Data Stack France

Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel

Modern Data Stack France

HUG Hadoop User Group du 29 Janvier 2015 chez HP. Slidedeck des 3 talks ci-dessous: #1: Traitement des données non structurées (Vidéos, images, …) avec Haven pour Hadoop, #2: Apache Flink: Fast and Reliable Large-scale Data Processing, #3: Etude de cas, projet Hadoop dans le domaine des RH avec Capgemini. La vectorisation des documents : rendre comparables des informations non structurées, de nouvelles opportunités pour un acteur de l’emploi

Hadoop User Group 29Jan2015 Apache Flink / Haven / CapGemnini REX

Modern Data Stack France

The Cascading (big) data application framework

Modern Data Stack France

During this presentation, Olivier will introduce Apache Tez. What it does ? Why is it seen by many as the Map Reduce v2. How is it helping Hive / Pig / Cascading and other increase their performance. Speaker: Olivier Renault is a Principal Solution Engineer at Hortonworks the company behind Hortonworks Data Platform. Olivier is an expert on how to deploy Hadoop at scale in a secure and performant manner.

Introduction sur Tez par Olivier RENAULT de HortonWorks Meetup du 25/11/2014

Modern Data Stack France

Plus de Modern Data Stack France (20)

Talend spark meetup 03042017 - Paris Spark Meetup

Paris Spark Meetup - Trifacta - 03_04_2017

Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...

HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...

Hadoop France meetup Feb2016 : recommendations with spark

Hug janvier 2016 -EDF

HUG France - 20160114 industrialisation_process_big_data CanalPlus

Hugfr SPARK & RIAK -20160114_hug_france

HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)

Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015

Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...

Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015

Spark dataframe

June Spark meetup : search as recommandation

Spark ML par Xebia (Spark Meetup du 11/06/2015)

Spark meetup at viadeo

Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel

Hadoop User Group 29Jan2015 Apache Flink / Haven / CapGemnini REX

The Cascading (big) data application framework

Introduction sur Tez par Olivier RENAULT de HortonWorks Meetup du 25/11/2014

Stash - Data FinOPS

1. WE BUILD UNIQUE DATA SOLUTIONS TO CREATE VALUE Since 2019 1

2. 2 Une problématique commune chez les clients de Modeo Création d’une Data Platform permettant d’analyser des performances financières pour proposer des prêts Création d’une Data Platform permettant d’analyser des données énergétiques sur des parcs de bâtiments L’Oréal: Mise à disposition de données pour les métiers grâce à la création de domaines de données partagés au sein d’une data platform

3. 3 Problèmes rencontrés : Pas de solution d'Analytics clé en main pour les Data Platforms Les équipes data ne sont pas data-driven Web Product Data Platform Stash

4. Comment mesurer l’adoption de la Data par les équipes métier ? Expectations Data Team Reality Data Consumers Data Consumers Data Team 4 Problèmes rencontrés : Use case

5. Notre solution : Stash 1. Connexion aux outils Data (Datawarehouse, dashboard) et extraction des métadonnées 2. Vue globale sur l’ensemble des assets data et analyse de l’activité des Data Consumers 3. Tracking de l’usage des nouveaux assets, du niveau d’adoption, alerting et optimisations 5 Data Warehouse Dashboard

6. Les cas d’usages possibles avec Stash 6 Monitoring des coûts liés aux activités data 2. Production de rapports d’impacts carbone liés aux activités data 3. Priorisation des demandes faites aux équipes data 1.

7. Les gains apportés par Stash Augmentation du ROI de l’équipe Data Réduction des coûts de fonctionnement Diminution de l’impact écologique Facilitation de la prise en main de la donnée par les équipes métiers 7 1. 2. 4. 3.

8. La beta de la plateforme Stash 8

9. L’architecture de Stash 9

10. Roadmap de Stash 10 Mai 2023 Juillet 2023 Décembre 2023 • Connecteur BigQuery • Connecteur Metabase • Analyse des coûts • Activités des utilisateurs • Connecteur Snowflake • Connecteur Looker • Connecteur Redshift • Analyse des dashboards • Prédiction sur l’évolution des coûts • Alerting automatique • Connecteur Tableau, Power BI • Gestion des autorisation et accès • Authentification SSO • Multi-Admin • Gestion des tickets • Suggestion d’optimisation des coûts • Nettoyage automatique des ressources

Stash - Data FinOPS

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Stash - Data FinOPS

Similaire à Stash - Data FinOPS (20)

Plus de Modern Data Stack France

Plus de Modern Data Stack France (20)

Stash - Data FinOPS