Swiss Transport in Real Time: Tribulations in the Big Data Stack
•
2 gefällt mir•1,400 views
A lot of data are available in realtime on Swiss public transportation. Vehicles positions, station board (with delays) etc. We use these data to illustrate a common pattern and build a proof of concept project. The idea is to address the question: "Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize 'near real time' massive data and achieve a posteriori analysis?" We will describe such an infrastructure, focusing on the different bricks: * streaming events with Kafka and Logstash; * flow transformation with Akka or Play Streaming; * storage in Elasticsearch; * real time visualization with ReactJS and d3.js; * a posteriori analysis with Python and Jupyter; * not to forget DevOps with Docker, GCE and AWS. A conference given at softshake 2016 in Geneva - www.softshake.ch
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (18)
Mehr von Alexandre Masselot
Mehr von Alexandre Masselot (14)
Kürzlich hochgeladen
Kürzlich hochgeladen (20)
Swiss Transport in Real Time: Tribulations in the Big Data Stack
- 1. Swiss Transport in Real Time: Tribulations in the Big Data Stack Alexandre Masselot Soft-shake, Geneva October 2016
- 2. Swiss Transport in Real Time: Tribulations in the Big Data Stack Alexandre Masselot Soft-shake, Geneva October 2016
- 3. Is it possible to build a simple scalable infrastructure, to dispatch, store, transform and visualize “near real time” data and achieve a posteriori analysis? This is only a POC!!!
- 4. Finding a dataset • social media • finance • sport • energy • transport • log analysis • meteorology • bioinformatics • personalized health • monitoring • security • IOT
- 5. Finding a dataset • social media • finance • sport • energy • transport • log analysis • meteorology • bioinformatics • personalized health • monitoring • security • IOT
- 6. www.voev.ch
- 7. www.voev.ch
- 8. www.voev.ch
- 9. www.voev.ch
- 10. AAGL Autobus AG Liestal AAGR Auto AG Rothenburg AAGS Auto AG Schwyz AAGU AUTO AG URI AB Appenzeller Bahnen AG ABl Autolinee Bleniesi SA ABF Autobusbetrieb Freienbach AFA Automobilverkehr Frutigen Adelboden AG AMSA Autolinea Mendrisiense SA AOT Autokurse Oberthurgau AG ARAG Rottal Auto AG ARBAG Aletsch Riederalp Bahnen AG ARL Autolinee Regionali Luganesi AS Autobetrieb Sernftal AG ASGS Autotransports Sion-Grône-Sierre ASm Aare Seeland mobil AG AVG Autoverkehr Grindelwald AG AVJ Autotransports de la Vallée de Joux AWA Autobetrieb Weesen-Amden AZZK Autobus Zürich-Zollikon-Küsnacht BB Bürgenstock Bahnen BBA Busbetrieb Aarau AAR bus+bahn BBBW Bus-Betrieb Binggeli BDWM BDWM Transport AG BGU BGU Busbetrieb Grenchen und Umgebung AG BLAG Busland AG BLM Bergbahn Lauterbrunnen-Mürren AG BLS BLS AG BLT BLT Baselland Transport AG BLWE Busbetrieb Lichtensteig-Wattwil-Ebnat-Kappel BOB Berner Oberland-Bahnen AG BOGG Busbetrieb Olten Gösgen Gäu AG BOS BUS Ostschweiz AG BOS-M BOS Management AG BRB Brienz Rothorn Bahn AG BRER Busbetrieb Rapperswil-Eschenbach-Rüti BRSB Braunwald-Standseilbahn AG BSU Busbetrieb Solothurn und Umgebung AG BVB Basler Verkehrs-Betriebe CGN CGN SA CJ Compagnie des chemins de fer du Jura (C.J.) SA CROS Crossrail AG DBSCH DB Schenker Rail Schweiz GmbH DBZ Dolderbahn Zürich ETB Emmentalbahn, Huttwil FART Ferrovie Autolinee Regionali Ticinesi FB Forchbahn AG FC FUNICAR Kursbetriebe AG FLP Ferrovie Luganesi SA FW Frauenfeld-Wil-Bahn AG GGB Gornergrat Bahn AG HBSAG Hafenbahn Schweiz AG JB Jungfraubahn AG LEB Chemin de fer Lausanne-Echallens-Bercher LLB AG für Verkehrsbetriebe Leuk-Leukerbad und Umgebung LSMS Schilthornbahn AG MBC Transports de la région Morges-Bière-Cossonay SA MG Ferrovia Monte Generoso SA MGB Matterhorn Gotthard Bahn MIB Kraftwerke Oberhasli AG Meiringen-Innertkirchen-Bahn MOB Chemin de fer Montreux-Oberland Bernois MVR Transports Montreux-Vevey-Riviera SA NHB Niederhornbahn NB Niesenbahn AG NStCM Chemin de fer Nyon-St. Cergue-Morez OeBB Oensingen-Balsthal-Bahn PAG PostAuto Schweiz AG PB PILATUS-BAHNEN AG RA RegionAlps SA RAILG Railgate AG RB RIGI BAHNEN AG RBL Regionalbus Lenzburg AG RBS Regionalverkehr Bern-Solothurn AG REGO Regiobus Gossau AG RhB Rhätische Bahn AG RNCH DB Schenker Rail Schweiz GmbH RLC railCare RVBW Regionale Verkehrsbetriebe Baden-Wettingen AG RVSH SchaffhausenBus, Regionale Verkehrsbetriebe SH AG SBB SBB AG SBB-D SBB GmbH SBC Stadtbus Chur AG SBF Stadtbus Frauenfeld SBW Stadtbus Winterthur SMC Cie de Chemin de Fer+d'Autobus Sierre-Montana-Crans (SMC) SA SMGN Société des Mouettes Genevoises Navigation SA SMtS Funiculaire St-Imier - Mont-Soleil SA SOB Schweizerische Südostbahn AG SRTAG Swiss Rail Traffic AG SSIF Società Subalpina di Imprese Ferroviarie S.p.A. ST Sursee-Triengen-Bahn STB Sensetalbahn AG STI Verkehrsbetriebe STI AG SVB BERNMOBIL Städt. Verkehrsbetriebe Bern SWAG Seilbahn Weissenstein AG SZU Sihltal Zürich Uetliberg Bahn SZU AG THURBO Thurbo AG TL Transports publics de la région lausannoise SA TMR TRANSPORTS DE MARTIGNY ET REGIONS SA TPC Transports Publics du Chablais SA TPF Transports publics fribourgeois SA TPG Transports publics genevois TPL Trasporti Pubblici Luganesi SA TPN Transports Publics de la Région Nyonnaise SA TRN Transports Publics Neuchâtelois SA TRAVYS TRAVYS SA Transports Vallée de Joux-Yverdon-Sainte-Croix TSD Theytaz Excursions Sion VB Verkehrsbetriebe Biel VBD Verkehrsbetrieb der Landschaft Davos VBG VBG Verkehrsbetriebe Glattal AG VBH Verkehrsbetriebe Herisau VBL Verkehrsbetriebe Luzern AG VBSG Verkehrsbetriebe St.Gallen VBSH Verkehrsbetriebe Schaffhausen VBZ Verkehrsbetriebe Zürich VMCV Transports publics Vevey-Montreux-Chillon-Villeneuve VSSU Verband Schweizerischer Schifffahrtsunternehmen VZO Verkehrsbetriebe Zürichsee und Oberland AG WAB Wengernalpbahn AG WB Waldenburgerbahn AG WRS Widmer Rail Services Personal AG WSB Wynental- und Suhrentalbahn AAR bus+bahn ZB zb Zentralbahn AG ZVB Zugerland Verkehrsbetriebe AG ZVV Zürcher Verkehrsverbund ZVV AES Ägerisee Schifffahrt AG BLS BLS AG Schifffahrt Berner Oberland Thuner- und Brienzersee BPG Basler Personenschifffahrt AG BSG Bielersee-Schifffahrts-Gesellschaft AG CGN CGN SA FHM Zürichsee-Fähre Horgen-Meilen AG LNM Société de Navigation Lacs de Neuchâtel et Morat SA NLM Navigazione Lago Maggiore SBS SBS Schifffahrt AG SGG Schifffahrts-Genossenschaft Greifensee SGH Schifffahrtsgesellschaft Hallwilersee AG SGV Schifffahrtsgesellschaft des Vierwaldstättersees SGZ Schifffahrtsgesellschaft für den Zugersee AG / Ägerisee SNL Società Navigazione del Lago di Lugano SA SW Schiffsbetrieb Walensee AG URh Schweiz. Schifffahrtsgesellschaft Untersee und Rhein AG ZSG Zürichsee-Schifffahrtsgesellschaft AG
- 11. AAGL Autobus AG Liestal AAGR Auto AG Rothenburg AAGS Auto AG Schwyz AAGU AUTO AG URI AB Appenzeller Bahnen AG ABl Autolinee Bleniesi SA ABF Autobusbetrieb Freienbach AFA Automobilverkehr Frutigen Adelboden AG AMSA Autolinea Mendrisiense SA AOT Autokurse Oberthurgau AG ARAG Rottal Auto AG ARBAG Aletsch Riederalp Bahnen AG ARL Autolinee Regionali Luganesi AS Autobetrieb Sernftal AG ASGS Autotransports Sion-Grône-Sierre ASm Aare Seeland mobil AG AVG Autoverkehr Grindelwald AG AVJ Autotransports de la Vallée de Joux AWA Autobetrieb Weesen-Amden AZZK Autobus Zürich-Zollikon-Küsnacht BB Bürgenstock Bahnen BBA Busbetrieb Aarau AAR bus+bahn BBBW Bus-Betrieb Binggeli BDWM BDWM Transport AG BGU BGU Busbetrieb Grenchen und Umgebung AG BLAG Busland AG BLM Bergbahn Lauterbrunnen-Mürren AG BLS BLS AG BLT BLT Baselland Transport AG BLWE Busbetrieb Lichtensteig-Wattwil-Ebnat-Kappel BOB Berner Oberland-Bahnen AG BOGG Busbetrieb Olten Gösgen Gäu AG BOS BUS Ostschweiz AG BOS-M BOS Management AG BRB Brienz Rothorn Bahn AG BRER Busbetrieb Rapperswil-Eschenbach-Rüti BRSB Braunwald-Standseilbahn AG BSU Busbetrieb Solothurn und Umgebung AG BVB Basler Verkehrs-Betriebe CGN CGN SA CJ Compagnie des chemins de fer du Jura (C.J.) SA CROS Crossrail AG DBSCH DB Schenker Rail Schweiz GmbH DBZ Dolderbahn Zürich ETB Emmentalbahn, Huttwil FART Ferrovie Autolinee Regionali Ticinesi FB Forchbahn AG FC FUNICAR Kursbetriebe AG FLP Ferrovie Luganesi SA FW Frauenfeld-Wil-Bahn AG GGB Gornergrat Bahn AG HBSAG Hafenbahn Schweiz AG JB Jungfraubahn AG LEB Chemin de fer Lausanne-Echallens-Bercher LLB AG für Verkehrsbetriebe Leuk-Leukerbad und Umgebung LSMS Schilthornbahn AG MBC Transports de la région Morges-Bière-Cossonay SA MG Ferrovia Monte Generoso SA MGB Matterhorn Gotthard Bahn MIB Kraftwerke Oberhasli AG Meiringen-Innertkirchen-Bahn MOB Chemin de fer Montreux-Oberland Bernois MVR Transports Montreux-Vevey-Riviera SA NHB Niederhornbahn NB Niesenbahn AG NStCM Chemin de fer Nyon-St. Cergue-Morez OeBB Oensingen-Balsthal-Bahn PAG PostAuto Schweiz AG PB PILATUS-BAHNEN AG RA RegionAlps SA RAILG Railgate AG RB RIGI BAHNEN AG RBL Regionalbus Lenzburg AG RBS Regionalverkehr Bern-Solothurn AG REGO Regiobus Gossau AG RhB Rhätische Bahn AG RNCH DB Schenker Rail Schweiz GmbH RLC railCare RVBW Regionale Verkehrsbetriebe Baden-Wettingen AG RVSH SchaffhausenBus, Regionale Verkehrsbetriebe SH AG SBB SBB AG SBB-D SBB GmbH SBC Stadtbus Chur AG SBF Stadtbus Frauenfeld SBW Stadtbus Winterthur SMC Cie de Chemin de Fer+d'Autobus Sierre-Montana-Crans (SMC) SA SMGN Société des Mouettes Genevoises Navigation SA SMtS Funiculaire St-Imier - Mont-Soleil SA SOB Schweizerische Südostbahn AG SRTAG Swiss Rail Traffic AG SSIF Società Subalpina di Imprese Ferroviarie S.p.A. ST Sursee-Triengen-Bahn STB Sensetalbahn AG STI Verkehrsbetriebe STI AG SVB BERNMOBIL Städt. Verkehrsbetriebe Bern SWAG Seilbahn Weissenstein AG SZU Sihltal Zürich Uetliberg Bahn SZU AG THURBO Thurbo AG TL Transports publics de la région lausannoise SA TMR TRANSPORTS DE MARTIGNY ET REGIONS SA TPC Transports Publics du Chablais SA TPF Transports publics fribourgeois SA TPG Transports publics genevois TPL Trasporti Pubblici Luganesi SA TPN Transports Publics de la Région Nyonnaise SA TRN Transports Publics Neuchâtelois SA TRAVYS TRAVYS SA Transports Vallée de Joux-Yverdon-Sainte-Croix TSD Theytaz Excursions Sion VB Verkehrsbetriebe Biel VBD Verkehrsbetrieb der Landschaft Davos VBG VBG Verkehrsbetriebe Glattal AG VBH Verkehrsbetriebe Herisau VBL Verkehrsbetriebe Luzern AG VBSG Verkehrsbetriebe St.Gallen VBSH Verkehrsbetriebe Schaffhausen VBZ Verkehrsbetriebe Zürich VMCV Transports publics Vevey-Montreux-Chillon-Villeneuve VSSU Verband Schweizerischer Schifffahrtsunternehmen VZO Verkehrsbetriebe Zürichsee und Oberland AG WAB Wengernalpbahn AG WB Waldenburgerbahn AG WRS Widmer Rail Services Personal AG WSB Wynental- und Suhrentalbahn AAR bus+bahn ZB zb Zentralbahn AG ZVB Zugerland Verkehrsbetriebe AG ZVV Zürcher Verkehrsverbund ZVV AES Ägerisee Schifffahrt AG BLS BLS AG Schifffahrt Berner Oberland Thuner- und Brienzersee BPG Basler Personenschifffahrt AG BSG Bielersee-Schifffahrts-Gesellschaft AG CGN CGN SA FHM Zürichsee-Fähre Horgen-Meilen AG LNM Société de Navigation Lacs de Neuchâtel et Morat SA NLM Navigazione Lago Maggiore SBS SBS Schifffahrt AG SGG Schifffahrts-Genossenschaft Greifensee SGH Schifffahrtsgesellschaft Hallwilersee AG SGV Schifffahrtsgesellschaft des Vierwaldstättersees SGZ Schifffahrtsgesellschaft für den Zugersee AG / Ägerisee SNL Società Navigazione del Lago di Lugano SA SW Schiffsbetrieb Walensee AG URh Schweiz. Schifffahrtsgesellschaft Untersee und Rhein AG ZSG Zürichsee-Schifffahrtsgesellschaft AG
- 13. What do we propose? https://github.com/alexmasselot/swiss-transport-realtime
- 16. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 18. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 19. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 23. offline real time transform format dispatch storage expose analysis visualization users data analysts vehicles positions station boards This is only a POC!!!
- 24. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 25. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 28. { id: 12345xyz, category: IR, name: IR 72928, destination: Alpnach, position: { lat: 46.940582, lon: 8.275442 } } positionspositions
- 29. { id: 12345xyz, category: IR, name: IR 72928, destination: Alpnach, position: { lat: 46.940582, lon: 8.275442 } } station boards station boards { station: { name: Lausanne, location: {lat, long} }, departures: [ { to:Domodossola, time: 20:13, delayed: 4, prognosis: { capacity2nd: 3, capacity1st: 1 } }, {…} positionspositions
- 31. Events are streamed to “Kafka is used for building real- time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.” kafka.apache.org
- 32. Events are streamed to “Kafka is used for building real- time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.” kafka.apache.org real time offline
- 37. Store format dispatch storage logstash elasticsearch flat fileflat fileflat fileflat fileflat fileflat fileflat files
- 41. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 42. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 43. Stream transformation • We have an input flow of events and want to: • know if a train is stopped into a station; • know if a train as exited the network; • expose an aggregated station board. • We need to: • digest the input flow; • process with temporary state persistance; • be able to expose snapshots.
- 44. Stream transformation • Scala is The language for Big Data (functional & OO) • Akka (actors): • lightweight entities (one per train, per station); • easy asynchronous communications; • the perfect use case. • Play framework for REST service, configuration etc.
- 45. Spark Streaming, Storm, Flink… TIMTOWTDI
- 46. Spark Streaming, Storm, Flink… TIMTOWTDI
- 47. DevOps
- 48. : putting everything together • The “simple” infrastructure is not so light; • A developper should have everything on his/her laptop without polluting the machine; • Docker comes to the rescue: • lightweight containers, • pre-existing images, • docker-compose to describe the infrastructure • deploy directly to AWS or GCE.
- 52. Performance: 2 numbers 15x faster ajax queries (vs SBB rest) to gather 30 times more trains
- 53. Performance: 2 numbers 15% CPU: nodeJS + kafka + akka + play 15x faster ajax queries (vs SBB rest) to gather 30 times more trains
- 54. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 55. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 56. A scalable infrastructure Kafka partitioning and zookeeper Logstash ? (but naturally recover on failure) Elasticsearch partitioning Spark streaming distributed by essence & write ahead logs Akka aka cluster, supervisors & failure strategy Docker Kubernetes, AWS, GCE, Exoscale
- 58. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 59. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 62. JS for large data set • Only a rendering library (but fast); • Use a flux architecture; • Built by Facebook.
- 63. JS for large data set • Only a rendering library (but fast); • Use a flux architecture; • Built by Facebook. Dispatcher Store View Action Action
- 64. JavaScript for big data viz • React can handle viz >100k elements (don’t show them individually!)
- 65. JavaScript for big data viz • React can handle viz >100k elements (don’t show them individually!) • Beware of performance issue;
- 66. JavaScript for big data viz • React can handle viz >100k elements (don’t show them individually!) • Beware of performance issue; • Testing is not an option.
- 67. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 68. Is it possible to build a simple scalable infrastructure, to dispatch, transform and visualize “near real time” massive data and achieve a posteriori analysis?
- 69. 4.5 months of data A. What is the train occupancy during weekdays, between Lausanne and Geneva? B. When are the train the most delayed? C. Where are the train the most delayed?
- 70. A. Lausanne-Genève: when to have a seat?
- 71. Lausanne-Genève: when to have a seat?
- 72. Lausanne-Genève: when to have a seat?
- 73. Lausanne-Genève: when to have a seat? Good luck in finding a spot!
- 74. or pay… Lausanne-Genève: when to have a seat? Good luck in finding a spot! Wake up earlier!
- 75. or pay… Lausanne-Genève: when to have a seat? Good luck in finding a spot! Wake up earlier!
- 76. Lausanne-Genève: when to have a seat?
- 77. B. When are the trains most delayed?
- 79. C. Where are the trains most delayed?
- 81. Trains Expected
- 82. Trains Delayed
- 85. a data science notebook
- 86. • Web application • Interactively edit and run pieces of code (analysis steps) • Inclined towards Python (although other languages are available) • Beware of performance with large dataset (sample data or use Spark mode) a data science notebook
- 89. transform format dispatch storage expose analysis visualization users data analysts vehicles positions station boards This is only a POC!!! https://github.com/alexmasselot/swiss-transport-realtime
- 91. @alex_massamasselot@octo.com Nov 8th 7 pm, Genève “Banknote Recognition System” (Machine Learning) Nov 10th 6 pm, Genève “Data Science & Machine Learning: Explorer, Comprendre Et Prédire” Demo on OCTO stand
Hinweis der Redaktion
- OCTO, Lausanne cabinet qui conseille, développe. de plus en + de clients avec des problématique Big Data des technos dont on se sert chez nos clients et d’autres que l’on veut explorer L’année 2016 est l’année Big Data chez, où nous organisons une série d’afterworks. Le prochain est sur le data science le 10 novembre
- ça a démarré comme un projet fait sur le 20% R&D pendant les . il y a des tonnes de données dispos, la première question a été de trouver des données intéressantes
- On voulait quelque chose qui ne soit pas directement associé à une mission en cours et qui intéresse beaucoup de monde. “Qui a pris un bateau, un train, un bus pour venir ici ce matin?”
- Quoi de plus suisse que de s’intéresser aux transports publics?
- ça fait partie de la culture. Et c’est pas que les CFF Ce sont les trains
- des bus, surtout postaux. Pour l’anecdote, la majeure partie du projet que je présente aujourd’hui a été développée pendant mes trajets train + bus. Ce qui m’a valut quelque fois de lever les yeux une gare trop loin…
- bref, les transports c’est sur terre, sur mer et dans les airs
- et ce que l’on oublie, c’est que ce ne sont pas seulement que les CFF, mais 170 entreprises de transport
- ces entreprises sont ensembles, sous l’égide de l’Union des Transport Publics, qui font entre autres l’abo général, mais aussi des applis
- des applis qui donnent le retard en temps réel et même une carte avec le trains. soit dit en passant, cette app de viz est passablement buggée. Ce qui nous a donner envie de jouer. et ce qui est pratique, c’est qu’on peut récupérer les data via des API
- et pour faire le pendant, sans aucune optimisation, les requêtes qui ramènent tous les trains de Suisse et celle qui prennent tous les boards prennent ~300ms (à la place de 5 secondes pour 30 fois moins de véhicules). la démo est online sur Google Cloud, mais on limit les risques Rentron maintenant dans le coeur de la présentation
- Donc, notre but devient un application du style
- On en vient dans dur et voyons ce que recouvre une architecture simple
- L’architecture se résumé donc à Acquérir les data de positions et les boards avoir un système qui collecte les données et permets de les dispatcher à qui s’inscrit stocker les data pour des analyses a posteriori processer les data (est-ce qu’un train est en gare? Est-ce qu’il est sorti du circuit… visualizer Rester “simple” n’est pas évident, car dans la stack Big Data
- Par ce que le premier problème, dès qu’on évoque le buzz owrd “Big Data”, c’est l’avalanche te technologie. Et ce graph évolue sans cesse. N’oublions pas de rester simple, donc
- On va survoler chacune des briques, en tentant de la mettre en relation avec d’autres technologies. on pourrait passer une session soft shake sur chacune de ces briques. Les choix proposés sont le fruit de nos tribulations, parfois en dehors des solutions que l’on connait et pousse actuellement chez nos client. Mais c’est le but de ce POC On va tenter, pour chacune des technos présentées, d’évoquer des solution alternatives Passons à la pratique, à la première brique
- Bon on a couvert la partie “simple infrastructure”, maintenant on va détailler. Commençons par la partie acquisition et dispatch.
- C’est la partie qui prend les événements (train positions et panneaux d’affichages) et permet de les servir à des consommateurs, qui les traiteront ensuite. Cependant, on doit d’aborder d’abord aborder la question de l’acquisition. Nous n’avons malheureusement pas accès au GPS des véhicules, ni au SI des CFF pour savoir ce qui se passe dans une gare
- Un train contain… un station board contient… Tous ces événements sont récoltés et poussés plus loin, vers Kafka
- Kafka qui est un hub de message, ou un message broker
- Kafka is an open source application producers pushing rich message with topics (“vehicle position”, “station board”) consumers register to topic and pull messages multi language - we used here Scala & NodeJS beware the release evolution
- Kafka is not the only solutions tiré vers un stockage.
- log stash est très utilisé pour le processing de log il y a beaucoup d’adapteur entrant et descendant peut être un peu gourmand en ressources on a eu plusieurs destinations Elasticsearch, document store, pour la facilité d’installation et de requêtage flat files basiques (avec rotation toutes les heures)
- other alternatives are less versatile with connectors, offer less transformation or more log oriented on a essayé Flume mais on avait arrêté pour des problème de connecteurs vers ES. Logstash a marché en quelques minutes
- For large time series, columnar database would have certainly be a better choice ES était le choix de la facilité
- kafka permet de mettre autant de consumers que désirés on regarde maintenant du côté du streaming real time
- pour l’instant, à part pour la partie d’acquisition assez simple, le fait de mettre en place kafka, log stash et Elasticsearch n’était que de la config. relevons les manches et passons à la partie transformation
- stopped train means that its position is the same as the previous one into a station mean see if the position of a train is within 200 meters the position of a station
- Spark streaming (with state): designed for hdfs, naturally suited for distribution, usable all across the Big Data use cases; on en est rendu au point où les info sont digérées au fil de l’eau et exposées À travers du REST
- On a codé/configuré notre infrastructure regardons en 2 minutes comment déployer, scaler et une mention des performances
- beware he cost on AWS or GCE en pratique, on peut mettre chacune de nos petites boites dans un container
- 1000 train et 3000 gares GCE snapshot 1 CPU, 4G memory => 15% of CPU
- on avance dans notre plan même si le sujet était abordé de manière sous-jacente, parlons deux secondes de la scalabilité
- Kafka : 100k events per seconds la scalabilité va de paire avec la résistance à la panne un warning ur aka ou tout est possible, mais faut se le faire à la main
- On a implémenté l’infra mais le but était de servir des users soit relatif, soit offline
- donc prêtes à être visualisées dans le browser.
- visualization, ça veut dire présentation & interactivité le cercle taille: nombre de trains attendus, secteur orange: nombre de trains en retard. mouse over station => requête REST pour aller chercher le snapshot de la gare en question le fond de carte est google map pour la viz elle même, y’a pas de TIMTOWTDI, c’est d3.js
- c’est d3.js on transform des données en éléments de DOM et on interagit avec limit is the sky.
- React 4 large data juste un libraire de rendering faut un architecture de flux il y a beaucoup d’idées préconçues sur JavaScript L’abondance de frameworks, la vitesse d’obsolescence
- perf: au delà de mettre trop d’éléments, de simples transitions peuvent couler les perf tests: on pourrait passer la matinée sur le sujet, mais avoir un page qui regroupe différentes configurations permet de tout checker en un coup d’oeil plutôt que de passer sont temps à naviguer dans l’interface ou de compter sur d’éventuels testers.
- on a couvert de quoi faire notre application de visualisation interactive en temps réel les données sont stockées mais ils nous manque encore la partie data analysis. regardons d’abord quelques résultats et ensuite comment les obtenir.
- - on reviendra sur la questions des 4.5 mois
- lorsqu’on regarde l’appli cff, on a une estimation du taux de remplissage et cette info est poussé par les station board on veux alors repartir dans les données et regarder quand est-ce que le trains sont chargé en fonction de l’heure de la journée - si on se décale d’une heure, on a de la place
- ou nous sommes dans un merveilleux pays capitaliste, tout peut s’acheter
- et en pratique, il s’agit simplement de faire un groupby (r => (r.timestap.hourOfDay, capacity).size()
- on regarde d’abord le nombre de trains annoncés en gare en fonction de l’heure de la journée rien la nuit, unpic le matin et en fin d’après-midi.
- idem pour les retard et on peut superposer les deux jeux de données
- en rouge le nombre de trains en bleu les nombre de retards y’a peu de trains la nuit, mais un sur 10 est à la bourre Overall, 4% de train en retard Quand sont en retard les trains, c’est bien. Mais où?, c’est encore mieux
- - un carte de la Suisse
- un histogram des gares les plus fréquentées. un pic dans la région de Zurich
- les retards les plus massif aussi à Zurich. mais aussi dans la région de Lugano et la vallée qui monte à Zermatt C’est joli ces images, mais comment on y arrive?
- Store data, data processing method along with results together in order to reproduce. mix interactivity and reproducibility
- et c’est la fin
- This is a global view of the simple infrastructure we presented, but it is only
- discussion avec mon chauffeur de bus