Submit Search
Upload
DigdagはなぜYAMLなのか？
•
9 likes
•
5,622 views
Sadayuki Furuhashi
Follow
俺たちのYAMLはYAMLを超える
Read less
Read more
Technology
Report
Share
Report
Share
1 of 35
Download now
Download to read offline
Recommended
Presented at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
Sadayuki Furuhashi
Talk at Workflow Engines Night, Tokyo, Japan
Digdagによる大規模データ処理の自動化とエラー処理
Digdagによる大規模データ処理の自動化とエラー処理
Sadayuki Furuhashi
2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。機械学習モデルの開発者が、よりモデルの開発にのみ集中できるようにすることを目指して開発している「LakeTahoe（レイクタホ）」について紹介します。 https://ml-kubernetes.connpass.com/event/239859/
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/XZKOHIfEnsU
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
Yahoo!デベロッパーネットワーク
SPIFFE Meetup Tokyo #1 https://spiffe-jp.connpass.com/event/126507/
Athenz + SPIFFE によるアクセス制御
Athenz + SPIFFE によるアクセス制御
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote発表スライドです。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/iTazAJ2bSmc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
Test Engineers Meetup 近年のソフトウエア開発では、ビジネス変化への対応がスピーディーで あることが求められます。いかに迅速にかつサービスの品質を落とさず にお客様へ新しい価値を提供できるかが重要です。 このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可 視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組 んでいることを事例として紹介します。
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
2022/3/24に開催した「オンプレML基盤 on Kubernetes」のパネルディスカッションパートの資料です。 https://ml-kubernetes.connpass.com/event/239859/
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
Recommended
Presented at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
Sadayuki Furuhashi
Talk at Workflow Engines Night, Tokyo, Japan
Digdagによる大規模データ処理の自動化とエラー処理
Digdagによる大規模データ処理の自動化とエラー処理
Sadayuki Furuhashi
2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。機械学習モデルの開発者が、よりモデルの開発にのみ集中できるようにすることを目指して開発している「LakeTahoe（レイクタホ）」について紹介します。 https://ml-kubernetes.connpass.com/event/239859/
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/XZKOHIfEnsU
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
Yahoo!デベロッパーネットワーク
SPIFFE Meetup Tokyo #1 https://spiffe-jp.connpass.com/event/126507/
Athenz + SPIFFE によるアクセス制御
Athenz + SPIFFE によるアクセス制御
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote発表スライドです。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/iTazAJ2bSmc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
Test Engineers Meetup 近年のソフトウエア開発では、ビジネス変化への対応がスピーディーで あることが求められます。いかに迅速にかつサービスの品質を落とさず にお客様へ新しい価値を提供できるかが重要です。 このプレゼンテーションでは、開発迅速性とサービスの品質の計測と可 視化、そして、2つの要素をバランスよく改善するべく自分たちが取り組 んでいることを事例として紹介します。
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
2022/3/24に開催した「オンプレML基盤 on Kubernetes」のパネルディスカッションパートの資料です。 https://ml-kubernetes.connpass.com/event/239859/
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
ムード（気分）は人間の行動に大きく影響します。インターネットサービスにおいて、もし人々のムードを考慮し寄り添えたなら、より魅力的なサービスが提供できるのではないでしょうか。本セッションではヤフーが持つビッグデータを用いて「ムードを推定する」取り組みについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/WyZOmUN52-s
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
2019年3月14日開催された Hadoop / Spark Conference Japan 2019 で発表した資料です。
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
Yahoo!デベロッパーネットワーク
about blockchain KYC, at blockchain.tokyo #11
KYC and identity on blockchain
KYC and identity on blockchain
mosa siru
第18回 MLOps 勉強会の登壇資料です。 https://mlops.connpass.com/event/242652/ MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。 ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。オンプレミス環境のKubernetesを使って構築した機械学習基盤の開発、運用の取り組みをご紹介します。 https://ml-kubernetes.connpass.com/event/239859/
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
「Bonfire#4 Kubernetesで課題解決」で使用した資料になります。 https://yj-meetup.connpass.com/event/153658/
k8s初心者が gRPC × envoyを導入したら色々苦労した話 #yjbonfire
k8s初心者が gRPC × envoyを導入したら色々苦労した話 #yjbonfire
Yahoo!デベロッパーネットワーク
データドリフトの紹介 20210616_MLOps_commuinity_#9_datadrift
データドリフトの紹介
データドリフトの紹介
Sho Tanaka
（デブサミ 2016 講演資料） Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 土橋 昌 吉田 耕陽 イベントページ http://event.shoeisha.jp/devsumi/20160218/session/991/
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
NTT DATA OSS Professional Services
Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/F5EQqWOw8So
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
In the first half, we give an introduction to modern serialization systems, Protocol Buffers, Apache Thrift and Apache Avro. Which one does meet your needs? In the second half, we show an example of data ingestion system architecture using Apache Avro.
Apache Avro vs Protocol Buffers
Apache Avro vs Protocol Buffers
Seiya Mizuno
Prestoの導入メリットのほか、HiveQLからPrestoへの書き換えTipsを紹介します
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
akirahiguchi
Apache Pulsar Meetup Japan #4 https://japan-pulsar-user-group.connpass.com/event/222026/
Apache Pulsarの概要と近況
Apache Pulsarの概要と近況
Yahoo!デベロッパーネットワーク
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
cyberagent
社内勉強会資料。 Hadoopの概要について説明。
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
2017/12/22（金）開催 「Data Engineering and Data Analysis Workshop #3」登壇資料
Presto on YARNの導入・運用
Presto on YARNの導入・運用
cyberagent
Apache Kafka Meetup Japan #3 https://kafka-apache-jp.connpass.com/event/58619/ LT発表（突発）資料
Apache Kafka 0.11 の Exactly Once Semantics
Apache Kafka 0.11 の Exactly Once Semantics
Yoshiyasu SAEKI
Hadoop Conference Japan 2009 「Hadoop入門」の講演資料
Hadoop入門
Hadoop入門
Preferred Networks
2017/05/26のDB比較セミナーで使用した資料です。 NoSQLであるRedisについて説明しています。
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
Keynote on Fluentd Meetup Summer Related Slide - Fluentd ServerEngine Integration & Windows Support http://www.slideshare.net/RittaNarita/fluentd-meetup-2016-serverengine-integration-windows-support - Fluentd v0.14 Plugin API Details http://www.slideshare.net/tagomoris/fluentd-v014-plugin-api-details
Keynote - Fluentd meetup v14
Keynote - Fluentd meetup v14
Treasure Data, Inc.
In Fluentd new version v0.14, ServerEngine is integrated. I'll explain about the advantages of ServerEngine.
Fluentd Meetup 2016 - ServerEngine Integration & Windows support
Fluentd Meetup 2016 - ServerEngine Integration & Windows support
Ritta Narita
More Related Content
What's hot
ムード（気分）は人間の行動に大きく影響します。インターネットサービスにおいて、もし人々のムードを考慮し寄り添えたなら、より魅力的なサービスが提供できるのではないでしょうか。本セッションではヤフーが持つビッグデータを用いて「ムードを推定する」取り組みについてご紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/WyZOmUN52-s
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
2019年3月14日開催された Hadoop / Spark Conference Japan 2019 で発表した資料です。
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
Yahoo!デベロッパーネットワーク
about blockchain KYC, at blockchain.tokyo #11
KYC and identity on blockchain
KYC and identity on blockchain
mosa siru
第18回 MLOps 勉強会の登壇資料です。 https://mlops.connpass.com/event/242652/ MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。 ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
2022/3/24に開催した「オンプレML基盤 on Kubernetes」の資料です。オンプレミス環境のKubernetesを使って構築した機械学習基盤の開発、運用の取り組みをご紹介します。 https://ml-kubernetes.connpass.com/event/239859/
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
「Bonfire#4 Kubernetesで課題解決」で使用した資料になります。 https://yj-meetup.connpass.com/event/153658/
k8s初心者が gRPC × envoyを導入したら色々苦労した話 #yjbonfire
k8s初心者が gRPC × envoyを導入したら色々苦労した話 #yjbonfire
Yahoo!デベロッパーネットワーク
データドリフトの紹介 20210616_MLOps_commuinity_#9_datadrift
データドリフトの紹介
データドリフトの紹介
Sho Tanaka
（デブサミ 2016 講演資料） Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 土橋 昌 吉田 耕陽 イベントページ http://event.shoeisha.jp/devsumi/20160218/session/991/
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
NTT DATA OSS Professional Services
Yahoo! JAPANのIaaS基盤では200超のOpenStackクラスタが稼働しており、それらのコントロールプレーンをKubernetes上にデプロイしています。IaaSチームで管理している十数のKubernetesクラスタは古いバージョンのまま運用が続けられていたため、現在、段階的にバージョンアップおよびその自動化に取り組んでいます。このようなクラスタ群をメンテナンスする中で、工夫した点や失敗した点、得られた知見を紹介します。 Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/ アーカイブ動画はこちらからご覧ください。 https://youtu.be/F5EQqWOw8So
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
In the first half, we give an introduction to modern serialization systems, Protocol Buffers, Apache Thrift and Apache Avro. Which one does meet your needs? In the second half, we show an example of data ingestion system architecture using Apache Avro.
Apache Avro vs Protocol Buffers
Apache Avro vs Protocol Buffers
Seiya Mizuno
Prestoの導入メリットのほか、HiveQLからPrestoへの書き換えTipsを紹介します
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
akirahiguchi
Apache Pulsar Meetup Japan #4 https://japan-pulsar-user-group.connpass.com/event/222026/
Apache Pulsarの概要と近況
Apache Pulsarの概要と近況
Yahoo!デベロッパーネットワーク
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
cyberagent
社内勉強会資料。 Hadoopの概要について説明。
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Ken SASAKI
2017/12/22（金）開催 「Data Engineering and Data Analysis Workshop #3」登壇資料
Presto on YARNの導入・運用
Presto on YARNの導入・運用
cyberagent
Apache Kafka Meetup Japan #3 https://kafka-apache-jp.connpass.com/event/58619/ LT発表（突発）資料
Apache Kafka 0.11 の Exactly Once Semantics
Apache Kafka 0.11 の Exactly Once Semantics
Yoshiyasu SAEKI
Hadoop Conference Japan 2009 「Hadoop入門」の講演資料
Hadoop入門
Hadoop入門
Preferred Networks
2017/05/26のDB比較セミナーで使用した資料です。 NoSQLであるRedisについて説明しています。
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
What's hot
(20)
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
HDFSのスケーラビリティの限界を突破するためのさまざまな取り組み | Hadoop / Spark Conference Japan 2019 #hc...
KYC and identity on blockchain
KYC and identity on blockchain
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
k8s初心者が gRPC × envoyを導入したら色々苦労した話 #yjbonfire
k8s初心者が gRPC × envoyを導入したら色々苦労した話 #yjbonfire
データドリフトの紹介
データドリフトの紹介
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Apache Avro vs Protocol Buffers
Apache Avro vs Protocol Buffers
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
HandlerSocket plugin for MySQL
HandlerSocket plugin for MySQL
Apache Pulsarの概要と近況
Apache Pulsarの概要と近況
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
Presto on YARNの導入・運用
Presto on YARNの導入・運用
Apache Kafka 0.11 の Exactly Once Semantics
Apache Kafka 0.11 の Exactly Once Semantics
Hadoop入門
Hadoop入門
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Viewers also liked
Keynote on Fluentd Meetup Summer Related Slide - Fluentd ServerEngine Integration & Windows Support http://www.slideshare.net/RittaNarita/fluentd-meetup-2016-serverengine-integration-windows-support - Fluentd v0.14 Plugin API Details http://www.slideshare.net/tagomoris/fluentd-v014-plugin-api-details
Keynote - Fluentd meetup v14
Keynote - Fluentd meetup v14
Treasure Data, Inc.
In Fluentd new version v0.14, ServerEngine is integrated. I'll explain about the advantages of ServerEngine.
Fluentd Meetup 2016 - ServerEngine Integration & Windows support
Fluentd Meetup 2016 - ServerEngine Integration & Windows support
Ritta Narita
Talk at Fluentd meetup summer in Japan: http://eventdots.jp/event/588701
Fluentd v0.14 Overview
Fluentd v0.14 Overview
N Masahiro
Overview and details about changes of Fluentd v0.14 Plugin APIs
Fluentd v0.14 Plugin API Details
Fluentd v0.14 Plugin API Details
SATOSHI TAGOMORI
Logging for Production Systems in The Container Era https://www.meetup.com/Bay-Area-Kubernetes-Meetup/events/235765474/
Fluentd at Bay Area Kubernetes Meetup
Fluentd at Bay Area Kubernetes Meetup
Sadayuki Furuhashi
Talk at Docker Meetup. Video: https://www.youtube.com/watch?v=4kVeHcq0nnY
Logging for Production Systems in The Container Era
Logging for Production Systems in The Container Era
Sadayuki Furuhashi
We created a plugin-based data collection tool that can read any chaotically formatted files called "CSV" by guessing its schema automatically Talked at csv,conf,v2 in Berlin http://csvconf.com/
Fighting Against Chaotically Separated Values with Embulk
Fighting Against Chaotically Separated Values with Embulk
Sadayuki Furuhashi
第五回ゲームサーバ勉強会 http://eventdots.jp/event/590582
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
Workflow Engines Meetup #1 https://connpass.com/event/50900/
Jenkins 2.0 Pipeline & Blue Ocean
Jenkins 2.0 Pipeline & Blue Ocean
Akihiko Horiuchi
Azkaban
Azkaban
Azkaban
wyukawa
Embulk Meetup Tokyo #2
Embulk - 進化するバルクデータローダ
Embulk - 進化するバルクデータローダ
Sadayuki Furuhashi
Interactive and Distributed SQL Query Engine by facebook
Facebook Presto presentation
Facebook Presto presentation
Cyanny LIANG
"Fireap" is a consul-based rapid propagative task runner for large systems. https://github.com/key-amb/fireap
"fireap" - fast task runner on consul
"fireap" - fast task runner on consul
IKEDA Kiyoshi
Grifork runs defined tasks on the system in a way like tree's branching. Give grifork a list of hosts, then it creates a tree graph internally, and runs tasks in a top-down way.
grifork - fast propagative task runner -
grifork - fast propagative task runner -
IKEDA Kiyoshi
"poloxy" is a system which acts as proxy for delivering alerts to recipients.
Introduction to poloxy - proxy for alerting
Introduction to poloxy - proxy for alerting
IKEDA Kiyoshi
Ansible、Vagrant、Serverspec などを用いた 「インフラのコード化」 手法について、初心者向けに解説します。
Ansible ではじめるインフラのコード化入門
Ansible ではじめるインフラのコード化入門
Sho A
At data transfer middleware meetup @ SAP https://github.com/embulk/embulk
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Sadayuki Furuhashi
Presto - Hadoop Conference Japan 2014
Presto - Hadoop Conference Japan 2014
Sadayuki Furuhashi
In this session, we discuss how Spark and Presto complement the Netflix big data platform stack that started with Hadoop, and the use cases that Spark and Presto address. Also, we discuss how we run Spark and Presto on top of the Amazon EMR infrastructure; specifically, how we use Amazon S3 as our data warehouse and how we leverage Amazon EMR as a generic framework for data-processing cluster management.
(BDT303) Running Spark and Presto on the Netflix Big Data Platform
(BDT303) Running Spark and Presto on the Netflix Big Data Platform
Amazon Web Services
Learn how to leverage new workflow management tools to simplify complex data pipelines and ETL jobs spanning multiple systems. In this technical deep dive from Treasure Data, company founder and chief architect walks through the codebase of DigDag, our recently open-sourced workflow management project. He shows how workflows can break large, error-prone SQL statements into smaller blocks that are easier to maintain and reuse. He also demonstrates how a system using ‘last good’ checkpoints can save hours of computation when restarting failed jobs and how to use standard version control systems like Github to automate data lifecycle management across Amazon S3, Amazon EMR, Amazon Redshift, and Amazon Aurora. Finally, you see a few examples where SQL-as-pipeline-code gives data scientists both the right level of ownership over production processes and a comfortable abstraction from the underlying execution engines. This session is sponsored by Treasure Data. AWS Competency Partner
AWS re:Invent 2016: Automating Workflows for Analytics Pipelines (DEV401)
AWS re:Invent 2016: Automating Workflows for Analytics Pipelines (DEV401)
Amazon Web Services
Viewers also liked
(20)
Keynote - Fluentd meetup v14
Keynote - Fluentd meetup v14
Fluentd Meetup 2016 - ServerEngine Integration & Windows support
Fluentd Meetup 2016 - ServerEngine Integration & Windows support
Fluentd v0.14 Overview
Fluentd v0.14 Overview
Fluentd v0.14 Plugin API Details
Fluentd v0.14 Plugin API Details
Fluentd at Bay Area Kubernetes Meetup
Fluentd at Bay Area Kubernetes Meetup
Logging for Production Systems in The Container Era
Logging for Production Systems in The Container Era
Fighting Against Chaotically Separated Values with Embulk
Fighting Against Chaotically Separated Values with Embulk
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Jenkins 2.0 Pipeline & Blue Ocean
Jenkins 2.0 Pipeline & Blue Ocean
Azkaban
Azkaban
Embulk - 進化するバルクデータローダ
Embulk - 進化するバルクデータローダ
Facebook Presto presentation
Facebook Presto presentation
"fireap" - fast task runner on consul
"fireap" - fast task runner on consul
grifork - fast propagative task runner -
grifork - fast propagative task runner -
Introduction to poloxy - proxy for alerting
Introduction to poloxy - proxy for alerting
Ansible ではじめるインフラのコード化入門
Ansible ではじめるインフラのコード化入門
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Presto - Hadoop Conference Japan 2014
Presto - Hadoop Conference Japan 2014
(BDT303) Running Spark and Presto on the Netflix Big Data Platform
(BDT303) Running Spark and Presto on the Netflix Big Data Platform
AWS re:Invent 2016: Automating Workflows for Analytics Pipelines (DEV401)
AWS re:Invent 2016: Automating Workflows for Analytics Pipelines (DEV401)
More from Sadayuki Furuhashi
Scripting Embulk plugins makes plugin development easier drastically. You can develop, test, and productionize data integrations using any scripting languages. It's most suitable way to integrate data with SaaS using vendor-provided SDKs. https://techplay.jp/event/781988
Scripting Embulk Plugins
Scripting Embulk Plugins
Sadayuki Furuhashi
Talk at RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Sadayuki Furuhashi
Presented at PLAZMA TD Tech Talk SHIBUYA on 2018-10-16.
Making KVS 10x Scalable
Making KVS 10x Scalable
Sadayuki Furuhashi
Talk at Open Source Summit Japan 2017, Tokyo, Japan
Automating Workflows for Analytics Pipelines
Automating Workflows for Analytics Pipelines
Sadayuki Furuhashi
Talk at RubyKaigi 2015. Plugin architecture is known as a technique that brings extensibility to a program. Ruby has good language features for plugins. RubyGems.org is an excellent platform for plugin distribution. However, creating plugin architecture is not as easy as writing code without it: plugin loader, packaging, loosely-coupled API, and performance. Loading two versions of a gem is a unsolved challenge that is solved in Java on the other hand. I have designed some open-source software such as Fluentd and Embulk. They provide most of functions by plugins. I will talk about their plugin-based architecture.
Plugin-based software design with Ruby and RubyGems
Plugin-based software design with Ruby and RubyGems
Sadayuki Furuhashi
Internal architecture of Embulk for plugin developers
Embuk internals
Embuk internals
Sadayuki Furuhashi
Understanding Presto - Presto meetup @ Tokyo #1
Understanding Presto - Presto meetup @ Tokyo #1
Sadayuki Furuhashi
Prestogres Internals JPUG PostgreSQL meetup in Japan #30.5
Prestogres internals
Prestogres internals
Sadayuki Furuhashi
2015-01-14 道玄坂LT祭り(ミドル・インフラ) in Japan 『Presto + MySQLで分散SQL』 by Sadayuki Furuhashi
Presto+MySQLで分散SQL
Presto+MySQLで分散SQL
Sadayuki Furuhashi
Fluentd meetup @ Rackspace San Francisco 2014-02-19
Fluentd - Set Up Once, Collect More
Fluentd - Set Up Once, Collect More
Sadayuki Furuhashi
Prestogres provides ODBC & JDBC connectivity to Presto, a distributed SQL query engine. Presto meetup @ Facebook (2014-05-14)
Prestogres, ODBC & JDBC connectivity for Presto
Prestogres, ODBC & JDBC connectivity for Presto
Sadayuki Furuhashi
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
Sadayuki Furuhashi
Talk at Fluentd meetup at Slideshare http://www.meetup.com/Fluentd-User-Group/events/126799482/
How we use Fluentd in Treasure Data
How we use Fluentd in Treasure Data
Sadayuki Furuhashi
Fluentd meetup at Slideshare
Fluentd meetup at Slideshare
Sadayuki Furuhashi
Big Data processing to collect Big Data
How to collect Big Data into Hadoop
How to collect Big Data into Hadoop
Sadayuki Furuhashi
Fluentd meetup
Fluentd meetup
Sadayuki Furuhashi
upload test 1
upload test 1
Sadayuki Furuhashi
Programming Tools and Techniques #369 - The MessagePack Project
Programming Tools and Techniques #369 - The MessagePack Project
Sadayuki Furuhashi
Gumi study7 messagepack
Gumi study7 messagepack
Sadayuki Furuhashi
gumiStudy#7 The MessagePack Project
gumiStudy#7 The MessagePack Project
Sadayuki Furuhashi
More from Sadayuki Furuhashi
(20)
Scripting Embulk Plugins
Scripting Embulk Plugins
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Making KVS 10x Scalable
Making KVS 10x Scalable
Automating Workflows for Analytics Pipelines
Automating Workflows for Analytics Pipelines
Plugin-based software design with Ruby and RubyGems
Plugin-based software design with Ruby and RubyGems
Embuk internals
Embuk internals
Understanding Presto - Presto meetup @ Tokyo #1
Understanding Presto - Presto meetup @ Tokyo #1
Prestogres internals
Prestogres internals
Presto+MySQLで分散SQL
Presto+MySQLで分散SQL
Fluentd - Set Up Once, Collect More
Fluentd - Set Up Once, Collect More
Prestogres, ODBC & JDBC connectivity for Presto
Prestogres, ODBC & JDBC connectivity for Presto
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
How we use Fluentd in Treasure Data
How we use Fluentd in Treasure Data
Fluentd meetup at Slideshare
Fluentd meetup at Slideshare
How to collect Big Data into Hadoop
How to collect Big Data into Hadoop
Fluentd meetup
Fluentd meetup
upload test 1
upload test 1
Programming Tools and Techniques #369 - The MessagePack Project
Programming Tools and Techniques #369 - The MessagePack Project
Gumi study7 messagepack
Gumi study7 messagepack
gumiStudy#7 The MessagePack Project
gumiStudy#7 The MessagePack Project
Download now
