Suche senden
Hochladen
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
•
44 gefällt mir
•
71,548 views
Sadayuki Furuhashi
Folgen
Presented at Tokyo RubyKaigi #11
Weniger lesen
Mehr lesen
Präsentationen & Vorträge
Melden
Teilen
Melden
Teilen
1 von 49
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
俺たちのYAMLはYAMLを超える
DigdagはなぜYAMLなのか？
DigdagはなぜYAMLなのか？
Sadayuki Furuhashi
ビッグデータとデータマート【タガヤス その２】登壇資料
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。 ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
Presto Meetup 201706 の発表資料です． https://techplay.jp/event/621143
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
こちらのスライドは以下のサイトにて閲覧いただけます。 https://www.docswell.com/s/ockeghem/ZM6VNK-phpconf2021-spa-security シングルページアプリケーション(SPA)において、セッションIDやトークンの格納場所はCookieあるいはlocalStorageのいずれが良いのかなど、セキュリティ上の課題がネット上で議論されていますが、残念ながら間違った前提に基づくものが多いようです。このトークでは、SPAのセキュリティを構成する基礎技術を説明した後、著名なフレームワークな状況とエンジニアの技術理解の現状を踏まえ、SPAセキュリティの現実的な方法について説明します。 動画はこちら https://www.youtube.com/watch?v=pc57hw6haXk
SPAセキュリティ入門～PHP Conference Japan 2021
SPAセキュリティ入門～PHP Conference Japan 2021
Hiroshi Tokumaru
DevLOVE X Day1 C-5のセッションです。 ITの活用範囲の広がりとともに、費用・品質よりもデリバリを優先するプロジェクトも増えてきました。しかし「しっかり考えるよりも、作ってリリースしちゃおうぜ、正解なんて誰にも分からないんだから」というマントラを唱えながら、返済見込みの立たない大量の技術的負債を抱える。それが最善の選択なのか、もう少しだけ立ち止まって考えてみませんか? YAGNIという言葉を便利に使いすぎてはいませんか? コードを書きなぐるのと、ちょっと考えて設計して作るのとで、そんなに開発スピードに違いがありますか? 考えてみたいと思います。
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
Yoshitaka Kawashima
AWS DevDay 2020 E-2 セッション資料
DynamoDBの初心者に伝えたい初めて触るときの勘所
DynamoDBの初心者に伝えたい初めて触るときの勘所
Ryo Sasaki
ヤフーではKubernetes as a Service（KaaS）を使いオンプレミスのKubernetes（K8s）環境を構築し、活用しています。KaaSは約2年ほど前からProduction環境で稼働させ、現在400を超えるK8s Clusterを管理しています。 本セッションでは、このようなオンプレミスのKaaSを活用し、運用、開発チームそれぞれがどのような利益を得られたか、また、このような大規模数のCluster管理を行う上で直面してきた課題とその解決までのプロセスをご紹介しました。
Kubernetes as a ServiceをProduction環境で2年活用し、直面してきた課題と解決策 / YJTC19 in Shibuya A...
Kubernetes as a ServiceをProduction環境で2年活用し、直面してきた課題と解決策 / YJTC19 in Shibuya A...
Yahoo!デベロッパーネットワーク
Empfohlen
俺たちのYAMLはYAMLを超える
DigdagはなぜYAMLなのか？
DigdagはなぜYAMLなのか？
Sadayuki Furuhashi
ビッグデータとデータマート【タガヤス その２】登壇資料
各種データベースの特徴とパフォーマンス比較
各種データベースの特徴とパフォーマンス比較
株式会社オプト 仙台ラボラトリ
2022年2月17日・18日に開催された「Developers Summit 2022」1日目の登壇スライドです。 ヤフーのデータソリューション事業やデータサイエンス部門のデザイナーとして、日々の業務においてデータに直接に触れる機会の多いエンジニアの皆さんとデータビジュアライズの観点で共有し実践していることをご紹介します。
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
データの価値を最大化させるためのデザイン～データビジュアライゼーションの方法～ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
Presto Meetup 201706 の発表資料です． https://techplay.jp/event/621143
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
こちらのスライドは以下のサイトにて閲覧いただけます。 https://www.docswell.com/s/ockeghem/ZM6VNK-phpconf2021-spa-security シングルページアプリケーション(SPA)において、セッションIDやトークンの格納場所はCookieあるいはlocalStorageのいずれが良いのかなど、セキュリティ上の課題がネット上で議論されていますが、残念ながら間違った前提に基づくものが多いようです。このトークでは、SPAのセキュリティを構成する基礎技術を説明した後、著名なフレームワークな状況とエンジニアの技術理解の現状を踏まえ、SPAセキュリティの現実的な方法について説明します。 動画はこちら https://www.youtube.com/watch?v=pc57hw6haXk
SPAセキュリティ入門～PHP Conference Japan 2021
SPAセキュリティ入門～PHP Conference Japan 2021
Hiroshi Tokumaru
DevLOVE X Day1 C-5のセッションです。 ITの活用範囲の広がりとともに、費用・品質よりもデリバリを優先するプロジェクトも増えてきました。しかし「しっかり考えるよりも、作ってリリースしちゃおうぜ、正解なんて誰にも分からないんだから」というマントラを唱えながら、返済見込みの立たない大量の技術的負債を抱える。それが最善の選択なのか、もう少しだけ立ち止まって考えてみませんか? YAGNIという言葉を便利に使いすぎてはいませんか? コードを書きなぐるのと、ちょっと考えて設計して作るのとで、そんなに開発スピードに違いがありますか? 考えてみたいと思います。
それはYAGNIか? それとも思考停止か?
それはYAGNIか? それとも思考停止か?
Yoshitaka Kawashima
AWS DevDay 2020 E-2 セッション資料
DynamoDBの初心者に伝えたい初めて触るときの勘所
DynamoDBの初心者に伝えたい初めて触るときの勘所
Ryo Sasaki
ヤフーではKubernetes as a Service（KaaS）を使いオンプレミスのKubernetes（K8s）環境を構築し、活用しています。KaaSは約2年ほど前からProduction環境で稼働させ、現在400を超えるK8s Clusterを管理しています。 本セッションでは、このようなオンプレミスのKaaSを活用し、運用、開発チームそれぞれがどのような利益を得られたか、また、このような大規模数のCluster管理を行う上で直面してきた課題とその解決までのプロセスをご紹介しました。
Kubernetes as a ServiceをProduction環境で2年活用し、直面してきた課題と解決策 / YJTC19 in Shibuya A...
Kubernetes as a ServiceをProduction環境で2年活用し、直面してきた課題と解決策 / YJTC19 in Shibuya A...
Yahoo!デベロッパーネットワーク
Prestoの導入メリットのほか、HiveQLからPrestoへの書き換えTipsを紹介します
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
データベースにおけるSaaSパーティショニングモデル、データベースエンジン毎の構成イメージ、マルチテナント化に向けた考慮点について解説しています。
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
JJUG CCC 2020 Fallにて発表した資料になります。 本セッションでは ・ 分散トレーシングとは ・ X-Rayの仕組みについて ・ 独自に拡張したポイントについて などを説明します。
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
Hiroshi Ito
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
Amazon Web Services Japan
2021/11/24 「イミュータブルでゆこう」イベントの資料です。 データをリソースとイベントに場合分けして考えようという至極単純な話を1時間ほどしました。
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
20191123 JJUG Serverless 時代の Java について
Serverless時代のJavaについて
Serverless時代のJavaについて
Amazon Web Services Japan
SQLアンチパターン 26章「とりあえず削除フラグ」 2015/08/31 @ GMO Yours #ronsakucasual https://atnd.org/events/68902
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
イベントURL: https://kafka-apache-jp.connpass.com/event/222711/ イベント名: Apache Kafka Meetup Japan #9
KafkaとPulsar
KafkaとPulsar
Yahoo!デベロッパーネットワーク
XP祭り2017のセッションのスライドになります。 http://xpjug.com/xp2017-session-a5-1/ 元ネタは以下です。 http://i2key.hateblo.jp/entry/2017/05/15/082655 ※CCPMの表記について一部誤解を与える部分がありましたので、表記を削除いたしました。 2017/09/21 0:27
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
Itsuki Kuroda
第18回 MLOps 勉強会の登壇資料です。 https://mlops.connpass.com/event/242652/ MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
Yutuki r
初心者向けにMongoDBの基本を解説しています。 この資料は2014/3/1のOSC 2014 Tokyo/Springで発表しました 。 2015/3/3最新の情報で一部アップデートしました。 2015/7/15MongoDB ver3.0ようにちょっと修正しました。
初心者向けMongoDBのキホン！
初心者向けMongoDBのキホン！
Tetsutaro Watanabe
吉祥寺.pm #26でお話したソフトウェア開発における『知の高速道路』の話です。 将棋や数学とのソレには程遠い。主にサッカーの戦術的ピリオダイゼーションを参考に考えてみました。が結論は、まだありません。
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』
Yoshitaka Kawashima
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ LT発表資料
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
Yoshiyasu SAEKI
Spring Bootのオートコンフィグレーションの恩恵によって、開発者はコンフィグレーションの煩わしさから解放され、Springを容易に動かすことができるようになりました。その反面、ブラックボックスになってハマってしまうことも少なくありません。本セッションでは、Spring Bootのオートコンフィグレーションの仕組み・デバッグ方法・カスタマイズ方法を説明します。本セッションを聞いてオートコンフィグレーションを便利に使っていきましょう。 (Spring Fest 2021での発表資料)
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
土岐 孝平
ナイーブな全文検索は単なる中間一致検索です。しかし、現実に人が入力するテキストは揺れまくっているので単なる中間一致検索では必要な情報を見つけられません。たとえば、「(090)1234-5678」も「０９０ー１２３４ー５６７８」も「09012345678」もすべて同じ電話番号として扱いたいのが現実です。 MySQLとPostgreSQLの全文検索機能ではこのようにゆるい全文検索を高速に実現することができません。そこでMroonga・PGroongaです。Mroonga・PGroongaを使ってMySQL・PostgreSQLだけで高速にゆるく全文検索する方法を紹介します。
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
Kouhei Sutou
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ 発表資料
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Yahoo!デベロッパーネットワーク
MMAPv1, WiredTigerについても詳細に説明しています
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
アプリ「ニュースパス」をマイクロサービスで開発してみた泥臭い体験談です。
マイクロにしすぎた結果がこれだよ！
マイクロにしすぎた結果がこれだよ！
mosa siru
Scripting Embulk plugins makes plugin development easier drastically. You can develop, test, and productionize data integrations using any scripting languages. It's most suitable way to integrate data with SaaS using vendor-provided SDKs. https://techplay.jp/event/781988
Scripting Embulk Plugins
Scripting Embulk Plugins
Sadayuki Furuhashi
Talk at RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Sadayuki Furuhashi
Weitere ähnliche Inhalte
Was ist angesagt?
Prestoの導入メリットのほか、HiveQLからPrestoへの書き換えTipsを紹介します
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
データベースにおけるSaaSパーティショニングモデル、データベースエンジン毎の構成イメージ、マルチテナント化に向けた考慮点について解説しています。
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
Amazon Web Services Japan
JJUG CCC 2020 Fallにて発表した資料になります。 本セッションでは ・ 分散トレーシングとは ・ X-Rayの仕組みについて ・ 独自に拡張したポイントについて などを説明します。
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
Recruit Lifestyle Co., Ltd.
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
Hiroshi Ito
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
Amazon Web Services Japan
2021/11/24 「イミュータブルでゆこう」イベントの資料です。 データをリソースとイベントに場合分けして考えようという至極単純な話を1時間ほどしました。
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
20191123 JJUG Serverless 時代の Java について
Serverless時代のJavaについて
Serverless時代のJavaについて
Amazon Web Services Japan
SQLアンチパターン 26章「とりあえず削除フラグ」 2015/08/31 @ GMO Yours #ronsakucasual https://atnd.org/events/68902
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
イベントURL: https://kafka-apache-jp.connpass.com/event/222711/ イベント名: Apache Kafka Meetup Japan #9
KafkaとPulsar
KafkaとPulsar
Yahoo!デベロッパーネットワーク
XP祭り2017のセッションのスライドになります。 http://xpjug.com/xp2017-session-a5-1/ 元ネタは以下です。 http://i2key.hateblo.jp/entry/2017/05/15/082655 ※CCPMの表記について一部誤解を与える部分がありましたので、表記を削除いたしました。 2017/09/21 0:27
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
Itsuki Kuroda
第18回 MLOps 勉強会の登壇資料です。 https://mlops.connpass.com/event/242652/ MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
Yutuki r
初心者向けにMongoDBの基本を解説しています。 この資料は2014/3/1のOSC 2014 Tokyo/Springで発表しました 。 2015/3/3最新の情報で一部アップデートしました。 2015/7/15MongoDB ver3.0ようにちょっと修正しました。
初心者向けMongoDBのキホン！
初心者向けMongoDBのキホン！
Tetsutaro Watanabe
吉祥寺.pm #26でお話したソフトウェア開発における『知の高速道路』の話です。 将棋や数学とのソレには程遠い。主にサッカーの戦術的ピリオダイゼーションを参考に考えてみました。が結論は、まだありません。
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』
Yoshitaka Kawashima
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ LT発表資料
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
Yoshiyasu SAEKI
Spring Bootのオートコンフィグレーションの恩恵によって、開発者はコンフィグレーションの煩わしさから解放され、Springを容易に動かすことができるようになりました。その反面、ブラックボックスになってハマってしまうことも少なくありません。本セッションでは、Spring Bootのオートコンフィグレーションの仕組み・デバッグ方法・カスタマイズ方法を説明します。本セッションを聞いてオートコンフィグレーションを便利に使っていきましょう。 (Spring Fest 2021での発表資料)
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
土岐 孝平
ナイーブな全文検索は単なる中間一致検索です。しかし、現実に人が入力するテキストは揺れまくっているので単なる中間一致検索では必要な情報を見つけられません。たとえば、「(090)1234-5678」も「０９０ー１２３４ー５６７８」も「09012345678」もすべて同じ電話番号として扱いたいのが現実です。 MySQLとPostgreSQLの全文検索機能ではこのようにゆるい全文検索を高速に実現することができません。そこでMroonga・PGroongaです。Mroonga・PGroongaを使ってMySQL・PostgreSQLだけで高速にゆるく全文検索する方法を紹介します。
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
Kouhei Sutou
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ 発表資料
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Yahoo!デベロッパーネットワーク
MMAPv1, WiredTigerについても詳細に説明しています
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
アプリ「ニュースパス」をマイクロサービスで開発してみた泥臭い体験談です。
マイクロにしすぎた結果がこれだよ！
マイクロにしすぎた結果がこれだよ！
mosa siru
Was ist angesagt?
(20)
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
分散トレーシングAWS:X-Rayとの上手い付き合い方
分散トレーシングAWS:X-Rayとの上手い付き合い方
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
データ履歴管理のためのテンポラルデータモデルとReladomoの紹介 #jjug_ccc #ccc_g3
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Serverless時代のJavaについて
Serverless時代のJavaについて
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
KafkaとPulsar
KafkaとPulsar
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Cassandraとh baseの比較して入門するno sql
Cassandraとh baseの比較して入門するno sql
初心者向けMongoDBのキホン！
初心者向けMongoDBのキホン！
ソフトウェア開発における『知の高速道路』
ソフトウェア開発における『知の高速道路』
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
怖くないSpring Bootのオートコンフィグレーション
怖くないSpring Bootのオートコンフィグレーション
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
MySQL・PostgreSQLだけで作る高速あいまい全文検索システム
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
マイクロにしすぎた結果がこれだよ！
マイクロにしすぎた結果がこれだよ！
Mehr von Sadayuki Furuhashi
Scripting Embulk plugins makes plugin development easier drastically. You can develop, test, and productionize data integrations using any scripting languages. It's most suitable way to integrate data with SaaS using vendor-provided SDKs. https://techplay.jp/event/781988
Scripting Embulk Plugins
Scripting Embulk Plugins
Sadayuki Furuhashi
Talk at RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Sadayuki Furuhashi
Presented at PLAZMA TD Tech Talk SHIBUYA on 2018-10-16.
Making KVS 10x Scalable
Making KVS 10x Scalable
Sadayuki Furuhashi
Talk at Open Source Summit Japan 2017, Tokyo, Japan
Automating Workflows for Analytics Pipelines
Automating Workflows for Analytics Pipelines
Sadayuki Furuhashi
Talk at Workflow Engines Night, Tokyo, Japan
Digdagによる大規模データ処理の自動化とエラー処理
Digdagによる大規模データ処理の自動化とエラー処理
Sadayuki Furuhashi
Logging for Production Systems in The Container Era https://www.meetup.com/Bay-Area-Kubernetes-Meetup/events/235765474/
Fluentd at Bay Area Kubernetes Meetup
Fluentd at Bay Area Kubernetes Meetup
Sadayuki Furuhashi
Talk at Docker Meetup. Video: https://www.youtube.com/watch?v=4kVeHcq0nnY
Logging for Production Systems in The Container Era
Logging for Production Systems in The Container Era
Sadayuki Furuhashi
We created a plugin-based data collection tool that can read any chaotically formatted files called "CSV" by guessing its schema automatically Talked at csv,conf,v2 in Berlin http://csvconf.com/
Fighting Against Chaotically Separated Values with Embulk
Fighting Against Chaotically Separated Values with Embulk
Sadayuki Furuhashi
Embulk Meetup Tokyo #2
Embulk - 進化するバルクデータローダ
Embulk - 進化するバルクデータローダ
Sadayuki Furuhashi
Talk at RubyKaigi 2015. Plugin architecture is known as a technique that brings extensibility to a program. Ruby has good language features for plugins. RubyGems.org is an excellent platform for plugin distribution. However, creating plugin architecture is not as easy as writing code without it: plugin loader, packaging, loosely-coupled API, and performance. Loading two versions of a gem is a unsolved challenge that is solved in Java on the other hand. I have designed some open-source software such as Fluentd and Embulk. They provide most of functions by plugins. I will talk about their plugin-based architecture.
Plugin-based software design with Ruby and RubyGems
Plugin-based software design with Ruby and RubyGems
Sadayuki Furuhashi
Internal architecture of Embulk for plugin developers
Embuk internals
Embuk internals
Sadayuki Furuhashi
At data transfer middleware meetup @ SAP https://github.com/embulk/embulk
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Sadayuki Furuhashi
Understanding Presto - Presto meetup @ Tokyo #1
Understanding Presto - Presto meetup @ Tokyo #1
Sadayuki Furuhashi
Prestogres Internals JPUG PostgreSQL meetup in Japan #30.5
Prestogres internals
Prestogres internals
Sadayuki Furuhashi
2015-01-14 道玄坂LT祭り(ミドル・インフラ) in Japan 『Presto + MySQLで分散SQL』 by Sadayuki Furuhashi
Presto+MySQLで分散SQL
Presto+MySQLで分散SQL
Sadayuki Furuhashi
Presto - Hadoop Conference Japan 2014
Presto - Hadoop Conference Japan 2014
Sadayuki Furuhashi
Fluentd meetup @ Rackspace San Francisco 2014-02-19
Fluentd - Set Up Once, Collect More
Fluentd - Set Up Once, Collect More
Sadayuki Furuhashi
Prestogres provides ODBC & JDBC connectivity to Presto, a distributed SQL query engine. Presto meetup @ Facebook (2014-05-14)
Prestogres, ODBC & JDBC connectivity for Presto
Prestogres, ODBC & JDBC connectivity for Presto
Sadayuki Furuhashi
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
Sadayuki Furuhashi
Talk at Fluentd meetup at Slideshare http://www.meetup.com/Fluentd-User-Group/events/126799482/
How we use Fluentd in Treasure Data
How we use Fluentd in Treasure Data
Sadayuki Furuhashi
Mehr von Sadayuki Furuhashi
(20)
Scripting Embulk Plugins
Scripting Embulk Plugins
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Performance Optimization Techniques of MessagePack-Ruby - RubyKaigi 2019
Making KVS 10x Scalable
Making KVS 10x Scalable
Automating Workflows for Analytics Pipelines
Automating Workflows for Analytics Pipelines
Digdagによる大規模データ処理の自動化とエラー処理
Digdagによる大規模データ処理の自動化とエラー処理
Fluentd at Bay Area Kubernetes Meetup
Fluentd at Bay Area Kubernetes Meetup
Logging for Production Systems in The Container Era
Logging for Production Systems in The Container Era
Fighting Against Chaotically Separated Values with Embulk
Fighting Against Chaotically Separated Values with Embulk
Embulk - 進化するバルクデータローダ
Embulk - 進化するバルクデータローダ
Plugin-based software design with Ruby and RubyGems
Plugin-based software design with Ruby and RubyGems
Embuk internals
Embuk internals
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Understanding Presto - Presto meetup @ Tokyo #1
Understanding Presto - Presto meetup @ Tokyo #1
Prestogres internals
Prestogres internals
Presto+MySQLで分散SQL
Presto+MySQLで分散SQL
Presto - Hadoop Conference Japan 2014
Presto - Hadoop Conference Japan 2014
Fluentd - Set Up Once, Collect More
Fluentd - Set Up Once, Collect More
Prestogres, ODBC & JDBC connectivity for Presto
Prestogres, ODBC & JDBC connectivity for Presto
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual
How we use Fluentd in Treasure Data
How we use Fluentd in Treasure Data
Jetzt herunterladen
