Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Reactive Workflow Argo Eventsの紹介

Kubernetes Meetup Tokyo #17にて自身も開発に参加しているArgo Eventsを紹介しました。

  • Als Erste(r) kommentieren

Reactive Workflow Argo Eventsの紹介

  1. 1. Reactive Workflow Argo Eventsの紹介 Daisuke Taniwaki, Engineer Preferred Networks, Inc. 2019/3/18 Kubernetes Meetup Tokyo #17 1
  2. 2. 自己紹介 谷脇 大輔 (Daisuke Taniwaki) 職歴 2008~2012 Trend Micro - 未知の脅威を発見するWebクローラ 2012~2014 Kakaku.com - Tabelog USの立ち上げ 2014~2017 Kaizen Platform - Kaizen Optimization Platform 2017~現在 Preferred Networks - ジョブスケジューラやクラスター向けツール 技術領域 dtaniwaki dtaniwaki 2
  3. 3. Argoとは - KubernetesネイティブなOSSワークフローエンジン - ステップごとにPodや任意のリソースを定義 - DAGの形成、条件分岐、パラメータ実行 - Argo UIでワークフローの結果・進捗も可視化 - Intuitを中心に開発 - CI/CDのサイドプロジェクトもある 3
  4. 4. PFNでの利用例 - サーバの設定反映のフロー制御 - データセットの前処理をCPUノードで実行した後に、 GPUノードで深層学習を実行 - 実行環境のDocker imageをCPUノードでビルドした後に 、GPUノードで深層学習を実行 4
  5. 5. Argo Eventsとは - Kubernetesのためのイベントベース依存関係管理システ ム - 様々なイベントソースによる依存関係の管理 - イベントの依存関係の解決ロジックをカスタマイズできる - 独自のイベントソースに対して拡張可能 - CloudEvents準拠 - GatewayとSensorのCRDからなる - もともとはBlackRockが開発、 Argo projectに合流 5
  6. 6. Architecture 6Gateway Sensor
  7. 7. サポートされているGateway - Calendar - Webhooks - Kubernetes Resources - Artifacts (S3, Minio) - Streams - NATS - MQTT - Kafka - AMQP (Apache ActiveMQ, Apache Qpid, StormMQ, RabbitMQ) 7 - Community - Github - Gitlab - HDFS - Trello - Slack - GCP Pub/Sub - AWS SQS, SNS - etc.
  8. 8. PFNでの利用想定 - HDFS上のファイルを監視し、前処理したデータセットが アップロードされたら、作成されたデータに応じてワー クフローを実行 - Kubernetes Resourceを監視し、Kuberetes上でDockerイ メージがビルドされたら、作成されたイメージに応じて ワークフローを実行 8 現在、導入準備中!
  9. 9. 9 We’re hiring!! 効率的な研究者向けクラスター管理システムを 一緒に構築してくれる仲間を募集中です! https://www.workable.com/j/BBA8B7D984

×