Suche senden
Hochladen
pentaho PDI(CE版)の運用
•
4 gefällt mir
•
3,995 views
K
kumeee
Folgen
pentaho Data Integration(CE版)を日常運用するための方法として、Hinemosのジョブ管理を使うことを提案します。
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 12
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
IBM Rational Team Concertに触れてみた
IBM Rational Team Concertに触れてみた
You&I
Cibc lecture imagire
Cibc lecture imagire
Takashi Imagire
Rxt study lt_jp#2
Rxt study lt_jp#2
Yutaka KOGURE
ComSys 2012 Yabusame Talk
ComSys 2012 Yabusame Talk
Takahiro Hirofuchi
Pentaho
Pentaho
ヨウコ スズキ
Pentaho 定型レポート ハンズオン
Pentaho 定型レポート ハンズオン
Teruo Kawasaki
監視もジョブも、OSSのHinemosで!
監視もジョブも、OSSのHinemosで!
Hinemos
Fluentd1.2 & Fluent Bit
Fluentd1.2 & Fluent Bit
Seiya Mizuno
Empfohlen
IBM Rational Team Concertに触れてみた
IBM Rational Team Concertに触れてみた
You&I
Cibc lecture imagire
Cibc lecture imagire
Takashi Imagire
Rxt study lt_jp#2
Rxt study lt_jp#2
Yutaka KOGURE
ComSys 2012 Yabusame Talk
ComSys 2012 Yabusame Talk
Takahiro Hirofuchi
Pentaho
Pentaho
ヨウコ スズキ
Pentaho 定型レポート ハンズオン
Pentaho 定型レポート ハンズオン
Teruo Kawasaki
監視もジョブも、OSSのHinemosで!
監視もジョブも、OSSのHinemosで!
Hinemos
Fluentd1.2 & Fluent Bit
Fluentd1.2 & Fluent Bit
Seiya Mizuno
業務システムで使うSpring Dynamic Modules
業務システムで使うSpring Dynamic Modules
Hiroki Kondo
SVNのすすめ&Redmineでプロジェクト管理
SVNのすすめ&Redmineでプロジェクト管理
ina job
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
susumu tanaka
SubversionとSugarsync
SubversionとSugarsync
Hidenori Goto
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
Yukihiko SAWANOBORI
cs-11. Python の条件分岐と繰り返し,ステップ実行
cs-11. Python の条件分岐と繰り返し,ステップ実行
kunihikokaneko1
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
Hinemos
SOS JobScheduler Overview (Japanese)
SOS JobScheduler Overview (Japanese)
OSSラボ株式会社
Eight meets AWS
Eight meets AWS
Tetsuya Mase
OSS統合運用管理ツール「hinemos」のご紹介
OSS統合運用管理ツール「hinemos」のご紹介
Hinemos
運用効率化・運用自動化を実現するHinemosのご紹介
運用効率化・運用自動化を実現するHinemosのご紹介
Hinemos
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
Unity Technologies Japan K.K.
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
Taiji Uchida
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
慎一 古賀
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
智治 長沢
Jspmとtypescriptで開発する
Jspmとtypescriptで開発する
Taketoshi 青野健利
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
GoAzure
Go azure tfs_service
Go azure tfs_service
Kaoru NAKAMURA
超簡単!バージョン管理入門 最初の一歩
超簡単!バージョン管理入門 最初の一歩
Shin Tanigawa
非エンジニアに捧ぐツアーオブ構成管理
非エンジニアに捧ぐツアーオブ構成管理
小川 昌吾
Weitere ähnliche Inhalte
Ähnlich wie pentaho PDI(CE版)の運用
業務システムで使うSpring Dynamic Modules
業務システムで使うSpring Dynamic Modules
Hiroki Kondo
SVNのすすめ&Redmineでプロジェクト管理
SVNのすすめ&Redmineでプロジェクト管理
ina job
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
susumu tanaka
SubversionとSugarsync
SubversionとSugarsync
Hidenori Goto
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
Yukihiko SAWANOBORI
cs-11. Python の条件分岐と繰り返し,ステップ実行
cs-11. Python の条件分岐と繰り返し,ステップ実行
kunihikokaneko1
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
Hinemos
SOS JobScheduler Overview (Japanese)
SOS JobScheduler Overview (Japanese)
OSSラボ株式会社
Eight meets AWS
Eight meets AWS
Tetsuya Mase
OSS統合運用管理ツール「hinemos」のご紹介
OSS統合運用管理ツール「hinemos」のご紹介
Hinemos
運用効率化・運用自動化を実現するHinemosのご紹介
運用効率化・運用自動化を実現するHinemosのご紹介
Hinemos
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
Unity Technologies Japan K.K.
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
Taiji Uchida
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
慎一 古賀
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
智治 長沢
Jspmとtypescriptで開発する
Jspmとtypescriptで開発する
Taketoshi 青野健利
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
GoAzure
Go azure tfs_service
Go azure tfs_service
Kaoru NAKAMURA
超簡単!バージョン管理入門 最初の一歩
超簡単!バージョン管理入門 最初の一歩
Shin Tanigawa
非エンジニアに捧ぐツアーオブ構成管理
非エンジニアに捧ぐツアーオブ構成管理
小川 昌吾
Ähnlich wie pentaho PDI(CE版)の運用
(20)
業務システムで使うSpring Dynamic Modules
業務システムで使うSpring Dynamic Modules
SVNのすすめ&Redmineでプロジェクト管理
SVNのすすめ&Redmineでプロジェクト管理
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
SubversionとSugarsync
SubversionとSugarsync
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
cs-11. Python の条件分岐と繰り返し,ステップ実行
cs-11. Python の条件分岐と繰り返し,ステップ実行
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
SOS JobScheduler Overview (Japanese)
SOS JobScheduler Overview (Japanese)
Eight meets AWS
Eight meets AWS
OSS統合運用管理ツール「hinemos」のご紹介
OSS統合運用管理ツール「hinemos」のご紹介
運用効率化・運用自動化を実現するHinemosのご紹介
運用効率化・運用自動化を実現するHinemosのご紹介
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
Jspmとtypescriptで開発する
Jspmとtypescriptで開発する
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
Go azure tfs_service
Go azure tfs_service
超簡単!バージョン管理入門 最初の一歩
超簡単!バージョン管理入門 最初の一歩
非エンジニアに捧ぐツアーオブ構成管理
非エンジニアに捧ぐツアーオブ構成管理
pentaho PDI(CE版)の運用
1.
PDI ( CE版)の運用
ジョブの自動実行と世代管理 2014/09/02 kum_t
2.
CE版には無い機能 ・job とtransforomationの履歴管理
・スケジュール機能 実運用ではどちらもとても大事
3.
job とTransformationの履歴 ●
リポジトリDB ではなくて、ファイルで保存 ● 作成したktrファイルはSVN等のバージョン管理システムで管 理する。 ● job とTransformation を1 フォルダで管理がいいかな?
4.
jobやTransformationの自動実行 ● Linuxサーバならcron
でも大丈夫 ● Windows ならタスクスケジューラ ● 導入済みならJP1 やSystemwalker ● でも、せっかくCE 使うならOSSな Hinemos で!
5.
Hinemos とは? ●
システム監視ソフト ping監視やSNMP 監視とかエージェントを使った監視とかい ろいろできるらしい・・・ ● ジョブ管理ソフト Hinemosの管理対象としてエージェントが導入されているサー バはジョブの制御が可能 ● 詳細な情報は http://www.hinemos.info/ http://sourceforge.jp/projects/hinemos/
6.
Hinemos でジョブ管理のメリット ●
カレンダー指定が可能 休日の設定や営業時間の設定などに従ったジョブ実行 ● ジョブの連携が可能 サーバを跨いでの連携やPentaho と関係のないジョブとも連 動させることができる ● 実行履歴の管理が容易 ABEND した場合のメール通知や管理画面からの実行履歴閲 覧等が可能なため、運用が容易
7.
PDIのCLI実行 ● PDI
ではCLI実行用にpan ( transformation )とkitchen (jo b)が準備されている #!/bin/sh cd /root/ /opt/data-integration5/kitchen.sh -file="/home/joho/pentaho/kousoku/kousoku_seigyo.kjb" -level:Basic -param:target_dir="/home/soumu"
8.
Hinemosでのジョブ管理画面
9.
Hinemos ジョブの内容
10.
構成図 Hinemos マネージャ
サーバ Hinemos Agent PDI実行DB 指示 フィードバック 管理 管理者ユーザー端末 参照 更新 実行結果 帳票等
11.
注意点 ● HinemosはOpenJDKが必須
● Hinemosのmanager とAgentは同一サーバではうまく動きま せんでした(方法ご存知の方教えてください) ● PDIはsunJavaが必要 ● PDIからメール送信する場合、pentaho インストールディレクト リ配下にあったmail-1.4.1.jar をjavax.mail.jar に置き換え ● PDI でファイルを扱う場合は変数を利用し、実行環境ではスクリ プトの引数で値を渡してやれば、開発Windows実行Linux で も同一のjob で作りやすくなります!
12.
ありがとうございました! ● Hinemosは日本語で詳細な説明書が公開されていますので、
参照すれば環境構築はできると思います。 ● PDIの設定などで困った場合はフォーラムへ http://forums.pentaho.com/ ● わかる範囲はすくないですが・・・ twitter @kum_t
Jetzt herunterladen