SlideShare ist ein Scribd-Unternehmen logo
1 von 12
Downloaden Sie, um offline zu lesen
PDI ( CE版)の運用 
ジョブの自動実行と世代管理 
2014/09/02 
kum_t
CE版には無い機能 
・job とtransforomationの履歴管理 
・スケジュール機能 
実運用ではどちらもとても大事
job とTransformationの履歴 
● リポジトリDB ではなくて、ファイルで保存 
● 作成したktrファイルはSVN等のバージョン管理システムで管 
理する。 
● job とTransformation を1 フォルダで管理がいいかな?
jobやTransformationの自動実行 
● Linuxサーバならcron でも大丈夫 
● Windows ならタスクスケジューラ 
● 導入済みならJP1 やSystemwalker 
● でも、せっかくCE 使うならOSSな Hinemos  で!
Hinemos とは? 
● システム監視ソフト 
ping監視やSNMP 監視とかエージェントを使った監視とかい 
ろいろできるらしい・・・ 
● ジョブ管理ソフト 
Hinemosの管理対象としてエージェントが導入されているサー 
バはジョブの制御が可能 
● 詳細な情報は 
http://www.hinemos.info/ 
http://sourceforge.jp/projects/hinemos/
Hinemos でジョブ管理のメリット 
● カレンダー指定が可能 
休日の設定や営業時間の設定などに従ったジョブ実行 
● ジョブの連携が可能 
サーバを跨いでの連携やPentaho と関係のないジョブとも連 
動させることができる 
● 実行履歴の管理が容易 
ABEND した場合のメール通知や管理画面からの実行履歴閲 
覧等が可能なため、運用が容易
PDIのCLI実行 
● PDI ではCLI実行用にpan ( transformation )とkitchen (jo 
b)が準備されている 
#!/bin/sh 
cd /root/ 
/opt/data-integration5/kitchen.sh 
-file="/home/joho/pentaho/kousoku/kousoku_seigyo.kjb" 
-level:Basic -param:target_dir="/home/soumu"
Hinemosでのジョブ管理画面
Hinemos ジョブの内容
構成図 
Hinemos 
マネージャ 
サーバ 
Hinemos 
Agent 
PDI実行DB 
指示 
フィードバック 
管理 
管理者ユーザー端末 
参照 
更新 
実行結果 
帳票等
注意点 
● HinemosはOpenJDKが必須 
● Hinemosのmanager とAgentは同一サーバではうまく動きま 
せんでした(方法ご存知の方教えてください) 
● PDIはsunJavaが必要 
● PDIからメール送信する場合、pentaho インストールディレクト 
リ配下にあったmail-1.4.1.jar をjavax.mail.jar に置き換え 
● PDI でファイルを扱う場合は変数を利用し、実行環境ではスクリ 
プトの引数で値を渡してやれば、開発Windows実行Linux で 
も同一のjob で作りやすくなります!
ありがとうございました! 
● Hinemosは日本語で詳細な説明書が公開されていますので、 
参照すれば環境構築はできると思います。 
● PDIの設定などで困った場合はフォーラムへ 
http://forums.pentaho.com/ 
● わかる範囲はすくないですが・・・ 
twitter @kum_t

Weitere ähnliche Inhalte

Ähnlich wie pentaho PDI(CE版)の運用

業務システムで使うSpring Dynamic Modules
業務システムで使うSpring Dynamic Modules業務システムで使うSpring Dynamic Modules
業務システムで使うSpring Dynamic ModulesHiroki Kondo
 
SVNのすすめ&Redmineでプロジェクト管理
SVNのすすめ&Redmineでプロジェクト管理SVNのすすめ&Redmineでプロジェクト管理
SVNのすすめ&Redmineでプロジェクト管理ina job
 
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
インフラエンジニアがk8sでアプリを作って見えた今後のインフラインフラエンジニアがk8sでアプリを作って見えた今後のインフラ
インフラエンジニアがk8sでアプリを作って見えた今後のインフラsusumu tanaka
 
SubversionとSugarsync
SubversionとSugarsyncSubversionとSugarsync
SubversionとSugarsyncHidenori Goto
 
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -Yukihiko SAWANOBORI
 
cs-11. Python の条件分岐と繰り返し,ステップ実行
cs-11. Python の条件分岐と繰り返し,ステップ実行cs-11. Python の条件分岐と繰り返し,ステップ実行
cs-11. Python の条件分岐と繰り返し,ステップ実行kunihikokaneko1
 
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化Hinemos
 
SOS JobScheduler Overview (Japanese)
SOS JobScheduler Overview (Japanese)SOS JobScheduler Overview (Japanese)
SOS JobScheduler Overview (Japanese)OSSラボ株式会社
 
OSS統合運用管理ツール「hinemos」のご紹介
OSS統合運用管理ツール「hinemos」のご紹介OSS統合運用管理ツール「hinemos」のご紹介
OSS統合運用管理ツール「hinemos」のご紹介Hinemos
 
運用効率化・運用自動化を実現するHinemosのご紹介
運用効率化・運用自動化を実現するHinemosのご紹介運用効率化・運用自動化を実現するHinemosのご紹介
運用効率化・運用自動化を実現するHinemosのご紹介Hinemos
 
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術Unity Technologies Japan K.K.
 
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみたTaiji Uchida
 
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法慎一 古賀
 
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます智治 長沢
 
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発GoAzure
 
超簡単!バージョン管理入門 最初の一歩
超簡単!バージョン管理入門 最初の一歩超簡単!バージョン管理入門 最初の一歩
超簡単!バージョン管理入門 最初の一歩Shin Tanigawa
 
非エンジニアに捧ぐツアーオブ構成管理
非エンジニアに捧ぐツアーオブ構成管理非エンジニアに捧ぐツアーオブ構成管理
非エンジニアに捧ぐツアーオブ構成管理小川 昌吾
 

Ähnlich wie pentaho PDI(CE版)の運用 (20)

業務システムで使うSpring Dynamic Modules
業務システムで使うSpring Dynamic Modules業務システムで使うSpring Dynamic Modules
業務システムで使うSpring Dynamic Modules
 
SVNのすすめ&Redmineでプロジェクト管理
SVNのすすめ&Redmineでプロジェクト管理SVNのすすめ&Redmineでプロジェクト管理
SVNのすすめ&Redmineでプロジェクト管理
 
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
インフラエンジニアがk8sでアプリを作って見えた今後のインフラインフラエンジニアがk8sでアプリを作って見えた今後のインフラ
インフラエンジニアがk8sでアプリを作って見えた今後のインフラ
 
SubversionとSugarsync
SubversionとSugarsyncSubversionとSugarsync
SubversionとSugarsync
 
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
密着! nibohsiデプロイ 13:00-13:05 - railsアプリのデプロイ事例 -
 
cs-11. Python の条件分岐と繰り返し,ステップ実行
cs-11. Python の条件分岐と繰り返し,ステップ実行cs-11. Python の条件分岐と繰り返し,ステップ実行
cs-11. Python の条件分岐と繰り返し,ステップ実行
 
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
高度クラウド環境だからこそ、Hinemosで運用自動化・一元化
 
SOS JobScheduler Overview (Japanese)
SOS JobScheduler Overview (Japanese)SOS JobScheduler Overview (Japanese)
SOS JobScheduler Overview (Japanese)
 
Eight meets AWS
Eight meets AWSEight meets AWS
Eight meets AWS
 
OSS統合運用管理ツール「hinemos」のご紹介
OSS統合運用管理ツール「hinemos」のご紹介OSS統合運用管理ツール「hinemos」のご紹介
OSS統合運用管理ツール「hinemos」のご紹介
 
運用効率化・運用自動化を実現するHinemosのご紹介
運用効率化・運用自動化を実現するHinemosのご紹介運用効率化・運用自動化を実現するHinemosのご紹介
運用効率化・運用自動化を実現するHinemosのご紹介
 
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
 
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
自社パッケージのDBをSQL ServerからPostgreSQLに移行してみた
 
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
ウォーターフォール・アジャイル・DevOps どんなチームでも開発・テスト・リリースでVSTS/TFSをフル活用する方法
 
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
【#VSUG DAY】Team Foundation Server を乗りこなすコツ教えます
 
Jspmとtypescriptで開発する
Jspmとtypescriptで開発するJspmとtypescriptで開発する
Jspmとtypescriptで開発する
 
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
A 1-1 tfs on azure で始めるイマドキのソフトウェア開発
 
Go azure tfs_service
Go azure tfs_serviceGo azure tfs_service
Go azure tfs_service
 
超簡単!バージョン管理入門 最初の一歩
超簡単!バージョン管理入門 最初の一歩超簡単!バージョン管理入門 最初の一歩
超簡単!バージョン管理入門 最初の一歩
 
非エンジニアに捧ぐツアーオブ構成管理
非エンジニアに捧ぐツアーオブ構成管理非エンジニアに捧ぐツアーオブ構成管理
非エンジニアに捧ぐツアーオブ構成管理
 

pentaho PDI(CE版)の運用

  • 1. PDI ( CE版)の運用 ジョブの自動実行と世代管理 2014/09/02 kum_t
  • 2. CE版には無い機能 ・job とtransforomationの履歴管理 ・スケジュール機能 実運用ではどちらもとても大事
  • 3. job とTransformationの履歴 ● リポジトリDB ではなくて、ファイルで保存 ● 作成したktrファイルはSVN等のバージョン管理システムで管 理する。 ● job とTransformation を1 フォルダで管理がいいかな?
  • 4. jobやTransformationの自動実行 ● Linuxサーバならcron でも大丈夫 ● Windows ならタスクスケジューラ ● 導入済みならJP1 やSystemwalker ● でも、せっかくCE 使うならOSSな Hinemos  で!
  • 5. Hinemos とは? ● システム監視ソフト ping監視やSNMP 監視とかエージェントを使った監視とかい ろいろできるらしい・・・ ● ジョブ管理ソフト Hinemosの管理対象としてエージェントが導入されているサー バはジョブの制御が可能 ● 詳細な情報は http://www.hinemos.info/ http://sourceforge.jp/projects/hinemos/
  • 6. Hinemos でジョブ管理のメリット ● カレンダー指定が可能 休日の設定や営業時間の設定などに従ったジョブ実行 ● ジョブの連携が可能 サーバを跨いでの連携やPentaho と関係のないジョブとも連 動させることができる ● 実行履歴の管理が容易 ABEND した場合のメール通知や管理画面からの実行履歴閲 覧等が可能なため、運用が容易
  • 7. PDIのCLI実行 ● PDI ではCLI実行用にpan ( transformation )とkitchen (jo b)が準備されている #!/bin/sh cd /root/ /opt/data-integration5/kitchen.sh -file="/home/joho/pentaho/kousoku/kousoku_seigyo.kjb" -level:Basic -param:target_dir="/home/soumu"
  • 10. 構成図 Hinemos マネージャ サーバ Hinemos Agent PDI実行DB 指示 フィードバック 管理 管理者ユーザー端末 参照 更新 実行結果 帳票等
  • 11. 注意点 ● HinemosはOpenJDKが必須 ● Hinemosのmanager とAgentは同一サーバではうまく動きま せんでした(方法ご存知の方教えてください) ● PDIはsunJavaが必要 ● PDIからメール送信する場合、pentaho インストールディレクト リ配下にあったmail-1.4.1.jar をjavax.mail.jar に置き換え ● PDI でファイルを扱う場合は変数を利用し、実行環境ではスクリ プトの引数で値を渡してやれば、開発Windows実行Linux で も同一のjob で作りやすくなります!
  • 12. ありがとうございました! ● Hinemosは日本語で詳細な説明書が公開されていますので、 参照すれば環境構築はできると思います。 ● PDIの設定などで困った場合はフォーラムへ http://forums.pentaho.com/ ● わかる範囲はすくないですが・・・ twitter @kum_t