Suche senden
Hochladen
オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
•
Als PPTX, PDF herunterladen
•
7 gefällt mir
•
6,567 views
Teruo Kawasaki
Folgen
PostgreSQLアンカンファレンス@東京(9/6) 発表資料です。 https://atnd.org/events/54447
Weniger lesen
Mehr lesen
Software
Diashow-Anzeige
Melden
Teilen
Diashow-Anzeige
Melden
Teilen
1 von 40
Jetzt herunterladen
Empfohlen
Pdi tutorial 20140121
Pdi tutorial 20140121
Teruo Kawasaki
Pentaho CTools 20140902
Pentaho CTools 20140902
Teruo Kawasaki
Pentaho ETL ハンズオン
Pentaho ETL ハンズオン
Teruo Kawasaki
Pentaho ETL
Pentaho ETL
Hirokazu Tokuno
インデックスのおはなし
インデックスのおはなし
hajikami
Boost Overview
Boost Overview
Akira Takahashi
Pentaho ETL@DevLOVE関西
Pentaho ETL@DevLOVE関西
Hirokazu Tokuno
PostgreSQL開発コミュニティに参加しよう!(PostgreSQL Conference Japan 2021 発表資料)
PostgreSQL開発コミュニティに参加しよう!(PostgreSQL Conference Japan 2021 発表資料)
NTT DATA Technology & Innovation
Empfohlen
Pdi tutorial 20140121
Pdi tutorial 20140121
Teruo Kawasaki
Pentaho CTools 20140902
Pentaho CTools 20140902
Teruo Kawasaki
Pentaho ETL ハンズオン
Pentaho ETL ハンズオン
Teruo Kawasaki
Pentaho ETL
Pentaho ETL
Hirokazu Tokuno
インデックスのおはなし
インデックスのおはなし
hajikami
Boost Overview
Boost Overview
Akira Takahashi
Pentaho ETL@DevLOVE関西
Pentaho ETL@DevLOVE関西
Hirokazu Tokuno
PostgreSQL開発コミュニティに参加しよう!(PostgreSQL Conference Japan 2021 発表資料)
PostgreSQL開発コミュニティに参加しよう!(PostgreSQL Conference Japan 2021 発表資料)
NTT DATA Technology & Innovation
パーソナルデータのあり方を変える!オープンソース分散型PDS「Personium」を使ってみよう!
パーソナルデータのあり方を変える!オープンソース分散型PDS「Personium」を使ってみよう!
泰史 栃折
オープンソースBI勉強会Mongo-20140325
オープンソースBI勉強会Mongo-20140325
Hisashi Nakayama
今時のオンプレなgithubクローン環境構築
今時のオンプレなgithubクローン環境構築
You&I
Yapc2012資料
Yapc2012資料
matsuo kenji
Mizuno buddypress-plugin
Mizuno buddypress-plugin
Ikuko Kanada
Mizuno buddypress-plugin
Mizuno buddypress-plugin
Fumito Mizuno
Git 20100724
Git 20100724
Taku AMANO
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
NTT DATA Technology & Innovation
[使い倒し]GitHubのIssueとTFS/VSOのWorkItem連動に挑む(2015/08/26)
[使い倒し]GitHubのIssueとTFS/VSOのWorkItem連動に挑む(2015/08/26)
Masanori Ishigami
Programming AWS with Python
Programming AWS with Python
Yasuhiro Matsuo
Before lunch オプションを使って Flutterでstaging/release環境を切り替える
Before lunch オプションを使って Flutterでstaging/release環境を切り替える
cch-robo
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
gree_tech
[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
Takashi Suzuki
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
Shigeru Hanada
Metahub for github
Metahub for github
Suguru Oho
Getting Started with Graph Database with Python
Getting Started with Graph Database with Python
ロフト くん
ユーザ・デザイナーから見たPlone CMSのアピールポイント
ユーザ・デザイナーから見たPlone CMSのアピールポイント
Masaki NIWA
20201008 GitHub at Microsoft
20201008 GitHub at Microsoft
Issei Hiraoka
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Kazuto Kusama
Gitlab ci & ecsへのデプロイ
Gitlab ci & ecsへのデプロイ
iwata jaws-ug
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Pentaho 定型レポート ハンズオン
Pentaho 定型レポート ハンズオン
Teruo Kawasaki
Weitere ähnliche Inhalte
Ähnlich wie オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
パーソナルデータのあり方を変える!オープンソース分散型PDS「Personium」を使ってみよう!
パーソナルデータのあり方を変える!オープンソース分散型PDS「Personium」を使ってみよう!
泰史 栃折
オープンソースBI勉強会Mongo-20140325
オープンソースBI勉強会Mongo-20140325
Hisashi Nakayama
今時のオンプレなgithubクローン環境構築
今時のオンプレなgithubクローン環境構築
You&I
Yapc2012資料
Yapc2012資料
matsuo kenji
Mizuno buddypress-plugin
Mizuno buddypress-plugin
Ikuko Kanada
Mizuno buddypress-plugin
Mizuno buddypress-plugin
Fumito Mizuno
Git 20100724
Git 20100724
Taku AMANO
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
NTT DATA Technology & Innovation
[使い倒し]GitHubのIssueとTFS/VSOのWorkItem連動に挑む(2015/08/26)
[使い倒し]GitHubのIssueとTFS/VSOのWorkItem連動に挑む(2015/08/26)
Masanori Ishigami
Programming AWS with Python
Programming AWS with Python
Yasuhiro Matsuo
Before lunch オプションを使って Flutterでstaging/release環境を切り替える
Before lunch オプションを使って Flutterでstaging/release環境を切り替える
cch-robo
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
gree_tech
[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
Takashi Suzuki
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
Shigeru Hanada
Metahub for github
Metahub for github
Suguru Oho
Getting Started with Graph Database with Python
Getting Started with Graph Database with Python
ロフト くん
ユーザ・デザイナーから見たPlone CMSのアピールポイント
ユーザ・デザイナーから見たPlone CMSのアピールポイント
Masaki NIWA
20201008 GitHub at Microsoft
20201008 GitHub at Microsoft
Issei Hiraoka
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Kazuto Kusama
Gitlab ci & ecsへのデプロイ
Gitlab ci & ecsへのデプロイ
iwata jaws-ug
Ähnlich wie オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
(20)
パーソナルデータのあり方を変える!オープンソース分散型PDS「Personium」を使ってみよう!
パーソナルデータのあり方を変える!オープンソース分散型PDS「Personium」を使ってみよう!
オープンソースBI勉強会Mongo-20140325
オープンソースBI勉強会Mongo-20140325
今時のオンプレなgithubクローン環境構築
今時のオンプレなgithubクローン環境構築
Yapc2012資料
Yapc2012資料
Mizuno buddypress-plugin
Mizuno buddypress-plugin
Mizuno buddypress-plugin
Mizuno buddypress-plugin
Git 20100724
Git 20100724
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
[使い倒し]GitHubのIssueとTFS/VSOのWorkItem連動に挑む(2015/08/26)
[使い倒し]GitHubのIssueとTFS/VSOのWorkItem連動に挑む(2015/08/26)
Programming AWS with Python
Programming AWS with Python
Before lunch オプションを使って Flutterでstaging/release環境を切り替える
Before lunch オプションを使って Flutterでstaging/release環境を切り替える
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
PostgreSQLではじめるOSS開発@OSC 2014 Hiroshima
Metahub for github
Metahub for github
Getting Started with Graph Database with Python
Getting Started with Graph Database with Python
ユーザ・デザイナーから見たPlone CMSのアピールポイント
ユーザ・デザイナーから見たPlone CMSのアピールポイント
20201008 GitHub at Microsoft
20201008 GitHub at Microsoft
Cloudn PaaSチームのChatOps実践
Cloudn PaaSチームのChatOps実践
Gitlab ci & ecsへのデプロイ
Gitlab ci & ecsへのデプロイ
Mehr von Teruo Kawasaki
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Pentaho 定型レポート ハンズオン
Pentaho 定型レポート ハンズオン
Teruo Kawasaki
Pentaho Reporting Tutorial 20140729
Pentaho Reporting Tutorial 20140729
Teruo Kawasaki
About BI (2014/03/25)
About BI (2014/03/25)
Teruo Kawasaki
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
2章グラフ理論スピード入門
2章グラフ理論スピード入門
Teruo Kawasaki
Mehr von Teruo Kawasaki
(6)
Lambda in java_20160121
Lambda in java_20160121
Pentaho 定型レポート ハンズオン
Pentaho 定型レポート ハンズオン
Pentaho Reporting Tutorial 20140729
Pentaho Reporting Tutorial 20140729
About BI (2014/03/25)
About BI (2014/03/25)
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
2章グラフ理論スピード入門
2章グラフ理論スピード入門
オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
1.
オープンソースのETLツール Pentaho Data
Integration(PDI) のご紹介 PostgreSQLアンカンファレンス@東京(9/6) KSKアナリティクス 川崎照夫 TwitterID:@teruu
2.
自己紹介 川崎照夫 TwitterID:
@teruu 所属:KSKアナリティクス BI歴:2年(※BI:ビジネス・インテリジェンス) DB歴:17年
3.
DWH系データベースを探しています HP Vertica
Community Edition → production環境も可 PostgreSQL-XL → 永安さんブログ 「Chef/serverspecを使ってPostgres-XLを2分でデプロイする」 http://pgsqldeepdive.blogspot.jp/2014/06/deploying-postgres-xl-chef-serverspec.html 関連ツイート(今回このツイートを見て、この会に参加させていただきました) https://twitter.com/snaga/status/491907303155564544
4.
こちらの永安さん のやり取りを拝見 したのがきっかけ
で今回参加させて いただきました
5.
自己紹介 オープンソースBI 勉強会#10
https://atnd.org/events/56153
6.
Yahooリアルタイム検索 「pentaho」定点観測中 ・「日本語の資料が全然ない」というツイート
日本のPentahoユーザ ・日本語の情報が見つからない ・やりたいことがなかなかできない(簡単なことなのに...) ・フラストレーションがたまりがち Pentahoのチュートリアル資料を充実 6/83
7.
これまでの開催 • #5
MongoDB+Pentaho ハンズオン • #6 OLAP ハンズオン • #7 ETL ハンズオン • #8 定型レポート • #9 CTools (ダッシュボード)
8.
次回以降 • #10
OLAPハンズオン(9/30) • #11 ETLハンズオン • #12 定型レポートハンズオン • #13 CTools(ダッシュボード)ハンズオン
9.
これまでの資料 オープンソースBI勉強会メモ •
#7 ETL ハンズオン http://www.slideshare.net/teruok/pdi-tutorial-20140121 • #8 定型レポート http://www.slideshare.net/teruok/pentaho-reporting-20140729
10.
会員制ドキュメント・ダウンロード・サービス「LiBRA」 (リブラ) →提供資料の加工編集、再配布が可能
(http://libra.netcommerce.co.jp/) 以降はLiBRAの「ビジネス・インテリジェンス」から引用 (http://libra.netcommerce.co.jp/library/knowledge/841)
11.
12.
13.
ETLツール使ってますか? • 商用製品
• オープンソース(出典:Wikipedia) – Talend Open Studio for Data Integration – JasperReports ETL – Clover.ETL – Enhydra Octopus – Pentaho Data Integration
14.
オープンソースのETLツール Pentaho Data
Integration(PDI)
15.
GitHub(ギットハブ)での開発 PDIをはじめPentahoのオープンソース製品は、ソフトウェア 開発のための共有ウェブサービスである「GitHub」を利用し
て開発が行われています。 GitHubにアクセスすることで、活発なソフトウェア開発の様 子を見ることができます。また、公開されているソースコー ドを参照でき、バグの修正などの形でPDIのソフトウェア開 発に参加することも可能です。 ◇PDIのGitHubリポジトリ https://github.com/pentaho/pentaho-kettle
16.
ダウンロード • Pentaho配布サイト
http://community.pentaho.com/ http://sourceforge.net/projects/pentaho/files/ • Pentaho配布サイトPDI http://sourceforge.net/projects/pentaho/files/Data%2 0Integration/ • ダウンロード候補 – pdi-ce-5.1.0.0-752.zip
17.
インストール • ダウンロードするだけ(Javaの環境があれ
ば) • DBのJDBCドライバを追加 – postgresqlのドライバは同梱されている • SourceForgeのサイトからダウンロードし、 Windowsであれば、解凍したフォルダ中の Spoon.batをダブルクリック • 起動後、言語の設定を確認(日本語に なっているか)
18.
Spoon起動Windowsの場合、Spoon.batファイルをダブ ルクリックして起動します。
19.
新規→データ変換ファイル→新規→データ変換、を 選択します。 デザイン
タブ ツールバー キャンバス
20.
データ変換作成 • DB出力
(※過去のハンズオンから) 詳細は下記資料をごらんください。 #7 ETL ハンズオン http://www.slideshare.net/teruok/pdi-tutorial-20140121
21.
テキストファイル入力 新規→データ変換を選択。 「入力」ノードから「テキストファイ
ル入力」を選択。
22.
ステップ配置 「出力」ノードから「テキストファイ ル出力」を選択。下記のように配
置します。
23.
「テキストファイル入力」ス テップで先ほど出力したファイ ルを指定。
「プレビュー」ボタンをクリッ ク。 テキストファイル入力
24.
プレビュープレビューを確認。
25.
テキストファイル入力 全般タブ 全般タブで「入力タブ」ボタン
をクリックしてタブを入力。
26.
テキストファイル入力 フィールドタブ 「フィールドを取得」をクリッ
ク。
27.
走査した結果走査した結果が表示される。
28.
テーブル出力 「テーブル出力」ステップを編集。テーブル名 を指定。「列名を指定する」チェックボックス
をONに。「フィールドを取得」ボタンをク リックして、フィールド欄に自動記入。 「SQL」ボタンをクリック。
29.
SQL文生成、実行 CREATE TABLE文が生成される。
「実行」ボタンをクリックして、 出力先のテーブル作成。
30.
「フィールドマッピング」ボタ ンをクリックして、マッピング の内容を確認。
フィールドマッピング
31.
実行ツールバーの「実行」をクリッ ク。「実行」ボタンをクリック。
32.
実行結果実行結果が表示される。
33.
照会 DBに出力した内容を確認。 ビュータブのデータベース接続
から該当の接続を右クリックし て、「照会」を選択。
34.
データベース エクスプローラー 該当のテーブルを選択。
35.
プレビュー該当のテーブルを右クリックし て、「x行プレビュー」を選択。
36.
プレビューテーブルの内容が表示される。
37.
データ変換作成 • DB出力
38.
関連書籍 ハンズオンのスライドでは、左側の「Pentaho Data
Integration Beginner’s Guide」の内容を一部参考にしています。
39.
不明な点 • Pentahoのフォーラムへ
– 日本語でコミュニティー・サポート http://forums.pentaho.com/forumdisplay.php?86
40.
オープンソースBI 勉強会#10 https://atnd.org/events/56153
9/30(火)19:00~ 大崎 オープンソースカンファレンス2014 Tokyo/Fall http://www.ospn.jp/osc2014-fall/ 10/18(土)、19日(日) → 「オープンソースBI勉強会」コミュニティで出展予定
Hinweis der Redaktion
図左上:pentahoリポジトリ 図左下:pentaho-kettleリポジトリのプルリクエスト一覧 図右上:ソースコードのdiff画面(差分表示)
Jetzt herunterladen