Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync × Google BigQuery
3ステップで各データソースとのデータ連携を実現
© 2019 CData Software Japan, LLC | www.cdata.com/jp
クラウドエース様との協業を開始
© 2019 CData Software Japan, LLC | www.cdata.com/jp
自己紹介
• CData Software Japan 合同会社
• エンジニア
• 宮本 航太
• @miyamon(Twitter)
•...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・(デモ)同期ジョブ作成~実行まで
・CData S...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
About CData Software
Bi-directional Access to Live App, Database, & We...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CDatα Software = データ連携用のドライバ屋
150+種類のデータソース 標準SQLインタフェース
SELECT * from...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ドライバでAPIをデータベースとして操作
ユーザーはAPIを意識することなく、
データベースを扱う感覚でクラウドデータとの連携を実現
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Global Customers
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Software Japan Customers
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Drivers はOEM で活躍
Embedded in the leading BI, ETL, Data Integrati...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・(デモ)同期ジョブ作成~実行まで
・CData S...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
About CData SyncTM
Replicate Any Data Source To Any Database With A Fe...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
同期先を BigQuery、 Cloud SQL にした場合の
イメージ
© 2019 CData Software Japan, LLC | www.cdata.com/jp
イメージ① クラウド、オンプレのDBを同期
Oracle
SQL Server
MySQL
PosgreSQL
・オンプレ
・クラウド ・B...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
イメージ② DB以外のデータソースを同期
・BigQuery、Cloud SQL
・クラウドデータソース
Salesforce
kinton...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync の主な特徴
Replicate Any Data Source To Any Database With A Few ...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
And more…
Salesforce
FacebookGmail Twitter Stripe
Google
Adwords
Dynam...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Cloud
Access
On premise
MySQLDB2 MongoDB
PosgreSQL SQL Server SQLite
C...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync のメリット
データ連携部分のコストを削減させ、同期先データの使い方に注力することができます
ノーコードでこれだけのデー...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync の多様な活用シーン
And more…
© 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・(デモ)同期ジョブ作成~実行まで
・CData S...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
3ステップでノーコードで同期設定
①データソースを選択して、コネクショ
ン設定
②同期先DB、データストアを選択し
てコネクション設定
③同...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
デモで行う同期内容について
・BigQuery
・Salesforce
• Salesforce にある Account オブジェクトを
B...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ1. データソースの接続情報を設定
© 2019 CData Software Japan, LLC | www.cdata.com/jp
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ2. 同期先の接続情報を設定
© 2019 CData Software Japan, LLC | www.cdata.com/jp
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ3. 同期ジョブを作成
© 2019 CData Software Japan, LLC | www.cdata.com/jp
And more…
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ1~3で作成したジョブを実行してみます
© 2019 CData Software Japan, LLC | www.cdata.com/jp
© 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・(デモ)同期ジョブ作成~実行まで
・CData S...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
悩み:経営分析のため毎月のデータを保持したい
実現するためには色々面倒な壁が。DB定義修正、処理追加、テストなどなど
各月で確定した集計デー...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
1テーブルに年月カラムを追加してデータを蓄積
月次処理6月分 月次処理7月分 月次処理8月分
YYYYMM ID Name
201906 0...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
同期した月毎にテーブルを分けて保持
月次処理6月分 月次処理7月分 月次処理8月分
BigQuery の場合、クエリのたびに対象テーブルをフ...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
差分があったデータのみ分割テーブルとして保持
月次処理6月分 月次処理7月分 月次処理8月分
YYYYMM ID NAME
201907 0...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
定期ジョブとしてスケジューリング
• 月単位だけではなく、時間単位や日単位でもスケジューリングが可能
© 2019 CData Software Japan, LLC | www.cdata.com/jp
定期ジョブとしてスケジューリング
• Cron 形式でスケジューリングもできます!
© 2019 CData Software Japan, LLC | www.cdata.com/jp
API も自動的に作成されます
コマンドベースでジョブの作成や実行が可能
© 2019 CData Software Japan, LLC | www.cdata.com/jp
他にも……
• SQLの関数を使うことや、テーブル結合も可
• 同期先のテーブル削除、データ削除を行ってからのジョブ実行
• 差分更新も可(...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・(デモ)同期ジョブ作成~実行まで
・CData S...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery 対応の CData Driver
ODBC、JDBC、ADO.NET、
Excel Add-In など、
多種多様なアプリ...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Contact Us
Worldwide Offices for Global Sales and Support
30日間ご利用頂ける無償...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
最後に
本日のミニセッションの詳しい内容は、
CData Software Blog に掲載してい
ます!
こちらの QRコードからGO!!...
Nächste SlideShare
Wird geladen in …5
×

CData Sync × Google BigQuery 3ステップで各データソースとのデータ連携を実現

188 Aufrufe

Veröffentlicht am

Google Cloud Next 19 in Tokyo ミニセッション資料

Veröffentlicht in: Daten & Analysen
  • Als Erste(r) kommentieren

CData Sync × Google BigQuery 3ステップで各データソースとのデータ連携を実現

  1. 1. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Sync × Google BigQuery 3ステップで各データソースとのデータ連携を実現
  2. 2. © 2019 CData Software Japan, LLC | www.cdata.com/jp クラウドエース様との協業を開始
  3. 3. © 2019 CData Software Japan, LLC | www.cdata.com/jp 自己紹介 • CData Software Japan 合同会社 • エンジニア • 宮本 航太 • @miyamon(Twitter) • kota.miyamoto.902(Facebook)
  4. 4. © 2019 CData Software Japan, LLC | www.cdata.com/jp アジェンダ ・CData Software について ・CData Sync について ・(デモ)同期ジョブ作成~実行まで ・CData Sync の活用例 と 様々な機能について ・BigQuery 対応のCData Driver
  5. 5. © 2019 CData Software Japan, LLC | www.cdata.com/jp About CData Software Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers ・CData Software, Inc. / Started: 1994 (/nsoftware) ・Location: Chapel Hill, NC a spin-off of /n software ・CData Japan: 2016/6 (JV with Infoteria) ・20年以上にわたりデータ関連コンポーネントを提供 ・150+ 対応データソース ・「標準化によりAPI を使いやすく」をミッションに連携ツールを提供
  6. 6. © 2019 CData Software Japan, LLC | www.cdata.com/jp CDatα Software = データ連携用のドライバ屋 150+種類のデータソース 標準SQLインタフェース SELECT * from クラウド が出来る 各種 ドライバ を提供
  7. 7. © 2019 CData Software Japan, LLC | www.cdata.com/jp ドライバでAPIをデータベースとして操作 ユーザーはAPIを意識することなく、 データベースを扱う感覚でクラウドデータとの連携を実現
  8. 8. © 2019 CData Software Japan, LLC | www.cdata.com/jp Global Customers
  9. 9. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Software Japan Customers
  10. 10. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Drivers はOEM で活躍 Embedded in the leading BI, ETL, Data Integration, Data Virtualization, and Data Warehousing tools
  11. 11. © 2019 CData Software Japan, LLC | www.cdata.com/jp アジェンダ ・CData Software について ・CData Sync について ・(デモ)同期ジョブ作成~実行まで ・CData Sync の活用例 と 様々な機能について ・BigQuery 対応のCData Driver
  12. 12. © 2019 CData Software Japan, LLC | www.cdata.com/jp About CData SyncTM Replicate Any Data Source To Any Database With A Few Clicks  クラウド/SaaS のデータをノンコーディングで直観的 にDB にレプリケーション(複製)できるツール  クラウドデータを使い慣れたRDB やデータストアに 同期
  13. 13. © 2019 CData Software Japan, LLC | www.cdata.com/jp 同期先を BigQuery、 Cloud SQL にした場合の イメージ
  14. 14. © 2019 CData Software Japan, LLC | www.cdata.com/jp イメージ① クラウド、オンプレのDBを同期 Oracle SQL Server MySQL PosgreSQL ・オンプレ ・クラウド ・BigQuery、Cloud SQL
  15. 15. © 2019 CData Software Japan, LLC | www.cdata.com/jp イメージ② DB以外のデータソースを同期 ・BigQuery、Cloud SQL ・クラウドデータソース Salesforce kintone Marketo Google Spreadsheets Twitter Google Analytics Office 365 Dynamics 365 JSON XML ・ファイル CSV
  16. 16. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Sync の主な特徴 Replicate Any Data Source To Any Database With A Few Clicks
  17. 17. © 2019 CData Software Japan, LLC | www.cdata.com/jp And more… Salesforce FacebookGmail Twitter Stripe Google Adwords Dynamics 365 JSON Google Analytics JiraGitHubTwilio kintone Office 365 Quick BooksZohoHubSpot Sugar CRMSharePointEloquaMarketoNetSuiteDynamics CRM YouTube Analytics Google Spreadsheets SendGridSAPActive Driectory Google Contacts XML CData Sync Data Sources 100 を超えるエンタープライズデータソースに対応
  18. 18. © 2019 CData Software Japan, LLC | www.cdata.com/jp Cloud Access On premise MySQLDB2 MongoDB PosgreSQL SQL Server SQLite CSVCassandra Oracle Amazon Redshift Amazon S3 Snowflake Google Cloud SQL Google BigQuery Azure SQL Database CData Sync 同期先DB 主要RDB から、クラウドデータストアまで And more…
  19. 19. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Sync のメリット データ連携部分のコストを削減させ、同期先データの使い方に注力することができます ノーコードでこれだけのデータソースを扱うことができること!
  20. 20. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Sync の多様な活用シーン And more…
  21. 21. © 2019 CData Software Japan, LLC | www.cdata.com/jp アジェンダ ・CData Software について ・CData Sync について ・(デモ)同期ジョブ作成~実行まで ・CData Sync の活用例 と 様々な機能について ・BigQuery 対応のCData Driver
  22. 22. © 2019 CData Software Japan, LLC | www.cdata.com/jp 3ステップでノーコードで同期設定 ①データソースを選択して、コネクショ ン設定 ②同期先DB、データストアを選択し てコネクション設定 ③同期先ジョブ(テーブル、条件、 バッチ感覚など)を設定
  23. 23. © 2019 CData Software Japan, LLC | www.cdata.com/jp デモで行う同期内容について ・BigQuery ・Salesforce • Salesforce にある Account オブジェクトを BigQuery に 「Account」 テーブルとして流し込みます。 Account
  24. 24. © 2019 CData Software Japan, LLC | www.cdata.com/jp ステップ1. データソースの接続情報を設定
  25. 25. © 2019 CData Software Japan, LLC | www.cdata.com/jp
  26. 26. © 2019 CData Software Japan, LLC | www.cdata.com/jp ステップ2. 同期先の接続情報を設定
  27. 27. © 2019 CData Software Japan, LLC | www.cdata.com/jp
  28. 28. © 2019 CData Software Japan, LLC | www.cdata.com/jp ステップ3. 同期ジョブを作成
  29. 29. © 2019 CData Software Japan, LLC | www.cdata.com/jp And more…
  30. 30. © 2019 CData Software Japan, LLC | www.cdata.com/jp ステップ1~3で作成したジョブを実行してみます
  31. 31. © 2019 CData Software Japan, LLC | www.cdata.com/jp
  32. 32. © 2019 CData Software Japan, LLC | www.cdata.com/jp アジェンダ ・CData Software について ・CData Sync について ・(デモ)同期ジョブ作成~実行まで ・CData Sync の活用例 と 様々な機能について ・BigQuery 対応のCData Driver
  33. 33. © 2019 CData Software Japan, LLC | www.cdata.com/jp 悩み:経営分析のため毎月のデータを保持したい 実現するためには色々面倒な壁が。DB定義修正、処理追加、テストなどなど 各月で確定した集計データは見れるんだけど、 そこからドリルダウンしてもっとみたい! 各月で締めたデータを保持するのはできるんだけど、 DB定義も修正して、月次バッチにも処理を追加したり、い ろいろ工数が掛かりそうだな。
  34. 34. © 2019 CData Software Japan, LLC | www.cdata.com/jp 1テーブルに年月カラムを追加してデータを蓄積 月次処理6月分 月次処理7月分 月次処理8月分 YYYYMM ID Name 201906 00001 cdata1 YYYYMM ID NAME 201906 00001 cdata1 201907 00002 cdata2 YYYYMM ID NAME 201906 00001 cdata1 201907 00002 cdata2 201908 00003 cdata3
  35. 35. © 2019 CData Software Japan, LLC | www.cdata.com/jp 同期した月毎にテーブルを分けて保持 月次処理6月分 月次処理7月分 月次処理8月分 BigQuery の場合、クエリのたびに対象テーブルをフルスキャンするため、 対象のテーブルを絞り込むことによってコスト削減につながる
  36. 36. © 2019 CData Software Japan, LLC | www.cdata.com/jp 差分があったデータのみ分割テーブルとして保持 月次処理6月分 月次処理7月分 月次処理8月分 YYYYMM ID NAME 201907 00006 cdata6 YYYYMM ID NAME 201908 00007 cdata7 201908 00008 cdata8 201908 00009 cdata9 YYYYMM ID Name 201906 00001 cdata1 201906 00002 cdata2 201906 00003 cdata3 201906 00004 cdata4 201906 00005 cdata5 当該月データのみを持つテーブル構造なので、テーブルの絞り込みによりコスト削減 ※差分更新可能なデータソースのみ対応
  37. 37. © 2019 CData Software Japan, LLC | www.cdata.com/jp 定期ジョブとしてスケジューリング • 月単位だけではなく、時間単位や日単位でもスケジューリングが可能
  38. 38. © 2019 CData Software Japan, LLC | www.cdata.com/jp 定期ジョブとしてスケジューリング • Cron 形式でスケジューリングもできます!
  39. 39. © 2019 CData Software Japan, LLC | www.cdata.com/jp API も自動的に作成されます コマンドベースでジョブの作成や実行が可能
  40. 40. © 2019 CData Software Japan, LLC | www.cdata.com/jp 他にも…… • SQLの関数を使うことや、テーブル結合も可 • 同期先のテーブル削除、データ削除を行ってからのジョブ実行 • 差分更新も可(対応しているコネクタのみ) • CData Sync はクロスプラットフォームに対応 ・・・・
  41. 41. © 2019 CData Software Japan, LLC | www.cdata.com/jp アジェンダ ・CData Software について ・CData Sync について ・(デモ)同期ジョブ作成~実行まで ・CData Sync の活用例 と 様々な機能について ・BigQuery 対応のCData Driver
  42. 42. © 2019 CData Software Japan, LLC | www.cdata.com/jp BigQuery 対応の CData Driver ODBC、JDBC、ADO.NET、 Excel Add-In など、 多種多様なアプリケーションと BigQuery とのデータ連携を実現
  43. 43. © 2019 CData Software Japan, LLC | www.cdata.com/jp Contact Us Worldwide Offices for Global Sales and Support 30日間ご利用頂ける無償評価版 がダウンロード可能です。 ご試用お待ちしてます!! https://www.cdata.com/jp/sync/
  44. 44. © 2019 CData Software Japan, LLC | www.cdata.com/jp 最後に 本日のミニセッションの詳しい内容は、 CData Software Blog に掲載してい ます! こちらの QRコードからGO!! ★クラウドエース様ブース近辺にいますので、お気軽にお声がけください★

×