Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel × Google BigQuery
CData Driver で BigQuery とのデータ連携を実現
© 2019 CData Software Japan, LLC | www.cdata.com/jp
クラウドエース様との協業を開始
© 2019 CData Software Japan, LLC | www.cdata.com/jp
自己紹介
• CData Software Japan 合同会社
• エンジニア
• 宮本 航太
• @miyamon(Twitter)
•...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
About CData Software
Bi-directional Access to Live App, Database, & We...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CDatα Software = データ連携用のドライバ屋
150+種類のデータソース 標準SQLインタフェース
SELECT * from...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData ODBC Driver
ODBC 3.8 準拠
クロスプラットフォーム (Windows, MacOS,
Linux)対応
32...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData JDBC Drivers
Pure Java タイプ4/5 ドライバー
JDBC 3.0、JDBC 4.0 準拠
JDBC 対応...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData ADO.NET Data Providers
ADO.NET 準拠のデータプロバイダー
Visual Studio ウィザードに...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Excel Add-Ins
Excel のリボンに統合
Excel テーブルにクラウドデータをバインド
データの読み出し/更新/...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ドライバでAPIをデータベースとして操作
ユーザーはAPIを意識することなく、
データベースを扱う感覚でクラウドデータとの連携を実現
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync for BigQuery
Saas、DB、ローカルファイルを ノンコーディングで
BigQuery へ同期
BigQu...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync で 3ステップでBigQuery へ同期
① 同期元の接続設定 ②同期先DB の接続設定 ③オブジェクト選択・起動設定
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Global Customers
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Software Japan Customers
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Drivers はOEM で活躍
Embedded in the leading BI, ETL, Data Integrati...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery へデータを集めるのは・・・
「CData Software Blog」で検索して頂くと、
最近の記事でCData Sync...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
今回は・・・
CData Driver を使って、 BigQuery のデータを Excel に取り込みます!
BigQuery Excel
© 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Driver をインストール
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel Add-In for BigQuery のインストール
https://www.cdata.com/jp/drivers/big...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel Add-In for BigQuery のインストール
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel Add-In for BigQuery の起動および接続設定
BigQuery の
DatasetID、ProjectID をセ...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery へのアクセス許可
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel のクエリ入力画面
クエリを直接書いて、自由に
データを取得することが可能
プルダウンでBigQueryのテーブルが一
覧表示される
© 2019 CData Software Japan, LLC | www.cdata.com/jp
クエリ実行後
BigQuery に格納されているテーブルの中身を取得!
ちなみに、VBA からもアクセスできます!
© 2019 CData Software Japan, LLC | www.cdata.com/jp
先ほどのスライドにもありましたが、クエリは自由に書くことができます。
テーブル結合、関数、Group By Order Byなどなど
© 2019 CData Software Japan, LLC | www.cdata.com/jp
例えば、Wikiのサンプルデータのサイズ
• テーブルサイズ:35.7GB
• レコード数:約3億行
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel と約3億行のデータのイメージ
Excel
さすがにこのサイズだと全データは持ってこれないんで、
全データください!
やめときなさ...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
条件付きで取得すればOK
Excel
というように、標準的なSQLでExcelからBigQueryの
データを取得することができます。
〇〇...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
では、実際に BigQuery からデータを持ってきてみます。
© 2019 CData Software Japan, LLC | www.cdata.com/jp
単純に50件データを取得
Excel
CData Driver
事前に BigQuery にはアメリカで人気の新生児名
(1910年~)のデ...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
1910年~2012年の名前トップ5を取得
Excel
CData Driver
SELECT TopName, count(*) AS c...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
セルにクエリを埋め込んでおくことも可能
BigQuery のデータを Excel の申請書などに埋め込むことも!
=CDATAQUERY(“...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Excel から BigQuery へデータを追加することも
例えば、いつも Excel で見ているデータの一覧を、
BigQuery にそ...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
今度はAccessへ
もちろん Access にも、 BigQuery のデータを取得することだってできます
BigQuery Access
© 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery ODBC Driver のインストール
https://www.cdata.com/jp/drivers/bigquery...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
ODBC の設定
Driver インストール後、Excel と同じように、
ProjectId と DatasetId を設定
© 2019 CData Software Japan, LLC | www.cdata.com/jp
リンクテーブル作成①
© 2019 CData Software Japan, LLC | www.cdata.com/jp
リンクテーブル作成②
リンクテーブルにしたい BigQuery のテーブルを選択するだけ!
OKボタン押下で完了
© 2019 CData Software Japan, LLC | www.cdata.com/jp
(BigQueryにある)Account テーブルを表示
インストールから BigQuery のテーブルの中身を参照するまでに5分も掛かりま...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
今度は BI ツールへ
BI ツール にも、 BigQuery のデータを取り込むことだってできます
BigQuery BI/データ分析
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Power BI Connectors のインストール
https://www.cdata.com/jp/drivers/bigquery/...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Account テーブルの取得
CData BigQueryのコネクタを選択
取得したいデータをSQLで指定
取得したデータを読み込ませる
...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
Power BI でAccount オブジェクトを可視化
各顧客に対する優先度の割合を表示
© 2019 CData Software Japan, LLC | www.cdata.com/jp
30日間の無償評価版がダウンロード可能!
今回ご紹介した各Driver含め、
Cdata Driver は30日間の無償評価版が
ダウンロー...
© 2019 CData Software Japan, LLC | www.cdata.com/jp
最後に
別回のミニセッションでご紹介しました、
ノーコードで BigQuery やその他DBにSaaSデータを
連携することができる「CDa...
Nächste SlideShare
Wird geladen in …5
×

Excel × Google BigQuery CData Driver で BigQuery とのデータ連携を実現

63 Aufrufe

Veröffentlicht am

Google Cloud Next 19 in Tokyo ミニセッション資料
 

Veröffentlicht in: Daten & Analysen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Excel × Google BigQuery CData Driver で BigQuery とのデータ連携を実現

  1. 1. © 2019 CData Software Japan, LLC | www.cdata.com/jp Excel × Google BigQuery CData Driver で BigQuery とのデータ連携を実現
  2. 2. © 2019 CData Software Japan, LLC | www.cdata.com/jp クラウドエース様との協業を開始
  3. 3. © 2019 CData Software Japan, LLC | www.cdata.com/jp 自己紹介 • CData Software Japan 合同会社 • エンジニア • 宮本 航太 • @miyamon(Twitter) • kota.miyamoto.902(Facebook)
  4. 4. © 2019 CData Software Japan, LLC | www.cdata.com/jp About CData Software Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers ・CData Software, Inc. / Started: 1994 (/nsoftware) ・Location: Chapel Hill, NC a spin-off of /n software ・CData Japan: 2016/6 (JV with Infoteria) ・20年以上にわたりデータ関連コンポーネントを提供 ・150+ 対応データソース ・「標準化によりAPI を使いやすく」をミッションに連携ツールを提供
  5. 5. © 2019 CData Software Japan, LLC | www.cdata.com/jp CDatα Software = データ連携用のドライバ屋 150+種類のデータソース 標準SQLインタフェース SELECT * from クラウド が出来る 各種 ドライバ を提供
  6. 6. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData ODBC Driver ODBC 3.8 準拠 クロスプラットフォーム (Windows, MacOS, Linux)対応 32ビット、64ビット、Unicode をサポート DSN 設定だけで、各種ツールから利用可能 • BI ツール • 帳票ツール • ETL / EAIツール • アプリビルダー • Office ツール(Excel / Access / Word など)
  7. 7. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData JDBC Drivers Pure Java タイプ4/5 ドライバー JDBC 3.0、JDBC 4.0 準拠 JDBC 対応の各種ツールから利用可能 • IDE (Eclipse / IntelliJ / NetBeansなど) • BI ツール • 帳票ツール • ETL / EAIツール • アプリビルダー
  8. 8. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData ADO.NET Data Providers ADO.NET 準拠のデータプロバイダー Visual Studio ウィザードに完全統合で、VB や C# でクラウドデータソース連携アプリを開発 VS のグリッドやチャートへのデータバインド MVC、EntityFramework6 対応
  9. 9. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Excel Add-Ins Excel のリボンに統合 Excel テーブルにクラウドデータをバインド データの読み出し/更新/挿入がGUI で可能 Excel データベースとSaas のマスター同期 Excel をUI としたBigQuery の操作 ユースケース • 一括入力(一括作成・一括更新) • 簡易BI • VBA用モジュール
  10. 10. © 2019 CData Software Japan, LLC | www.cdata.com/jp ドライバでAPIをデータベースとして操作 ユーザーはAPIを意識することなく、 データベースを扱う感覚でクラウドデータとの連携を実現
  11. 11. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Sync for BigQuery Saas、DB、ローカルファイルを ノンコーディングで BigQuery へ同期 BigQuery Oracle SQL Server MySQL PosgreSQL Salesforce kintone Marketo Google Spreadsheets Twitter Google Analytics Office 365 Dynamics 365 JSON XML CSV
  12. 12. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Sync で 3ステップでBigQuery へ同期 ① 同期元の接続設定 ②同期先DB の接続設定 ③オブジェクト選択・起動設定
  13. 13. © 2019 CData Software Japan, LLC | www.cdata.com/jp Global Customers
  14. 14. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Software Japan Customers
  15. 15. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Drivers はOEM で活躍 Embedded in the leading BI, ETL, Data Integration, Data Virtualization, and Data Warehousing tools
  16. 16. © 2019 CData Software Japan, LLC | www.cdata.com/jp BigQuery へデータを集めるのは・・・ 「CData Software Blog」で検索して頂くと、 最近の記事でCData Sync の活用方法をアップしています。 CData Sync というデータレプリケーションツールを使ってBigQueryへ! BigQuery
  17. 17. © 2019 CData Software Japan, LLC | www.cdata.com/jp 今回は・・・ CData Driver を使って、 BigQuery のデータを Excel に取り込みます! BigQuery Excel
  18. 18. © 2019 CData Software Japan, LLC | www.cdata.com/jp CData Driver をインストール
  19. 19. © 2019 CData Software Japan, LLC | www.cdata.com/jp Excel Add-In for BigQuery のインストール https://www.cdata.com/jp/drivers/bigquery/excel/
  20. 20. © 2019 CData Software Japan, LLC | www.cdata.com/jp Excel Add-In for BigQuery のインストール
  21. 21. © 2019 CData Software Japan, LLC | www.cdata.com/jp Excel Add-In for BigQuery の起動および接続設定 BigQuery の DatasetID、ProjectID をセット
  22. 22. © 2019 CData Software Japan, LLC | www.cdata.com/jp BigQuery へのアクセス許可
  23. 23. © 2019 CData Software Japan, LLC | www.cdata.com/jp Excel のクエリ入力画面 クエリを直接書いて、自由に データを取得することが可能 プルダウンでBigQueryのテーブルが一 覧表示される
  24. 24. © 2019 CData Software Japan, LLC | www.cdata.com/jp クエリ実行後 BigQuery に格納されているテーブルの中身を取得! ちなみに、VBA からもアクセスできます!
  25. 25. © 2019 CData Software Japan, LLC | www.cdata.com/jp 先ほどのスライドにもありましたが、クエリは自由に書くことができます。 テーブル結合、関数、Group By Order Byなどなど
  26. 26. © 2019 CData Software Japan, LLC | www.cdata.com/jp 例えば、Wikiのサンプルデータのサイズ • テーブルサイズ:35.7GB • レコード数:約3億行
  27. 27. © 2019 CData Software Japan, LLC | www.cdata.com/jp Excel と約3億行のデータのイメージ Excel さすがにこのサイズだと全データは持ってこれないんで、 全データください! やめときなさい!
  28. 28. © 2019 CData Software Japan, LLC | www.cdata.com/jp 条件付きで取得すればOK Excel というように、標準的なSQLでExcelからBigQueryの データを取得することができます。 〇〇が△△で、集約してデータを もってきてください これならOK!
  29. 29. © 2019 CData Software Japan, LLC | www.cdata.com/jp では、実際に BigQuery からデータを持ってきてみます。
  30. 30. © 2019 CData Software Japan, LLC | www.cdata.com/jp 単純に50件データを取得 Excel CData Driver 事前に BigQuery にはアメリカで人気の新生児名 (1910年~)のデータを投入済み SELECT * FROM `cdataj`.`cdata_excel`.`TopBabyNamesbyState` limit 50 OK!50件ね! BigQuery
  31. 31. © 2019 CData Software Japan, LLC | www.cdata.com/jp 1910年~2012年の名前トップ5を取得 Excel CData Driver SELECT TopName, count(*) AS count FROM `cdataj`.`cdata_excel`.`TopBabyNamesbyState` group by TopName order by count(*) desc limit 5 OK!トップ5ね! BigQuery count、group by、order by などなど使用
  32. 32. © 2019 CData Software Japan, LLC | www.cdata.com/jp セルにクエリを埋め込んでおくことも可能 BigQuery のデータを Excel の申請書などに埋め込むことも! =CDATAQUERY(“SELECT ・・・", "GoogleBigQuery.Connection2",,"B4:C5")
  33. 33. © 2019 CData Software Japan, LLC | www.cdata.com/jp Excel から BigQuery へデータを追加することも 例えば、いつも Excel で見ているデータの一覧を、 BigQuery にそのまま移行することも可 =CDATAINSERT(B4:F15,"cdataj.cdata_excel. TopBabyNamesbyState","GoogleBigQuery.Co nnection2")
  34. 34. © 2019 CData Software Japan, LLC | www.cdata.com/jp 今度はAccessへ もちろん Access にも、 BigQuery のデータを取得することだってできます BigQuery Access
  35. 35. © 2019 CData Software Japan, LLC | www.cdata.com/jp BigQuery ODBC Driver のインストール https://www.cdata.com/jp/drivers/bigquery/odbc/
  36. 36. © 2019 CData Software Japan, LLC | www.cdata.com/jp ODBC の設定 Driver インストール後、Excel と同じように、 ProjectId と DatasetId を設定
  37. 37. © 2019 CData Software Japan, LLC | www.cdata.com/jp リンクテーブル作成①
  38. 38. © 2019 CData Software Japan, LLC | www.cdata.com/jp リンクテーブル作成② リンクテーブルにしたい BigQuery のテーブルを選択するだけ! OKボタン押下で完了
  39. 39. © 2019 CData Software Japan, LLC | www.cdata.com/jp (BigQueryにある)Account テーブルを表示 インストールから BigQuery のテーブルの中身を参照するまでに5分も掛かりません!
  40. 40. © 2019 CData Software Japan, LLC | www.cdata.com/jp 今度は BI ツールへ BI ツール にも、 BigQuery のデータを取り込むことだってできます BigQuery BI/データ分析
  41. 41. © 2019 CData Software Japan, LLC | www.cdata.com/jp Power BI Connectors のインストール https://www.cdata.com/jp/drivers/bigquery/powerbi/
  42. 42. © 2019 CData Software Japan, LLC | www.cdata.com/jp Account テーブルの取得 CData BigQueryのコネクタを選択 取得したいデータをSQLで指定 取得したデータを読み込ませる 【 SQL 】 SELECT * FROM cdataj.demo.Account where IsDeleted = false LIMIT 100 CData Google BigQuery を選択して Account テーブルを取得します。
  43. 43. © 2019 CData Software Japan, LLC | www.cdata.com/jp Power BI でAccount オブジェクトを可視化 各顧客に対する優先度の割合を表示
  44. 44. © 2019 CData Software Japan, LLC | www.cdata.com/jp 30日間の無償評価版がダウンロード可能! 今回ご紹介した各Driver含め、 Cdata Driver は30日間の無償評価版が ダウンロード可能です!
  45. 45. © 2019 CData Software Japan, LLC | www.cdata.com/jp 最後に 別回のミニセッションでご紹介しました、 ノーコードで BigQuery やその他DBにSaaSデータを 連携することができる「CData Sync」について、 CData Software Blog に詳しく掲載しています! ご興味ある方は、こちらの QRコードからGO!! ★クラウドエース様ブース近辺にいますので、お気軽にお声がけください★

×