オープンソースで開くビッグデータの扉
•
4 gefällt mir•1,965 views
http://www.ossaj.org/seminar/140731/ossaj_seminar_20140731_brochure.html オープンソースソフトウェアを使ったクローズドなビジネスもあれば、クローズドソースを使ったオープンなビジネスもあります。そして、オープンソースソフトウェアを使ったオープンなビジネスであることが、企業の存在意義になる場合もあります。 フランス生まれのオープンソースソフトウェア会社であるTalendは、その製品の特長からオープンなビジネスであることを企業の存在意義にしています。オープンイノベーションとオープンビジネスを推進するTalendが、なぜビッグデータにフォーカスしたビジネスをしているのか？オープンイノベーションとオープンビジネスがどのようにTalnedを支えているのかについてご紹介します。
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Ähnlich wie オープンソースで開くビッグデータの扉
Ähnlich wie オープンソースで開くビッグデータの扉 (20)
Mehr von Open Source Software Association of Japan
Mehr von Open Source Software Association of Japan (20)
オープンソースで開くビッグデータの扉
- 1. © Talend 2014 1 オープンソースで開く ビッグデータの扉 寺澤慎祐 Talend株式会社 マーケティングディレクター 株式会社アイトップ 代表取締役 NPOオープンソースソフトウェア協会 理理事 2014.7.31
- 2. © Talend 2014 2 ⾃自⼰己紹介 • 概要 - 名前：寺澤慎祐 - 学歴：英国国⽴立立ウェールズ⼤大学経営⼤大学院（MBA） - 趣味：ゴルフ、映画鑑賞、⾞車車、読書、歴史もの • 職務内容 - IT業界でソフトウェア開発（１年年）、営業（5年年）、マーケティングに従事（17年年） - 内閣府、警察庁などの委員会で委員 - ⽇日本オープンソースソフトウェア協会理理事 • 職歴 - 1990-1999 トーメンエレクトロニクス社（半導体商社） - 2000-2002 エコス社（Eコマースパッケージベンチャー） - 2002-2004 イーシーワン社（Javaインテグレータ） - 2004-2011 サン・マイクロシステムズ社、⽇日本オラクル社（HWベンダー、SWベンダー） - 2011- アイトップ社 - 2011- ⽇日本サイトラインシステムズ社にてコンサルタント - 2013- Talend株式会社でマーケティングディレクター • 現在 - マーケティングコンサルタント、ITコンサルタントとして活動 - マーケジン（翔泳社）にてB2Bリードジェネレーションの連載、講座
- 3. © Talend 2014 3 アジェンダ Talendの紹介 オープンであること なぜ、データ活⽤用なのか？ なぜ、ビッグデータなのか？ ビッグデータの活⽤用と課題
- 4. © Talend 2014 4 about
- 5. © Talend 2014 5 Talendの使命 全てのデータから価値を⽣生み出す
- 6. © Talend 2014 6 2005 フランスにて二人のエンジニアが創業 Bertrand Diard ベルトランド・ディアド Co-Founder Fabrice Bonan ファビルス・ボナン Co-Founder and CTO
- 7. © Talend 2014 7 オープンソースソフトウェア オープンビジネス
- 8. © Talend 2014 8 45,000：コミュニティ 1,500：品質テスター 500：コンポーネント
- 9. © Talend 2014 9 20,000,000：ダウンロード数 1,000,000：ユーザー数 4,000：導入企業数
- 10. © Talend 2014 10 128%：前年度比売上成長率 世界２位：OSS系企業売上高
- 11. © Talend 2014 11 Talendは、オープンソースを使って オープンビジネスを進めています
- 12. © Talend 2014 12 オープンであることの意義 オープンソース オープンビジネス • 本質的な⺠民主主義 • 無駄な物は作らない（最⼤大公約数） • 良良いものしか残らない • 速い技術⾰革新 • 世界中のコミュニティ構成 • 競合他社や利利害関係者との関係をな るべく排除したビジネス • 特定ベンダーや特定技術に依存しな い、依存させないビジネスモデル • 常に選択肢があるビジネスモデル
- 13. © Talend 2014 13 オープンソース＝オープンイノベーション FREE（⾃自由） FREE（無料料） • オープンソースソフトウェア同⼠士の対 応は⾃自由（選択権の⾃自由） • ⾃自社利利益のために積極的な相互⽀支援 • 利利害関係が少ない • ベンダーロックインを避ける • オープンイノベーション⼿手法で開発 したソフトウェアを無料料で提供可能 • 無料料な戦略略（フリーミアム）で利利⽤用 者の裾野を広げてコミュニティを形 成 • 付加価値（機能や保守）をつけるこ とでマネタイズを図る
- 14. © Talend 2014 14 オープンソース＝オープンイノベーション ⾼高品質 先進技術への 早い対応 • 下位互換を維持しやすい • 良良いものだけを残す⾃自浄作⽤用 • 多くのテスターの貢献 • ⾃自社技術だけでなく他社が持つ技術 やアイデアを組み合わせて、⾰革新的 な商品やビジネスモデルを⽣生み出す • 開発にかかる費⽤用が⼤大きくなってき たのを他企業と分けられる • オープンソースソフトウェア同⼠士の 対応は相互にスピードが要求される • 積極的な相互⽀支援 • 利利害関係が少ない • 選択権の⾃自由
- 15. © Talend 2014 15 オープンビジネス Vendor Free Option Free • クローズ、オープンという利利害関係が 関係なく、誰とでも繋げられる • ⾃自社利利益のために積極的な相互⽀支援 • 利利害関係が少ない • オープンソースソフトウェア同⼠士の 対応は⾃自由（選択権の⾃自由） • 利利害関係が少ない
- 16. © Talend 2014 16 オープンソースソフトウェア 分野 ソフトウェア プログラム言語 Java、Ruby、Perl、Python、PHP、R OS Linux、Solaris、Android デスクトップ環境 GNOME、KDE、LXDE ツールキット、フレームワー ク Qt、GTK+ 仮想化環境 KVM、Xen 統合開発環境(IDE) Eclipse、NetBeans、WideStudio Web サーバー Apache HTTP Server、ngix アプリケーションサーバー Apache Tomcat、JBoss、Apache Geronimo、GlassFish データベースサーバー MySQL、PostgreSQL、Firebird、OpenLDAP、Apache Derby データ処理 Hadoop、 Cassandra、HBase、Hive、Pig、YARN、Impala、Sqoop、spark バージョン管理 CVS、SubVersion、Git 拡張機能 iptables、ip6tables、OpenSSL 特定アプリケーション向け サ ーバー TCP Wrapper Exim、Sendmail、Postfix Samba Squid アプリケーション連携機能 ZFS Amanda Liferay、JBoss Portal、eXo OpenAM、Talend Open Studio、Pentaho、Jaspersoft、Plone、Drupal アプリケーション Apache Solr、Selenium Apache OpenOffice、LibreOffice、ADmpiere、eGroupWare、Scalix、Zimbra Firefox Thunderbird、osCommerce、SugarCRM、SalesLabor、WordPress Hadoop、 Cassandra、 HBase、Hive、Pig、YARN、 Impala、Sqoop、spark ビッグデータ系分散処理理技術
- 17. © Talend 2014 17 なぜ、データ活⽤用なのか？
- 18. © Talend 2014 18 ビジネスで知りたい５つのこと 現在の実⼒力力 もっとも 売れている商品 将来性 今後、売り上げが 伸びる商品 確実性 何かがあると 必ず売れる商品 着実性、安定性 いつも⼀一定して 売れる商品 ⼀一過性、断続性 ときどき よく売れる商品
- 19. © Talend 2014 19 データ分析が経営にもたらすもの • 起きることを想定し最適な打ち⼿手をしたい（指⽰示的データ分析） - モデル化された事象に対してシミュレーション（仮説の導⼊入）を実施し て、売上に繋がる打ち⼿手、顧客満⾜足に繋がる打ち⼿手、コスト削減につな がる打ち⼿手を実施する " 何が起きるか知りたい（予測的データ分析） n データマイニングは、過去データからの兆候を⾒見見つけ出し、データサ イエンティストは、過去データからモデルを導かなければならない n 統計解析⼿手法を使って、起きることを予想する " 何が起きたが知りたい（説明的データ分析） n データマイニングは、データから何かの兆候を⾒見見つけられる。 n ⾃自動化できにくい n ストーリー、仮説、想像⼒力力が必要
- 20. © Talend 2014 20 データ 収集 データ 分析 意思 決定 アク ション データ 種類 データ 品質 データキュレーター 多くのデータセットの中から、役に⽴立立つものを選び出し、必要ならば修復復し、分析アルゴリズムにかける。 データのフォーマットや単位系の変換、データ項⽬目の意味の関連付けなど、⽬目的に応じて、どのデータに、 どのような前処理理やクレンジングを施して使うかを決定して実施する データサイエンティスト 「統計学的要素」、「IT要素」、「業務要素」の全ての能⼒力力を備え、データを収集し、アクセスして、分析することで ビジネスに活かせる知⾒見見を引き出す能⼒力力の持ち主。データ処理理や統計に関する基本的な知識識に加えて、 データの裏裏にある真実を⾒見見抜く⼒力力、⼀一⾒見見まったく関係のないデータを組み合わせるときに何かを発⾒見見する⼒力力、仮説やス トーリーを想定できるスキルが⽋欠かせない。 アルゴ リズム 様々なデータを統合して経営をドライブする
- 21. © Talend 2014 21 データが無くて意思決定できるだろうか？ New KKDOld KKD
- 22. © Talend 2014 22 なぜ、ビッグデータなのか？
- 23. © Talend 2014 23 なぜビッグデータなのか？ アルゴリズム アプローチ データ アプローチ
- 24. © Talend 2014 24 ビッグデータって 社内 データ 社外 データ 構造化データ ⾮非構造化データ ON-‐‑‒PREMISE マーケ ティング 物流流 営業 財務 顧客 PHR 国勢 調査 公共 ⺠民間 政府 天候 SNS ゲノム 株価 ⽣生体 ⾳音声 為替 テキスト センサ クリック http ⾳音声 スルー プット CLOUD マーケ ティング 物流 営業 財務 顧客 PHR 国勢 調査 公共 民間 政府 天候 SNS ゲノム 株価 生体 音声 為替 テキスト センサ クリック http 音声 スルー プット
- 25. © Talend 2014 25 ビッグデータを活⽤用したい意味 BIツール による分析 社内データ 社外データ オンプレ データ クラウド データ DATA INFORMATION データ収集 整理・変換・ 統合 経営⽬目標 売上増加 コスト削減 顧客満⾜足 ERP RDB CRM SFA Logi SOURCE INTELLIGENCE ビッグデータを 処理理してビッグ な情報を得る ビッグデータ へ拡張 ビッグな インテリジェンス より⼤大きな成果 Click Mobile RFID
- 26. © Talend 2014 26 Business Intelligence 現在のビッグデータ活⽤用は？ 購買⾏行行動に影響を 与える外部データ 販売データ 商品データ 購買⾏行行動に 影響を与える 内部データ 各種データ 天候、景気 イベント、競合商品 購買までの⾏行行動 クリックストリーム 店内⾏行行動分析 Big Data 顧客データ 仮説の検証、インサイト データ分析、モデル作成、 アルゴリズム作成、統計解析
- 27. © Talend 2014 27 Business Intelligence ⼀一歩先のビッグデータ活⽤用は？ 購買⾏行行動に影響を 与える外部データ 販売データ 商品データ 購買⾏行行動に 影響を与える 内部データ 各種データ 天候、景気 イベント、競合商品 購買までの⾏行行動 クリックストリーム 店内⾏行行動分析 Big Data 顧客データ 他システム、経営⾏行行動 意思決定 SFA CRM 物流流 調達 その他 新規顧客 獲得 顧客満⾜足度度 向上 仮説の検証、インサイト データ分析、モデル作成、 アルゴリズム作成、統計解析 売上 アップ コスト ダウン
- 28. © Talend 2014 28 ⼆二歩先のビッグデータ活⽤用は？ データの 収集・整理理・変換・統合・排除・加⼯工・共有 データ分析 ⾛走⾏行行データ 乗降降客データ 乗降降客データ VICSデータ 購買データ 視聴率率率データ GPSデータ SNSデータ データ活⽤用 新しいサービス 異異業種・異異業態・異異企業を横断した活⽤用によって全く新しいサービスを創造する アプリ開発会社 データ キュレータ データ サイエンティスト データ サイエンティスト アプリ開発者サービス 開発者
- 29. © Talend 2014 29 ビッグデータ統合によって インテリジェンスを得ることは重要ですが、 インテリジェンスを使うことが本質です。
- 30. © Talend 2014 30 インテリジェンスを使って⾃自動化する Business Intelligence 購買⾏行行動に影響を 与える外部データ 販売データ 商品データ 購買⾏行行動に 影響を与える 内部データ 各種データ 天候、景気 イベント、競合商品 購買までの⾏行行動 クリックストリーム 店内⾏行行動分析 Big Data 顧客データ 他システム、経営⾏行行動 意思決定 SFA CRM 物流流 調達 その他 新規顧客 獲得 顧客満⾜足度度 向上 仮説の検証、インサイト データ分析、モデル作成、 アルゴリズム作成、統計解析 売上 アップ コスト ダウン 自動化
- 31. © Talend 2014 31 データ統合はオートメーション技術 • データ分析は、特定のイベントではなくスナップショットにおける傾向分析ではない • データ分析は、組織における意思決定の補助⼿手段 • データ分析は、定型的なモデル作りです • データ分析は、データの収集から意思決定までのプロセスです データ統合とは、 データの収集から意思決定までのプロセスを、 オートメーション化する技術
- 32. © Talend 2014 32 ビッグデータの活⽤用と課題
- 33. © Talend 2014 33 ビッグデータ活⽤用の流流れと課題 BIツール による分析 社内データ 社外データ オンプレ データ クラウド データ DATA INFORMATION データ収集 整理・変換・ 統合 経営⽬目標 売上増加 コスト削減 顧客満⾜足 ERP RDB CRM SFA Logi SOURCE INTELLIGENCE ビッグデータを 処理理してビッグ な情報を得る ビッグデータ へ拡張 ビッグな インテリジェンス より⼤大きな成果 【新たな課題】 多種多様なデータソースに対応できない 投資効果が維持できない 【新たな課題】 ビッグデータを⾼高速に処理理できない Hadoopを簡単に扱えない Click Mobile RFID
- 34. © Talend 2014 34 ビッグデータ活⽤用の課題 多種多様なデータソース に対応できない Hadoopを簡単に扱えない 投資効果が維持できない ビッグデータを⾼高速に 処理理できない
- 35. © Talend 2014 35 ほとんどの情報ソースに接続できます 多種多様なデータソースに対応できない
- 36. © Talend 2014 36 Talendは、社内外の多種多様なデータの 必要な部分を、必要な量量だけ、 必要なタイミングで、収集、整理理、変換、 統合ができるツールを提供しています。
- 37. © Talend 2014 37 Talend Studio 稼働環境 DATA INPUT DATA OUTPUT cloud データ統合ツール：Talend Studio
- 38. © Talend 2014 38 標準技術で開発できるTalend Studio 共有リポジトリ ビュー 情報ソースに 接続する コンポーネント ワークスペースにグラフィカルに 処理をデザイン コンポーネントプロパティ を設定
- 39. © Talend 2014 39 処理理を⾃自動化できますTalend Administration Center ロールベースの ユーザー管理 分散サーバーを一元で監視 Hadoop環境へのデプロイと Oozieベースの実行スケジュール スケジュール監視
- 40. © Talend 2014 40 Talend Studioと従来製品の違い コネクタ数 可読性 指向性 独自作成 従来製品 100程度度 認定:500 コミュニティ:300以上 コードは読めない 100%標準の Javaコードとして可読可能 ベンダー指向 顧客指向 開発者指向 不不可能 可能
- 41. © Talend 2014 41 Hadoopを簡単に扱えない Talend Studioでは Hadoopを意識識せずに使えます
- 42. © Talend 2014 42 ビッグデータ関連技術の習得は簡単ではない • NoSQL、Hadoopなど分散処理理の必要性は増すばかり • NoSQL、Hadoopなど分散処理理技術の習得は困難 • NoSQL、Hadoopなど分散処理理技術のエンジニアの不不⾜足 開発者 API API API
- 43. © Talend 2014 43 ビッグデータを⾼高速に処理理できない 全てのデータ処理理をHadoop上で稼働
- 44. © Talend 2014 44 TalendのジョブはHadoop上で稼働します ジョブを実⾏行行するプログラム （独⾃自コード） OS Hardware 従来製品 Hadoop環境 Map / Reduce HDFS ジョブを実⾏行行する プログラム 性能限界が ハードウェア に依存 性能限界が ほとんど無い
- 45. © Talend 2014 45 投資効果が維持できない Talendのライセンスモデルは 利利⽤用者単位
- 46. © Talend 2014 46 ビッグデータにしたらコストもビッグに？ ライセンス単位が利利⽤用者数であるためデータ量量 やサーバ量量に⽐比例例しない。 新しいコネクタも無料料で提供 従来製品 ライセンス単位が、データ量量、サーバー数、 CPU数、コア数、インスタンス数、利利⽤用時間 など、データ量量に応じたライセンス形態 新しいコネクタは有料料 Talendコストモデル
- 47. © Talend 2014 47 Talendが優位なポイントはオープン オープンソースなので ⾃自由にコネクタが作成できる オープンソースなので コードが可読可能で信頼性が⾼高い オープンビジネスなので 接続コネクタが多い オープンビジネスなので 先進技術への対応が早い
- 48. © Talend 2014 48 これからのIT投資は“売上アップのために” 効率率率化、コストダウン のためのIT投資 ERP、SCM、SFA、CRM、Logistic、 Finance、HRM、POS IT部⾨門が ドライブ 売上アップ のためのIT投資 Marketing Decision Making マーケティング部⾨門や企画部⾨門が ドライブ
- 49. © Talend 2014 49 まとめ：ビッグデータビジネスにオープンが有効な理理由 ビッグデータ技術は ⾰革新速度度が速い ビッグデータ基礎技術は オープンソースが多い ビッグデータビジネスは 多種多様な情報ソースに アクセスする必要がある ビッグデータビジネスは 顧客⾃自⾝身がドライブ しなければならない • オープンイノベーション • ⾮非ベンダーロックイン • ガバナンス • オープンイノベーション • オプションフリー • ベンダーフリー • オープンソースソフト • オープンビジネス
- 50. © Talend 2014 50 Talendは⽮矢印ベンダー 日立ソリューションズ、IT LeadersのWebサイトより 矢印のご用命は、
- 51. © Talend 2014 51 ご清聴ありがとうございました