Suche senden
Hochladen
TokyoWebminig カジュアルなHadoop
•
2 gefällt mir
•
4,319 views
Teruo Kawasaki
Folgen
第25回 TokyoWebmining 発表スライド
Weniger lesen
Mehr lesen
Technologie
Diashow-Anzeige
Melden
Teilen
Diashow-Anzeige
Melden
Teilen
1 von 61
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Sho Shimauchi
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
Yu Ishikawa
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Empfohlen
Lambda in java_20160121
Lambda in java_20160121
Teruo Kawasaki
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Sho Shimauchi
elasticsearch-hadoopをつかってごにょごにょしてみる
elasticsearch-hadoopをつかってごにょごにょしてみる
Katsushi Yamashita
Hadoop Source Code Reading #17
Hadoop Source Code Reading #17
Shingo Furuyama
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
2015 03-12 道玄坂LT祭り第2回 Spark DataFrame Introduction
Yu Ishikawa
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Sotaro Kimura
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Recruit Technologies
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
Re:dash Use Cases at iPROS
Re:dash Use Cases at iPROS
Jumpei Yokota
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
cyberagent
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
Takeshi Mikami
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Katsushi Yamashita
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Apache NiFi の紹介 #streamctjp
Apache NiFi の紹介 #streamctjp
Yahoo!デベロッパーネットワーク
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係
moai kids
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
Koji Shinkubo
Tez on EMRを試してみた
Tez on EMRを試してみた
Satoshi Noto
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
Koichi Hamada
複雑ネットワーク上の伝搬法則の数理
複雑ネットワーク上の伝搬法則の数理
Koichi Hamada
Weitere ähnliche Inhalte
Was ist angesagt?
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
Keigo Suda
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Sotaro Kimura
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Recruit Technologies
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
Re:dash Use Cases at iPROS
Re:dash Use Cases at iPROS
Jumpei Yokota
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
cyberagent
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
Takeshi Mikami
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Katsushi Yamashita
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
Yuki Morishita
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
Yahoo!デベロッパーネットワーク
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
(LT)Spark and Cassandra
(LT)Spark and Cassandra
datastaxjp
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Sotaro Kimura
Apache NiFi の紹介 #streamctjp
Apache NiFi の紹介 #streamctjp
Yahoo!デベロッパーネットワーク
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係
moai kids
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
Koji Shinkubo
Tez on EMRを試してみた
Tez on EMRを試してみた
Satoshi Noto
Was ist angesagt?
(20)
Kafka logをオブジェクトストレージに連携する方法まとめ
Kafka logをオブジェクトストレージに連携する方法まとめ
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Re:dash Use Cases at iPROS
Re:dash Use Cases at iPROS
最新版Hadoopクラスタを運用して得られたもの
最新版Hadoopクラスタを運用して得られたもの
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
噛み砕いてKafka Streams #kafkajp
噛み砕いてKafka Streams #kafkajp
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
(LT)Spark and Cassandra
(LT)Spark and Cassandra
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Spark Structured StreamingでKafkaクラスタのデータをお手軽活用
Apache NiFi の紹介 #streamctjp
Apache NiFi の紹介 #streamctjp
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
FluentdとRedshiftの素敵な関係
FluentdとRedshiftの素敵な関係
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
Tez on EMRを試してみた
Tez on EMRを試してみた
Andere mochten auch
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
Koichi Hamada
複雑ネットワーク上の伝搬法則の数理
複雑ネットワーク上の伝搬法則の数理
Koichi Hamada
FB投稿分析とパネル調査によるFBページ運営Tips
FB投稿分析とパネル調査によるFBページ運営Tips
Masayoshi Nakamura
Cloudera Impalaをサービスに組み込むときに苦労した話
Cloudera Impalaをサービスに組み込むときに苦労した話
Yukinori Suda
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
Koichi Hamada
ソーシャルゲームにレコメンドエンジンを導入した話
ソーシャルゲームにレコメンドエンジンを導入した話
Tokoroten Nakayama
セクシー女優で学ぶ画像分類入門
セクシー女優で学ぶ画像分類入門
Takami Sato
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
DAUを評価指標から捨てた会社の話 #tokyowebmining
DAUを評価指標から捨てた会社の話 #tokyowebmining
Tokoroten Nakayama
SASとHadoopとの連携 2015
SASとHadoopとの連携 2015
SAS Institute Japan
Andere mochten auch
(10)
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
オープニングトーク - 創設の思い・目的・進行方針 -データマイニング+WEB勉強会@東京
複雑ネットワーク上の伝搬法則の数理
複雑ネットワーク上の伝搬法則の数理
FB投稿分析とパネル調査によるFBページ運営Tips
FB投稿分析とパネル調査によるFBページ運営Tips
Cloudera Impalaをサービスに組み込むときに苦労した話
Cloudera Impalaをサービスに組み込むときに苦労した話
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
Large Scale Data Mining of the Mobage Service - #PRMU 2011 #Mahout #Hadoop
ソーシャルゲームにレコメンドエンジンを導入した話
ソーシャルゲームにレコメンドエンジンを導入した話
セクシー女優で学ぶ画像分類入門
セクシー女優で学ぶ画像分類入門
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
DAUを評価指標から捨てた会社の話 #tokyowebmining
DAUを評価指標から捨てた会社の話 #tokyowebmining
SASとHadoopとの連携 2015
SASとHadoopとの連携 2015
Ähnlich wie TokyoWebminig カジュアルなHadoop
Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編
ThinkIT_impress
オライリーセミナー Hive入門 #oreilly0724
オライリーセミナー Hive入門 #oreilly0724
Cloudera Japan
Ph perがawsと出会ってdev opsを目指した話
Ph perがawsと出会ってdev opsを目指した話
Shota Umeda
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Kotaro Tsukui
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
Cloudera Japan
PHP on Windows Azure
PHP on Windows Azure
Microsoft
PHP on Windows Azure
PHP on Windows Azure
Microsoft Openness Japan
CDH4.1オーバービュー
CDH4.1オーバービュー
Cloudera Japan
ゆるべん Webアプリ開発概要 20130127
ゆるべん Webアプリ開発概要 20130127
Y
Apache Hadoopを改めて知る
Apache Hadoopを改めて知る
日本ヒューレット・パッカード株式会社
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
日本ヒューレット・パッカード株式会社
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
Yoshiyuki Nakamura
スクリプト言語PHP攻略法
スクリプト言語PHP攻略法
Rui Hirokawa
PHP on Cloud
PHP on Cloud
Akio Katayama
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
Cloudera Japan
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
Kimihiko Kitase
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Amazon Web Services Japan
Azure serverless!! azure functionsでサーバーを意識しない開発
Azure serverless!! azure functionsでサーバーを意識しない開発
Yuki Hattori
20111130 10 aws-meister-emr_long-public
20111130 10 aws-meister-emr_long-public
Amazon Web Services Japan
Ähnlich wie TokyoWebminig カジュアルなHadoop
(20)
Tuning maniax 2014 Hadoop編
Tuning maniax 2014 Hadoop編
オライリーセミナー Hive入門 #oreilly0724
オライリーセミナー Hive入門 #oreilly0724
Ph perがawsと出会ってdev opsを目指した話
Ph perがawsと出会ってdev opsを目指した話
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Cloudera大阪セミナー 20130219
Cloudera大阪セミナー 20130219
PHP on Windows Azure
PHP on Windows Azure
PHP on Windows Azure
PHP on Windows Azure
CDH4.1オーバービュー
CDH4.1オーバービュー
ゆるべん Webアプリ開発概要 20130127
ゆるべん Webアプリ開発概要 20130127
Apache Hadoopを改めて知る
Apache Hadoopを改めて知る
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
AI・HPC・ビッグデータで利用される分散ファイルシステムを知る
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
2014-07-26 Exploration into HDInsight Tuning Maniax 2014 Hadoopコース参戦記
スクリプト言語PHP攻略法
スクリプト言語PHP攻略法
PHP on Cloud
PHP on Cloud
Hadoopデータプラットフォーム #cwt2013
Hadoopデータプラットフォーム #cwt2013
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
Azure serverless!! azure functionsでサーバーを意識しない開発
Azure serverless!! azure functionsでサーバーを意識しない開発
20111130 10 aws-meister-emr_long-public
20111130 10 aws-meister-emr_long-public
Mehr von Teruo Kawasaki
Pentaho ETL ハンズオン
Pentaho ETL ハンズオン
Teruo Kawasaki
Pentaho 定型レポート ハンズオン
Pentaho 定型レポート ハンズオン
Teruo Kawasaki
オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
Teruo Kawasaki
Pentaho CTools 20140902
Pentaho CTools 20140902
Teruo Kawasaki
Pentaho Reporting Tutorial 20140729
Pentaho Reporting Tutorial 20140729
Teruo Kawasaki
About BI (2014/03/25)
About BI (2014/03/25)
Teruo Kawasaki
Pdi tutorial 20140121
Pdi tutorial 20140121
Teruo Kawasaki
2章グラフ理論スピード入門
2章グラフ理論スピード入門
Teruo Kawasaki
Mehr von Teruo Kawasaki
(8)
Pentaho ETL ハンズオン
Pentaho ETL ハンズオン
Pentaho 定型レポート ハンズオン
Pentaho 定型レポート ハンズオン
オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
オープンソースのETLツール Pentaho Data Integration(PDI)のご紹介_20140906
Pentaho CTools 20140902
Pentaho CTools 20140902
Pentaho Reporting Tutorial 20140729
Pentaho Reporting Tutorial 20140729
About BI (2014/03/25)
About BI (2014/03/25)
Pdi tutorial 20140121
Pdi tutorial 20140121
2章グラフ理論スピード入門
2章グラフ理論スピード入門
Kürzlich hochgeladen
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Kürzlich hochgeladen
(11)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
TokyoWebminig カジュアルなHadoop
1.
[TokyoWebminig] カジュアルなHadoop 2013/03/23 @teruu
1
2.
「カジュアル」 • MongoDB • Pentaho
ETL 私の考える カジュアルな製品・サービス • QlikView • ドットインストール • クチコミ係長(テキストマイニングWebサービス) ドットインストール Amazon Web Services入門 (全17回) http://dotinstall.com/lessons/basic_aws クチコミ@係長 株式会社ホットリンク http://www.hottolink.co.jp/kakaricho 2
3.
「カジュアルなCRM」 by 分析力をコアとする企業
3
4.
カジュアルなHadoop • カジュアルという価値 • 初心者向け「鉄板プロセス」を提案できないか Amazon
EMR & Hive (WebHive) 4
5.
Hadoopサブプロジェクト(一部)
分散ファイルシステムと汎用的な I/O(シリアライズ,Java RPC, Core 永続的データ構造)を提供するコンポーネントとインタフェースの 集合 高効率かつ多言語間 RPC のためのデータシリアライゼーション Avro システムと,永続的データストレージ 分散データ処理モデルおよびコモディティマシンで構成される大 MapReduce 規模クラスタ上の実行環境 コモディティマシンで構成される大規模クラスタ上の分散ファイル HDFS システム データフロー言語および超大規模データセットの調査実行環境. Pig HDFS およびMapRe-duce クラスタ上で実行される 列指向の分散データベース.HBase は階層のストレージとして Hbase HDFS を使用 h し,MapReduce を使ったバッチ型の演算処理と, 一部を読み出すクエリ(ランダムリード)をともにサポートしている 高可用性分散協調サービス.分散アプリケーションを構築するの ZooKeeper に使われる分散ロックのような基礎的な機能要素を提供する 分散データウェアハウス.HDFS に保管されたデータを管理し, Hive SQL に基づくクエリ言語(実行時に MapReduce のジョブに変 換される)を提供する 「Hiveを用いたログ解析システムの構築」福田一郎著 p4より引用 5 http://www.cyberagent.co.jp/technology/pdf/2010_3.pdf
6.
参考 Hadoopファーストガイド 著者:佐々木達也
6
7.
Amazon ElasticMapReduce(EMR)
アマゾン版Hadoop • メリット – 環境構築が不要 – 運用が不要 – 自動的に修正、バージョンアップ • デメリット – コスト(従量制) – チューニングがしづらい 7
8.
Hive • 特徴 –
SQL(HiveQL)が利用できる → 利用ユーザ拡大 – 直接Mapper、Reducerも利用可能 8
9.
Amazon WebServices (AWS)
& Elastic MapReduce (EMR) 登録手順 9
10.
AWSのトップページにアクセス
10
11.
キャンペーンの紹介
11
12.
アカウント作成
12
13.
アカウント情報入力
13
14.
クレジットカード情報入力
14
15.
電話番号入力
15
16.
暗証番号
16
17.
電話がかかってくる
17
18.
認証中
18
19.
サービス一覧
19
20.
EMRの利用開始
20
21.
利用可能なサービス
21
22.
サービス一覧
22
23.
バケット(ディレクトリ)作成
23
24.
バケット作成
24
25.
バケット作成
25
26.
バケットの中にフォルダ作成
26
27.
EC2のインスタンスを起動
27
28.
イメージ選択→Amazon Linux AMI
28
29.
インスタンスタイプ選択→マイクロ
29
30.
インスタンスタイプ一覧
30
31.
インスタンス 追加オプション
31
32.
32
33.
タグ付
33
34.
キーペア作成
34
35.
ファイアウォール設定
35
36.
インスタンス起動
36
37.
インスタンス起動中
37
38.
インスタンス一覧
38
39.
TeraTermで接続(ssh)
39
40.
40
41.
ID入力+キー指定
41
42.
sshで接続
42
43.
パッケージを アップデート
43
44.
EMR JobFlow作成
44
45.
Job名入力、バージョン指定
45
46.
入出力場所の指定
46
47.
インスタンスタイプ指定
47
48.
その他のオプション指定
48
49.
Job作成
49
50.
ブートストラップアクション指定
50
51.
JobFlow作成完了
51
52.
しばらく待つ → 利用可能に
52
53.
Hiveについて
53
54.
Hiveとは • 2008年にFaceBookで開発され、Hadoopプロジェクトに
寄贈される。 • Yahoo!で開発しているPigのライバルプロジェクト? • 一言で表すとHadoop上で動作するデータウエアハウ ス。 • HiveQLというSQLのような言語でHDFSなどの分散ファ イルシステム上のデータを操作できる。 • HiveQLの実行でMap/Reduce処理が完了する。 • 私見だが複雑なデータのMapReduceから特定のデー タを抽出したい場合には便利かも。 Hadoopをより便利に使う!HiveでのMapReduceまとめ ‐ Yuta.Kikuchiの日記 http://d.hatena.ne.jp/yutakikuchi/20111219/1324251034 より引用 54
55.
Hadoop & Hive
の特徴 高 DB Hadoop & Hive アプライアンス スループット RDB OLTP系 低 高 レイテンシー 低 55
56.
Hiveの設定 HiveQL構文(DDL) HiveQL構文(SQL) など、下記のブログ記事が参考になります Hadoopをより便利に使う!HiveでのMapReduceまとめ -
Yuta.Kikuchiの日記 http://d.hatena.ne.jp/yutakikuchi/20111219/1324251034 56
57.
Hiveのデータ型 Hadoop/Hive SQLライクなクエリを使ってビッグデータ解析(前編) |
Opentone Labs. http://labs.opentone.co.jp/?p=1860 より引用 57
58.
WebHiveについて
58
59.
WebHive (githubで公開)
リクルート社が開発・公開 59
60.
WebHiveの画面
60
61.
発表のまとめ • 初心者向け「鉄板プロセス?」として、EMR&
Hive&WebHiveの組合わせをご紹介 • 「カジュアル」と言いながら、進めてみるとなか なか一筋縄ではいかないことが明らかに • 一方で、課題解決のためのポイントがおぼろ げながら見えてきた 61
Jetzt herunterladen