Suche senden
Hochladen
DMM.comラボはなぜSparkを採用したのか?レコメンドエンジン開発の裏側をお話します!
•
7 gefällt mir
•
2,273 views
L
leverages_event
Folgen
Apache Sparkの説明。DMM.comラボ社のレコメンドの説明。
Weniger lesen
Mehr lesen
Ingenieurwesen
Melden
Teilen
Melden
Teilen
1 von 41
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
SparkR: Enabling Interactive Data Science at Scale
SparkR: Enabling Interactive Data Science at Scale
jeykottalam
Introduction to SparkR
Introduction to SparkR
Kien Dang
First impressions of SparkR: our own machine learning algorithm
First impressions of SparkR: our own machine learning algorithm
InfoFarm
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Ryuji Tamagawa
Introduction to Spark R with R studio - Mr. Pragith
Introduction to Spark R with R studio - Mr. Pragith
Sigmoid
SparkR: Enabling Interactive Data Science at Scale on Hadoop
SparkR: Enabling Interactive Data Science at Scale on Hadoop
DataWorks Summit
Apache spark basics
Apache spark basics
sparrowAnalytics.com
Big Data Ecosystem - 1000 Simulated Drones
Big Data Ecosystem - 1000 Simulated Drones
Espeo Software
Empfohlen
SparkR: Enabling Interactive Data Science at Scale
SparkR: Enabling Interactive Data Science at Scale
jeykottalam
Introduction to SparkR
Introduction to SparkR
Kien Dang
First impressions of SparkR: our own machine learning algorithm
First impressions of SparkR: our own machine learning algorithm
InfoFarm
Performant data processing with PySpark, SparkR and DataFrame API
Performant data processing with PySpark, SparkR and DataFrame API
Ryuji Tamagawa
Introduction to Spark R with R studio - Mr. Pragith
Introduction to Spark R with R studio - Mr. Pragith
Sigmoid
SparkR: Enabling Interactive Data Science at Scale on Hadoop
SparkR: Enabling Interactive Data Science at Scale on Hadoop
DataWorks Summit
Apache spark basics
Apache spark basics
sparrowAnalytics.com
Big Data Ecosystem - 1000 Simulated Drones
Big Data Ecosystem - 1000 Simulated Drones
Espeo Software
Introduction to Apache Spark
Introduction to Apache Spark
Rahul Jain
Introduction to Spark ML
Introduction to Spark ML
Holden Karau
Big data week presentation
Big data week presentation
Joseph Adler
An efficient data mining solution by integrating Spark and Cassandra
An efficient data mining solution by integrating Spark and Cassandra
Stratio
SparkR: The Past, the Present and the Future-(Shivaram Venkataraman and Rui S...
SparkR: The Past, the Present and the Future-(Shivaram Venkataraman and Rui S...
Spark Summit
How LinkedIn Uses Scalding for Data Driven Product Development
How LinkedIn Uses Scalding for Data Driven Product Development
Sasha Ovsankin
All About GRAND Stack: GraphQL, React, Apollo, and Neo4j (Mark Needham) - Gre...
All About GRAND Stack: GraphQL, React, Apollo, and Neo4j (Mark Needham) - Gre...
GreeceJS
Apache spark linkedin
Apache spark linkedin
Yukti Kaura
Adios hadoop, Hola Spark! T3chfest 2015
Adios hadoop, Hola Spark! T3chfest 2015
dhiguero
SystemML - Declarative Machine Learning
SystemML - Declarative Machine Learning
Luciano Resende
Using SparkR to Scale Data Science Applications in Production. Lessons from t...
Using SparkR to Scale Data Science Applications in Production. Lessons from t...
Spark Summit
What is Spark
What is Spark
Bruno Faria
An Architect's guide to real time big data systems
An Architect's guide to real time big data systems
Raja SP
Spark's Role in the Big Data Ecosystem (Spark Summit 2014)
Spark's Role in the Big Data Ecosystem (Spark Summit 2014)
Databricks
Distilling Insights @ Appsflyer (Data Architecture)
Distilling Insights @ Appsflyer (Data Architecture)
Arnon Rotem-Gal-Oz
Big Data Analytics with Spark
Big Data Analytics with Spark
Mohammed Guller
Parallelizing Existing R Packages with SparkR
Parallelizing Existing R Packages with SparkR
Databricks
SparkR - Scalable machine learning - Utah R Users Group - U of U - June 17th
SparkR - Scalable machine learning - Utah R Users Group - U of U - June 17th
Alton Alexander
A Data Frame Abstraction Layer for SparkR-(Chris Freeman, Alteryx)
A Data Frame Abstraction Layer for SparkR-(Chris Freeman, Alteryx)
Spark Summit
End-to-end Data Pipeline with Apache Spark
End-to-end Data Pipeline with Apache Spark
Databricks
ICTSC5 DMM.comラボの紹介+お給料の話
ICTSC5 DMM.comラボの紹介+お給料の話
Ken SASAKI
大海原の小さなイルカ
大海原の小さなイルカ
Tomona Nanase
Weitere ähnliche Inhalte
Was ist angesagt?
Introduction to Apache Spark
Introduction to Apache Spark
Rahul Jain
Introduction to Spark ML
Introduction to Spark ML
Holden Karau
Big data week presentation
Big data week presentation
Joseph Adler
An efficient data mining solution by integrating Spark and Cassandra
An efficient data mining solution by integrating Spark and Cassandra
Stratio
SparkR: The Past, the Present and the Future-(Shivaram Venkataraman and Rui S...
SparkR: The Past, the Present and the Future-(Shivaram Venkataraman and Rui S...
Spark Summit
How LinkedIn Uses Scalding for Data Driven Product Development
How LinkedIn Uses Scalding for Data Driven Product Development
Sasha Ovsankin
All About GRAND Stack: GraphQL, React, Apollo, and Neo4j (Mark Needham) - Gre...
All About GRAND Stack: GraphQL, React, Apollo, and Neo4j (Mark Needham) - Gre...
GreeceJS
Apache spark linkedin
Apache spark linkedin
Yukti Kaura
Adios hadoop, Hola Spark! T3chfest 2015
Adios hadoop, Hola Spark! T3chfest 2015
dhiguero
SystemML - Declarative Machine Learning
SystemML - Declarative Machine Learning
Luciano Resende
Using SparkR to Scale Data Science Applications in Production. Lessons from t...
Using SparkR to Scale Data Science Applications in Production. Lessons from t...
Spark Summit
What is Spark
What is Spark
Bruno Faria
An Architect's guide to real time big data systems
An Architect's guide to real time big data systems
Raja SP
Spark's Role in the Big Data Ecosystem (Spark Summit 2014)
Spark's Role in the Big Data Ecosystem (Spark Summit 2014)
Databricks
Distilling Insights @ Appsflyer (Data Architecture)
Distilling Insights @ Appsflyer (Data Architecture)
Arnon Rotem-Gal-Oz
Big Data Analytics with Spark
Big Data Analytics with Spark
Mohammed Guller
Parallelizing Existing R Packages with SparkR
Parallelizing Existing R Packages with SparkR
Databricks
SparkR - Scalable machine learning - Utah R Users Group - U of U - June 17th
SparkR - Scalable machine learning - Utah R Users Group - U of U - June 17th
Alton Alexander
A Data Frame Abstraction Layer for SparkR-(Chris Freeman, Alteryx)
A Data Frame Abstraction Layer for SparkR-(Chris Freeman, Alteryx)
Spark Summit
End-to-end Data Pipeline with Apache Spark
End-to-end Data Pipeline with Apache Spark
Databricks
Was ist angesagt?
(20)
Introduction to Apache Spark
Introduction to Apache Spark
Introduction to Spark ML
Introduction to Spark ML
Big data week presentation
Big data week presentation
An efficient data mining solution by integrating Spark and Cassandra
An efficient data mining solution by integrating Spark and Cassandra
SparkR: The Past, the Present and the Future-(Shivaram Venkataraman and Rui S...
SparkR: The Past, the Present and the Future-(Shivaram Venkataraman and Rui S...
How LinkedIn Uses Scalding for Data Driven Product Development
How LinkedIn Uses Scalding for Data Driven Product Development
All About GRAND Stack: GraphQL, React, Apollo, and Neo4j (Mark Needham) - Gre...
All About GRAND Stack: GraphQL, React, Apollo, and Neo4j (Mark Needham) - Gre...
Apache spark linkedin
Apache spark linkedin
Adios hadoop, Hola Spark! T3chfest 2015
Adios hadoop, Hola Spark! T3chfest 2015
SystemML - Declarative Machine Learning
SystemML - Declarative Machine Learning
Using SparkR to Scale Data Science Applications in Production. Lessons from t...
Using SparkR to Scale Data Science Applications in Production. Lessons from t...
What is Spark
What is Spark
An Architect's guide to real time big data systems
An Architect's guide to real time big data systems
Spark's Role in the Big Data Ecosystem (Spark Summit 2014)
Spark's Role in the Big Data Ecosystem (Spark Summit 2014)
Distilling Insights @ Appsflyer (Data Architecture)
Distilling Insights @ Appsflyer (Data Architecture)
Big Data Analytics with Spark
Big Data Analytics with Spark
Parallelizing Existing R Packages with SparkR
Parallelizing Existing R Packages with SparkR
SparkR - Scalable machine learning - Utah R Users Group - U of U - June 17th
SparkR - Scalable machine learning - Utah R Users Group - U of U - June 17th
A Data Frame Abstraction Layer for SparkR-(Chris Freeman, Alteryx)
A Data Frame Abstraction Layer for SparkR-(Chris Freeman, Alteryx)
End-to-end Data Pipeline with Apache Spark
End-to-end Data Pipeline with Apache Spark
Andere mochten auch
ICTSC5 DMM.comラボの紹介+お給料の話
ICTSC5 DMM.comラボの紹介+お給料の話
Ken SASAKI
大海原の小さなイルカ
大海原の小さなイルカ
Tomona Nanase
ヒカ☆ラボ ユニティ・テクノロジーズ・ジャパン合同会社 安原 祐二氏登壇資料_20170119
ヒカ☆ラボ ユニティ・テクノロジーズ・ジャパン合同会社 安原 祐二氏登壇資料_20170119
leverages_event
markedj: The best of markdown processor on JVM
markedj: The best of markdown processor on JVM
takezoe
ビズリーチ x ScalaMatsuri by BIZREACH, Inc.
ビズリーチ x ScalaMatsuri by BIZREACH, Inc.
scalaconfjp
Authentication, Authorization, OAuth, OpenID Connect and Pyramid
Authentication, Authorization, OAuth, OpenID Connect and Pyramid
Moriyoshi Koizumi
手を動かしながら学ぶエンジニアのためのデータサイエンス!
手を動かしながら学ぶエンジニアのためのデータサイエンス!
leverages_event
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2014 11-20 Machine Learning with Apache Spark 勉強会資料
Recruit Technologies
【ビズリーチ】プロダクトマネージャーの仕事と魅力
【ビズリーチ】プロダクトマネージャーの仕事と魅力
dcubeio
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Junichi Noda
【19-D-1】人間と機械学習のはざま:どこまでアルゴリズムに任せるか
【19-D-1】人間と機械学習のはざま:どこまでアルゴリズムに任せるか
Shiroyagi Corporation
PHP7を魔改造した話
PHP7を魔改造した話
Moriyoshi Koizumi
JVM and OS Tuning for accelerating Spark application
JVM and OS Tuning for accelerating Spark application
Tatsuhiro Chiba
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
オラクルエンジニア通信
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Junichi Noda
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Nagato Kasaki
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Andere mochten auch
(20)
ICTSC5 DMM.comラボの紹介+お給料の話
ICTSC5 DMM.comラボの紹介+お給料の話
大海原の小さなイルカ
大海原の小さなイルカ
ヒカ☆ラボ ユニティ・テクノロジーズ・ジャパン合同会社 安原 祐二氏登壇資料_20170119
ヒカ☆ラボ ユニティ・テクノロジーズ・ジャパン合同会社 安原 祐二氏登壇資料_20170119
markedj: The best of markdown processor on JVM
markedj: The best of markdown processor on JVM
ビズリーチ x ScalaMatsuri by BIZREACH, Inc.
ビズリーチ x ScalaMatsuri by BIZREACH, Inc.
Authentication, Authorization, OAuth, OpenID Connect and Pyramid
Authentication, Authorization, OAuth, OpenID Connect and Pyramid
手を動かしながら学ぶエンジニアのためのデータサイエンス!
手を動かしながら学ぶエンジニアのためのデータサイエンス!
2014 11-20 Machine Learning with Apache Spark 勉強会資料
2014 11-20 Machine Learning with Apache Spark 勉強会資料
【ビズリーチ】プロダクトマネージャーの仕事と魅力
【ビズリーチ】プロダクトマネージャーの仕事と魅力
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例
【19-D-1】人間と機械学習のはざま:どこまでアルゴリズムに任せるか
【19-D-1】人間と機械学習のはざま:どこまでアルゴリズムに任せるか
PHP7を魔改造した話
PHP7を魔改造した話
JVM and OS Tuning for accelerating Spark application
JVM and OS Tuning for accelerating Spark application
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Ähnlich wie DMM.comラボはなぜSparkを採用したのか?レコメンドエンジン開発の裏側をお話します!
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
Wataru Shinohara
Apache spark - Architecture , Overview & libraries
Apache spark - Architecture , Overview & libraries
Walaa Hamdy Assy
Big Data Processing with .NET and Spark (SQLBits 2020)
Big Data Processing with .NET and Spark (SQLBits 2020)
Michael Rys
Alpine academy apache spark series #1 introduction to cluster computing wit...
Alpine academy apache spark series #1 introduction to cluster computing wit...
Holden Karau
Apache Spark & Hadoop
Apache Spark & Hadoop
MapR Technologies
Cleveland Hadoop Users Group - Spark
Cleveland Hadoop Users Group - Spark
Vince Gonzalez
Intro to Apache Spark and Scala, Austin ACM SIGKDD, 7/9/2014
Intro to Apache Spark and Scala, Austin ACM SIGKDD, 7/9/2014
Roger Huang
Scala 20140715
Scala 20140715
Roger Huang
Parallelizing Existing R Packages
Parallelizing Existing R Packages
Craig Warman
Linking the world with Python and Semantics
Linking the world with Python and Semantics
Tatiana Al-Chueyr
Evolution of spark framework for simplifying data analysis.
Evolution of spark framework for simplifying data analysis.
Anirudh Gangwar
The How and Why of Fast Data Analytics with Apache Spark
The How and Why of Fast Data Analytics with Apache Spark
Legacy Typesafe (now Lightbend)
Apache Spark
Apache Spark
Majid Hajibaba
Apache spark-melbourne-april-2015-meetup
Apache spark-melbourne-april-2015-meetup
Ned Shawa
Apache Spark Introduction @ University College London
Apache Spark Introduction @ University College London
Vitthal Gogate
Apache Spark An Overview
Apache Spark An Overview
Mohit Jain
Introduction to apache spark
Introduction to apache spark
Aakashdata
Introduction to Spark - DataFactZ
Introduction to Spark - DataFactZ
DataFactZ
Spark For Faster Batch Processing
Spark For Faster Batch Processing
Edureka!
Fast Data Intelligence in the IoT - real-time data analytics with Spark
Fast Data Intelligence in the IoT - real-time data analytics with Spark
Bas Geerdink
Ähnlich wie DMM.comラボはなぜSparkを採用したのか?レコメンドエンジン開発の裏側をお話します!
(20)
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
DMM.com ラボはなぜSparkを採用したのか? レコメンドエンジン開発の裏側をお話します
Apache spark - Architecture , Overview & libraries
Apache spark - Architecture , Overview & libraries
Big Data Processing with .NET and Spark (SQLBits 2020)
Big Data Processing with .NET and Spark (SQLBits 2020)
Alpine academy apache spark series #1 introduction to cluster computing wit...
Alpine academy apache spark series #1 introduction to cluster computing wit...
Apache Spark & Hadoop
Apache Spark & Hadoop
Cleveland Hadoop Users Group - Spark
Cleveland Hadoop Users Group - Spark
Intro to Apache Spark and Scala, Austin ACM SIGKDD, 7/9/2014
Intro to Apache Spark and Scala, Austin ACM SIGKDD, 7/9/2014
Scala 20140715
Scala 20140715
Parallelizing Existing R Packages
Parallelizing Existing R Packages
Linking the world with Python and Semantics
Linking the world with Python and Semantics
Evolution of spark framework for simplifying data analysis.
Evolution of spark framework for simplifying data analysis.
The How and Why of Fast Data Analytics with Apache Spark
The How and Why of Fast Data Analytics with Apache Spark
Apache Spark
Apache Spark
Apache spark-melbourne-april-2015-meetup
Apache spark-melbourne-april-2015-meetup
Apache Spark Introduction @ University College London
Apache Spark Introduction @ University College London
Apache Spark An Overview
Apache Spark An Overview
Introduction to apache spark
Introduction to apache spark
Introduction to Spark - DataFactZ
Introduction to Spark - DataFactZ
Spark For Faster Batch Processing
Spark For Faster Batch Processing
Fast Data Intelligence in the IoT - real-time data analytics with Spark
Fast Data Intelligence in the IoT - real-time data analytics with Spark
Mehr von leverages_event
Ac tsumugu 20170712
Ac tsumugu 20170712
leverages_event
20171206 tsumugu4 人工知能特集_v1.00_抜粋
20171206 tsumugu4 人工知能特集_v1.00_抜粋
leverages_event
【ヒカ☆ラボ】アーキテクト養成講座「入門編」 折田 武己 氏 登壇資料 20171205
【ヒカ☆ラボ】アーキテクト養成講座「入門編」 折田 武己 氏 登壇資料 20171205
leverages_event
【ヒカ☆ラボ】 dely株式会社 梅森 翔氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 梅森 翔氏 登壇資料 20171121
leverages_event
【ヒカ☆ラボ】 dely株式会社 大竹 雅登氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 大竹 雅登氏 登壇資料 20171121
leverages_event
【ヒカ☆ラボ】 dely株式会社 深尾 もとのぶ氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 深尾 もとのぶ氏 登壇資料 20171121
leverages_event
【ヒカ☆ラボ】 dely株式会社 三笠 斉輝氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 三笠 斉輝氏 登壇資料 20171121
leverages_event
【ヒカ☆ラボ】 株式会社AMG Solution 山口 博史氏登壇資料 20170817
【ヒカ☆ラボ】 株式会社AMG Solution 山口 博史氏登壇資料 20170817
leverages_event
【ヒカ☆ラボ】株式会社ライナフ 登壇資料
【ヒカ☆ラボ】株式会社ライナフ 登壇資料
leverages_event
【ヒカ☆ラボ】株式会社エアー様~ETLツール活用法について~
【ヒカ☆ラボ】株式会社エアー様~ETLツール活用法について~
leverages_event
インスタグラムを活用した、マーケティングについて
インスタグラムを活用した、マーケティングについて
leverages_event
ヒカ☆ラボ 株式会社PR TIMES 山田 和広氏登壇資料 20161129
ヒカ☆ラボ 株式会社PR TIMES 山田 和広氏登壇資料 20161129
leverages_event
ヒカ☆ラボ 株式会社PR TIMES 新井 隆士氏登壇資料 20161129
ヒカ☆ラボ 株式会社PR TIMES 新井 隆士氏登壇資料 20161129
leverages_event
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」開発エンジニア
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」開発エンジニア
leverages_event
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」UIデザイナー
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」UIデザイナー
leverages_event
初心者向けGo言語勉強会
初心者向けGo言語勉強会
leverages_event
Node.js×mongo dbで3年間サービス運用してみた話
Node.js×mongo dbで3年間サービス運用してみた話
leverages_event
株式会社waja 安藤様 登壇資料
株式会社waja 安藤様 登壇資料
leverages_event
株式会社インタースペース 清水様 登壇資料
株式会社インタースペース 清水様 登壇資料
leverages_event
株式会社インタースペース 沖本様 登壇資料
株式会社インタースペース 沖本様 登壇資料
leverages_event
Mehr von leverages_event
(20)
Ac tsumugu 20170712
Ac tsumugu 20170712
20171206 tsumugu4 人工知能特集_v1.00_抜粋
20171206 tsumugu4 人工知能特集_v1.00_抜粋
【ヒカ☆ラボ】アーキテクト養成講座「入門編」 折田 武己 氏 登壇資料 20171205
【ヒカ☆ラボ】アーキテクト養成講座「入門編」 折田 武己 氏 登壇資料 20171205
【ヒカ☆ラボ】 dely株式会社 梅森 翔氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 梅森 翔氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 大竹 雅登氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 大竹 雅登氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 深尾 もとのぶ氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 深尾 もとのぶ氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 三笠 斉輝氏 登壇資料 20171121
【ヒカ☆ラボ】 dely株式会社 三笠 斉輝氏 登壇資料 20171121
【ヒカ☆ラボ】 株式会社AMG Solution 山口 博史氏登壇資料 20170817
【ヒカ☆ラボ】 株式会社AMG Solution 山口 博史氏登壇資料 20170817
【ヒカ☆ラボ】株式会社ライナフ 登壇資料
【ヒカ☆ラボ】株式会社ライナフ 登壇資料
【ヒカ☆ラボ】株式会社エアー様~ETLツール活用法について~
【ヒカ☆ラボ】株式会社エアー様~ETLツール活用法について~
インスタグラムを活用した、マーケティングについて
インスタグラムを活用した、マーケティングについて
ヒカ☆ラボ 株式会社PR TIMES 山田 和広氏登壇資料 20161129
ヒカ☆ラボ 株式会社PR TIMES 山田 和広氏登壇資料 20161129
ヒカ☆ラボ 株式会社PR TIMES 新井 隆士氏登壇資料 20161129
ヒカ☆ラボ 株式会社PR TIMES 新井 隆士氏登壇資料 20161129
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」開発エンジニア
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」開発エンジニア
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」UIデザイナー
ヒカラボ「自社サービス開発会社で活躍し続けるために必要な○○とは?」UIデザイナー
初心者向けGo言語勉強会
初心者向けGo言語勉強会
Node.js×mongo dbで3年間サービス運用してみた話
Node.js×mongo dbで3年間サービス運用してみた話
株式会社waja 安藤様 登壇資料
株式会社waja 安藤様 登壇資料
株式会社インタースペース 清水様 登壇資料
株式会社インタースペース 清水様 登壇資料
株式会社インタースペース 沖本様 登壇資料
株式会社インタースペース 沖本様 登壇資料
Kürzlich hochgeladen
Past, Present and Future of Generative AI
Past, Present and Future of Generative AI
abhishek36461
computer application and construction management
computer application and construction management
MariconPadriquez1
US Department of Education FAFSA Week of Action
US Department of Education FAFSA Week of Action
Mebane Rash
Electronically Controlled suspensions system .pdf
Electronically Controlled suspensions system .pdf
me23b1001
Call Us ≽ 8377877756 ≼ Call Girls In Shastri Nagar (Delhi)
Call Us ≽ 8377877756 ≼ Call Girls In Shastri Nagar (Delhi)
dollysharma2066
young call girls in Rajiv Chowk🔝 9953056974 🔝 Delhi escort Service
young call girls in Rajiv Chowk🔝 9953056974 🔝 Delhi escort Service
9953056974 Low Rate Call Girls In Saket, Delhi NCR
Risk Assessment For Installation of Drainage Pipes.pdf
Risk Assessment For Installation of Drainage Pipes.pdf
ROCENODodongVILLACER
INFLUENCE OF NANOSILICA ON THE PROPERTIES OF CONCRETE
INFLUENCE OF NANOSILICA ON THE PROPERTIES OF CONCRETE
roselinkalist12
Sachpazis Costas: Geotechnical Engineering: A student's Perspective Introduction
Sachpazis Costas: Geotechnical Engineering: A student's Perspective Introduction
Dr.Costas Sachpazis
welding defects observed during the welding
welding defects observed during the welding
MuhammadUzairLiaqat
UNIT III ANALOG ELECTRONICS (BASIC ELECTRONICS)
UNIT III ANALOG ELECTRONICS (BASIC ELECTRONICS)
Dr SOUNDIRARAJ N
TechTAC® CFD Report Summary: A Comparison of Two Types of Tubing Anchor Catchers
TechTAC® CFD Report Summary: A Comparison of Two Types of Tubing Anchor Catchers
sdickerson1
An experimental study in using natural admixture as an alternative for chemic...
An experimental study in using natural admixture as an alternative for chemic...
Chandu841456
POWER SYSTEMS-1 Complete notes examples
POWER SYSTEMS-1 Complete notes examples
Dr. Gudipudi Nageswara Rao
young call girls in Green Park🔝 9953056974 🔝 escort Service
young call girls in Green Park🔝 9953056974 🔝 escort Service
9953056974 Low Rate Call Girls In Saket, Delhi NCR
Introduction-To-Agricultural-Surveillance-Rover.pptx
Introduction-To-Agricultural-Surveillance-Rover.pptx
k795866
Call Girls Delhi {Jodhpur} 9711199012 high profile service
Call Girls Delhi {Jodhpur} 9711199012 high profile service
rehmti665
Introduction to Machine Learning Unit-3 for II MECH
Introduction to Machine Learning Unit-3 for II MECH
C Sai Kiran
Indian Dairy Industry Present Status and.ppt
Indian Dairy Industry Present Status and.ppt
Madan Karki
lifi-technology with integration of IOT.pptx
lifi-technology with integration of IOT.pptx
somshekarkn64
Kürzlich hochgeladen
(20)
Past, Present and Future of Generative AI
Past, Present and Future of Generative AI
computer application and construction management
computer application and construction management
US Department of Education FAFSA Week of Action
US Department of Education FAFSA Week of Action
Electronically Controlled suspensions system .pdf
Electronically Controlled suspensions system .pdf
Call Us ≽ 8377877756 ≼ Call Girls In Shastri Nagar (Delhi)
Call Us ≽ 8377877756 ≼ Call Girls In Shastri Nagar (Delhi)
young call girls in Rajiv Chowk🔝 9953056974 🔝 Delhi escort Service
young call girls in Rajiv Chowk🔝 9953056974 🔝 Delhi escort Service
Risk Assessment For Installation of Drainage Pipes.pdf
Risk Assessment For Installation of Drainage Pipes.pdf
INFLUENCE OF NANOSILICA ON THE PROPERTIES OF CONCRETE
INFLUENCE OF NANOSILICA ON THE PROPERTIES OF CONCRETE
Sachpazis Costas: Geotechnical Engineering: A student's Perspective Introduction
Sachpazis Costas: Geotechnical Engineering: A student's Perspective Introduction
welding defects observed during the welding
welding defects observed during the welding
UNIT III ANALOG ELECTRONICS (BASIC ELECTRONICS)
UNIT III ANALOG ELECTRONICS (BASIC ELECTRONICS)
TechTAC® CFD Report Summary: A Comparison of Two Types of Tubing Anchor Catchers
TechTAC® CFD Report Summary: A Comparison of Two Types of Tubing Anchor Catchers
An experimental study in using natural admixture as an alternative for chemic...
An experimental study in using natural admixture as an alternative for chemic...
POWER SYSTEMS-1 Complete notes examples
POWER SYSTEMS-1 Complete notes examples
young call girls in Green Park🔝 9953056974 🔝 escort Service
young call girls in Green Park🔝 9953056974 🔝 escort Service
Introduction-To-Agricultural-Surveillance-Rover.pptx
Introduction-To-Agricultural-Surveillance-Rover.pptx
Call Girls Delhi {Jodhpur} 9711199012 high profile service
Call Girls Delhi {Jodhpur} 9711199012 high profile service
Introduction to Machine Learning Unit-3 for II MECH
Introduction to Machine Learning Unit-3 for II MECH
Indian Dairy Industry Present Status and.ppt
Indian Dairy Industry Present Status and.ppt
lifi-technology with integration of IOT.pptx
lifi-technology with integration of IOT.pptx
DMM.comラボはなぜSparkを採用したのか?レコメンドエンジン開発の裏側をお話します!
1.
DMM.COM SPARK
2.
2015/4 - DMM
labo API scalamatsuri
3.
AGENDA DMM Apache Spark DMM Tips
4.
DMM
5.
DMM
6.
7.
8.
SPARK UC Berkekey Apache Scala,
Python, Java, SQL, R API
9.
10.
(2014/09) Mahout Spark Java, Scala, Python GraphLab
11.
12.
WHY SPARK MLlib, GraphX Hadoop
13.
Hadoop
14.
item to item user
to item popular
15.
1. (Tracking API) 2.
(Hive on Spark) 3. (Spark) 4. (Sqoop) 5. API(Play)
16.
(TRACKING API) Javascript API RDB Hadoop
17.
(HIVE ON SPARK) Spark
18.
(SPARK)
19.
val itemToItems =
userProducts.join(userProducts).filter { case (user, ((item1, keyword1, score1), (item2, keyword2, score2))) => item1 }.map { case (user, ((item1, keyword1, score1), (item2, keyword2, score2))) => ((item }.reduceByKey(_ + _).mapValues(math.sqrt(_)).map { case ((item1, keyword1, item2), score) => ((item1, keyword1), (item2, score)) }.groupByKey().mapValues(_.toList.sortBy(_._2).reverse.take(config.numDisplayIt case ((item1, keyword1), items) => items.size >= config.numDisplayItems }.cache()
20.
(SPARK) MLlib ALS( )
21.
val model =
ALS.train(ratings.map(_._1), config.alsRank, config.alsNumIterations, config.alsLambda) val predictions = model.predict(candidates).groupBy(_.user).map { case (user, ratings) => (user, ratings.toList.sortBy(_.rating) .reverse.take(config.numDisplayItems)) }.cache()
22.
(SPARK) RDB Hadoop
23.
Sqoop MariaDB
24.
API item2item(id: ItemId): List[ItemId] user2item(id:
UserId): List[ItemId] popular : List[ItemId]
25.
DEPLOY AND EXECUTE Jenkins
+ Build Pipeline + BuildFlow
26.
(2015/09) Jenkins + Build
Pipeline + BuildFlow Job Script + Git Hive Spark Sqoop Recommend API(Node.js) MariaDB(Galera Cluster)
27.
Jenkins + Build
Pipeline + BuildFlow Job Script + Management API Hive on Spark Spark Sqoop Recommend API(Play) MariaDB(Galera Cluster)
28.
Management API File Hive on
Spark Hive 3 Play Spark, Hive UDF Util
29.
30.
AB PDCA
31.
[ ]
32.
701
33.
75 % ↑ 97%
↑
34.
TIPS use dataframes or
datasets hive
35.
executor memoryOverhead cheat sheet Top 5
Mistakes to Avoid When Writing Apache Spark Applications
36.
37.
HIVE Spark HiveContext Hive on Spark
38.
DATAFRAMES DATASETS (1.3 -
) Dataframes (1.6 - ) Datasets Project Tungsten(1.5 - )
39.
40.
Realtime Recommend Dataframes &
Datasets Graphframes
41.
DMM.com Group 3~4 DMM
Jetzt herunterladen