Suche senden
Hochladen
Juliaで前処理
•
1 gefällt mir
•
4,973 views
W
weda654
Folgen
Juliaでdplyrみたいな処理ができるパッケージの紹介
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 27
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
C#でわかる こわくないMonad
C#でわかる こわくないMonad
Kouji Matsui
オブジェクト指向の皮をかぶった関数型プログラミング言語 Haxe
オブジェクト指向の皮をかぶった関数型プログラミング言語 Haxe
terurou
Rユーザのためのspark入門
Rユーザのためのspark入門
Shintaro Fukushima
Neo4j の「データ操作プログラミング」から 「ビジュアライズ」まで
Neo4j の「データ操作プログラミング」から 「ビジュアライズ」まで
Keiichiro Seida
イミュータブルデータモデル(世代編)
イミュータブルデータモデル(世代編)
Yoshitaka Kawashima
情報検索の基礎
情報検索の基礎
Retrieva inc.
基礎線形代数講座
基礎線形代数講座
SEGADevTech
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
Takuto Wada
Empfohlen
C#でわかる こわくないMonad
C#でわかる こわくないMonad
Kouji Matsui
オブジェクト指向の皮をかぶった関数型プログラミング言語 Haxe
オブジェクト指向の皮をかぶった関数型プログラミング言語 Haxe
terurou
Rユーザのためのspark入門
Rユーザのためのspark入門
Shintaro Fukushima
Neo4j の「データ操作プログラミング」から 「ビジュアライズ」まで
Neo4j の「データ操作プログラミング」から 「ビジュアライズ」まで
Keiichiro Seida
イミュータブルデータモデル(世代編)
イミュータブルデータモデル(世代編)
Yoshitaka Kawashima
情報検索の基礎
情報検索の基礎
Retrieva inc.
基礎線形代数講座
基礎線形代数講座
SEGADevTech
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
Takuto Wada
Shiny-Serverあれこれ
Shiny-Serverあれこれ
Kazuya Wada
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
Koichi Hamada
「GebとSpockではじめるシステムテスト自動化」
「GebとSpockではじめるシステムテスト自動化」
Hiroyuki Ohnaka
ソーシャルゲーム案件におけるDB分割のPHP実装
ソーシャルゲーム案件におけるDB分割のPHP実装
infinite_loop
テストの視点からのモデリング(公開用) #wacate
テストの視点からのモデリング(公開用) #wacate
Kinji Akemine
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
なおき きしだ
『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
. .
SpringBootTest入門
SpringBootTest入門
Yahoo!デベロッパーネットワーク
データ解析のための統計モデリング入門 1~2章
データ解析のための統計モデリング入門 1~2章
itoyan110
SQLアンチパターン~スパゲッティクエリ
SQLアンチパターン~スパゲッティクエリ
Itabashi Masayuki
C#とILとネイティブと
C#とILとネイティブと
信之 岩永
オブジェクト指向プログラミングのためのモデリング入門
オブジェクト指向プログラミングのためのモデリング入門
増田 亨
ファクター投資と機械学習
ファクター投資と機械学習
Kei Nakagawa
大企業アジャイルの勘所 #devlovex #devlovexd
大企業アジャイルの勘所 #devlovex #devlovexd
Itsuki Kuroda
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
Teppei Sato
ドメイン駆動設計のためのオブジェクト指向入門
ドメイン駆動設計のためのオブジェクト指向入門
増田 亨
R seminar on igraph
R seminar on igraph
Kazuhiro Takemoto
Springを何となく使ってる人が抑えるべきポイント
Springを何となく使ってる人が抑えるべきポイント
土岐 孝平
Juliaで並列計算
Juliaで並列計算
Shintaro Fukushima
わかりやすいパターン認識_3章
わかりやすいパターン認識_3章
weda654
わかりやすいパターン認識_2章
わかりやすいパターン認識_2章
weda654
Weitere ähnliche Inhalte
Was ist angesagt?
Shiny-Serverあれこれ
Shiny-Serverあれこれ
Kazuya Wada
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
Koichi Hamada
「GebとSpockではじめるシステムテスト自動化」
「GebとSpockではじめるシステムテスト自動化」
Hiroyuki Ohnaka
ソーシャルゲーム案件におけるDB分割のPHP実装
ソーシャルゲーム案件におけるDB分割のPHP実装
infinite_loop
テストの視点からのモデリング(公開用) #wacate
テストの視点からのモデリング(公開用) #wacate
Kinji Akemine
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
なおき きしだ
『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
. .
SpringBootTest入門
SpringBootTest入門
Yahoo!デベロッパーネットワーク
データ解析のための統計モデリング入門 1~2章
データ解析のための統計モデリング入門 1~2章
itoyan110
SQLアンチパターン~スパゲッティクエリ
SQLアンチパターン~スパゲッティクエリ
Itabashi Masayuki
C#とILとネイティブと
C#とILとネイティブと
信之 岩永
オブジェクト指向プログラミングのためのモデリング入門
オブジェクト指向プログラミングのためのモデリング入門
増田 亨
ファクター投資と機械学習
ファクター投資と機械学習
Kei Nakagawa
大企業アジャイルの勘所 #devlovex #devlovexd
大企業アジャイルの勘所 #devlovex #devlovexd
Itsuki Kuroda
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
Teppei Sato
ドメイン駆動設計のためのオブジェクト指向入門
ドメイン駆動設計のためのオブジェクト指向入門
増田 亨
R seminar on igraph
R seminar on igraph
Kazuhiro Takemoto
Springを何となく使ってる人が抑えるべきポイント
Springを何となく使ってる人が抑えるべきポイント
土岐 孝平
Juliaで並列計算
Juliaで並列計算
Shintaro Fukushima
Was ist angesagt?
(20)
Shiny-Serverあれこれ
Shiny-Serverあれこれ
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
「R言語による Random Forest 徹底入門 -集団学習による分類・予測-」 - #TokyoR #11
「GebとSpockではじめるシステムテスト自動化」
「GebとSpockではじめるシステムテスト自動化」
ソーシャルゲーム案件におけるDB分割のPHP実装
ソーシャルゲーム案件におけるDB分割のPHP実装
テストの視点からのモデリング(公開用) #wacate
テストの視点からのモデリング(公開用) #wacate
Java8でRDBMS作ったよ
Java8でRDBMS作ったよ
『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた
SpringBootTest入門
SpringBootTest入門
データ解析のための統計モデリング入門 1~2章
データ解析のための統計モデリング入門 1~2章
SQLアンチパターン~スパゲッティクエリ
SQLアンチパターン~スパゲッティクエリ
C#とILとネイティブと
C#とILとネイティブと
オブジェクト指向プログラミングのためのモデリング入門
オブジェクト指向プログラミングのためのモデリング入門
ファクター投資と機械学習
ファクター投資と機械学習
大企業アジャイルの勘所 #devlovex #devlovexd
大企業アジャイルの勘所 #devlovex #devlovexd
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
ドメイン駆動設計のためのオブジェクト指向入門
ドメイン駆動設計のためのオブジェクト指向入門
R seminar on igraph
R seminar on igraph
Springを何となく使ってる人が抑えるべきポイント
Springを何となく使ってる人が抑えるべきポイント
Juliaで並列計算
Juliaで並列計算
Andere mochten auch
わかりやすいパターン認識_3章
わかりやすいパターン認識_3章
weda654
わかりやすいパターン認識_2章
わかりやすいパターン認識_2章
weda654
SDN Framework Ryu Internal
SDN Framework Ryu Internal
Satoshi KOBAYASHI
現在のDNNにおける未解決問題
現在のDNNにおける未解決問題
Daisuke Okanohara
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
Satoshi KOBAYASHI
Apache CloudStack コントリビューション
Apache CloudStack コントリビューション
Satoshi KOBAYASHI
はじパタ2章
はじパタ2章
tetsuro ito
わかパタ 1章
わかパタ 1章
weda654
第一回ぞくパタ
第一回ぞくパタ
Akifumi Eguchi
はじパタ6章前半
はじパタ6章前半
T T
第10章後半「ブースティングと加法的木」
第10章後半「ブースティングと加法的木」
T T
Digipak so far
Digipak so far
charliemead
Creating a Professional LinkedIn Profile
Creating a Professional LinkedIn Profile
Sophia Park
Htmlslicemate Review
Htmlslicemate Review
Html SliceMate
20140204はじパタlt
20140204はじパタlt
tetsuro ito
Sappo ro#6資料2 ー完全版ー
Sappo ro#6資料2 ー完全版ー
Wakana_kudo
Um ato amoroso
Um ato amoroso
thamiresaneves
Internal vs. External CEOs
Internal vs. External CEOs
Stanford GSB Corporate Governance Research Initiative
0727 cvpr16 asp_vision_upload
0727 cvpr16 asp_vision_upload
Hajime Mihara
20130716 はじパタ3章前半 ベイズの識別規則
20130716 はじパタ3章前半 ベイズの識別規則
koba cky
Andere mochten auch
(20)
わかりやすいパターン認識_3章
わかりやすいパターン認識_3章
わかりやすいパターン認識_2章
わかりやすいパターン認識_2章
SDN Framework Ryu Internal
SDN Framework Ryu Internal
現在のDNNにおける未解決問題
現在のDNNにおける未解決問題
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
OpenFlow OAM ツール - OKINAWA Open Days 2014 Day1
Apache CloudStack コントリビューション
Apache CloudStack コントリビューション
はじパタ2章
はじパタ2章
わかパタ 1章
わかパタ 1章
第一回ぞくパタ
第一回ぞくパタ
はじパタ6章前半
はじパタ6章前半
第10章後半「ブースティングと加法的木」
第10章後半「ブースティングと加法的木」
Digipak so far
Digipak so far
Creating a Professional LinkedIn Profile
Creating a Professional LinkedIn Profile
Htmlslicemate Review
Htmlslicemate Review
20140204はじパタlt
20140204はじパタlt
Sappo ro#6資料2 ー完全版ー
Sappo ro#6資料2 ー完全版ー
Um ato amoroso
Um ato amoroso
Internal vs. External CEOs
Internal vs. External CEOs
0727 cvpr16 asp_vision_upload
0727 cvpr16 asp_vision_upload
20130716 はじパタ3章前半 ベイズの識別規則
20130716 はじパタ3章前半 ベイズの識別規則
Ähnlich wie Juliaで前処理
Tokyo r80 beginnerssession1
Tokyo r80 beginnerssession1
kotora_0507
TokyoR79 beginnerssession1
TokyoR79 beginnerssession1
kotora_0507
dplyrとは何だったのか
dplyrとは何だったのか
yutannihilation
Hadoopカンファレンス2013
Hadoopカンファレンス2013
Recruit Technologies
Juliaを使った機械学習
Juliaを使った機械学習
Aki Ariga
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
NTT DATA OSS Professional Services
データプランナーによるデータ系施策について
データプランナーによるデータ系施策について
Recruit Lifestyle Co., Ltd.
TokyoR101_BeginnersSession2.pdf
TokyoR101_BeginnersSession2.pdf
kotora_0507
TokyoR101_BeginnersSession1.pdf
TokyoR101_BeginnersSession1.pdf
kotora_0507
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Postgre sqlから見るnosql
Postgre sqlから見るnosql
Soudai Sone
Padocview anonimous2
Padocview anonimous2
Masato Nakai
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
shakezo
Rとpythonとjuliaで機械学習レベル4を目指す
Rとpythonとjuliaで機械学習レベル4を目指す
yuta july
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
Yukako Shimizu
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
weda654
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Tokoroten Nakayama
Rubyの会社でPythonistaが三ヶ月生き延びた話
Rubyの会社でPythonistaが三ヶ月生き延びた話
Drecom Co., Ltd.
Ähnlich wie Juliaで前処理
(20)
Tokyo r80 beginnerssession1
Tokyo r80 beginnerssession1
TokyoR79 beginnerssession1
TokyoR79 beginnerssession1
dplyrとは何だったのか
dplyrとは何だったのか
Hadoopカンファレンス2013
Hadoopカンファレンス2013
Juliaを使った機械学習
Juliaを使った機械学習
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
データプランナーによるデータ系施策について
データプランナーによるデータ系施策について
TokyoR101_BeginnersSession2.pdf
TokyoR101_BeginnersSession2.pdf
TokyoR101_BeginnersSession1.pdf
TokyoR101_BeginnersSession1.pdf
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Postgre sqlから見るnosql
Postgre sqlから見るnosql
Padocview anonimous2
Padocview anonimous2
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
Rとpythonとjuliaで機械学習レベル4を目指す
Rとpythonとjuliaで機械学習レベル4を目指す
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
続・わかりやすいパターン認識_3章
続・わかりやすいパターン認識_3章
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが3ヶ月生き延びた話
Rubyの会社でPythonistaが三ヶ月生き延びた話
Rubyの会社でPythonistaが三ヶ月生き延びた話
Juliaで前処理
1.
1 Julia.Tokyo #3 LT @weda_654 Julia で
前処理
2.
2 自己紹介 TwitterID : weda_654 所属
: GoogleMapとAWSとデータ分析の会社 業務 : データ分析(実力はお察し) 使用言語 : R(メイン), Python(たまに) こんなアイコンJuliaは0.4.0-devをつかってます
3.
注意事項 本資料は個人の意見・認識によるものです 所属する組織の意見・認識とは無関係です ご了承おねがいいたします
4.
4 2014年Rの前処理界隈に 新たなトレンドが生まれた…
5.
5 dplyr
6.
6 dplyrとは 速いデータ処理が可能になる %>%で処理をつないでいくことで可読性の向上も見込める データの選択・抽出・追加・集計を組み合わせ前処理ができる 要するに前処理が る! * %>%:チェイン演算子とよばれている
7.
7 dplyr実行例 iris2 <- iris[iris$Sepal.Length
> 7.0, ] iris2[["SLM"]] <- mean(iris2$Sepal.Length) iris2 <- iris2[ , c("Sepal.Length", "Species", "SLM")] iris2 <- iris2[order(iris2$Sepal.Length), ] dplyr不使用 library(dplyr)を実行 iris2 <- iris %>% filter(Sepal.Length > 7.0) %>% mutate(SLM = mean(Sepal.Length)) %>% select(Sepal.Length, Species, SLM) %>% arrange(Sepal.Length)
8.
8 まったく、dplyrは最高だぜ!! dplyrない前処理なんて考えられない… Juliaでもできないかなぁー
9.
9 ……るよ…
10.
10 ん?
11.
11 …………できるよ…
12.
12 えっ?
13.
13 Juliaでもできるよっ!!
14.
14
15.
15 まじかよ…
16.
16 DataFramesMeta
17.
17 DataFramesMetaとは? DataFrame用のメタプログラミングツール DataFrameとは? • 数値や文字列などの異なるデータ型をまとめた2次元配列 DataFrameの操作に便利なマクロを備えている • JuliaでもDataFramesパッケージを導入すれば使える
18.
18 Julia dplyr LINQ 行の抽出
@where filter Where 列の追加 @transform mutate Select(?) グループ化+計算 @by Groupby グループ化 @groupby group_by 要約 @based_on summarise 並び替え @orderby arrange OderBy 列の選択 @select select Select dplyrとの対応表
19.
19 機能紹介 データの準備 using DataFrames, RDatasets,
DataFramesMeta iris = dataset("datasets", "iris"); Pkg.add( DataFramesMeta") • Pkg.add()でDataFramesMetaパッケージを導入 • 今回はRDatasetsよりirisデータを用いる
20.
20 行の抽出 @where(iris, :SepalLength .>
7.0) 列の追加 @transform(iris, SLM = mean(:SepalLength)) グループ化+計算 @by(iris, :Species, SLmean = mean(:SepalLength)) 機能紹介
21.
21 並び替え @orderby(iris, -:SepalLength, :SepalWidth) 列の選択 @select(iris,
:Species) 機能紹介
22.
22 処理をつなげる@linq iris2 = @linq
iris ¦> @where(:SepalLength .> 7.0) ¦> @transform(SLM = mean(:SepalLength)) ¦> @select(:SepalLength, :SLM, :Species) ¦> @orderby(:SLM) • ¦>はdplyrにおける%>%と同じ.パイプの役割を持つ *¦>はデフォルトであるのでDataFramesMetaがなくても使える 機能紹介
23.
23 処理をつなげる@linq iris2 = @linq
iris ¦> where(:SepalLength .> 7.0) ¦> transform(SLM = mean(:SepalLength)) ¦> select(:SepalLength, :SLM, :Species) ¦> orderby(:SepalLength) • @linqでつなげば@は不要になる 機能紹介
24.
24 機能紹介 処理をつなげる@linq(要約編) • @based_onがなぜかいうことをきかなかった… iris3 =
@linq iris ¦> by(:Species, PLM = mean(:PetalLength)) ¦> transform(Rate = :PLM/sum(:PLM))
25.
25 さいごに DataFramesMeta歴1日?なのでまだまだ検証する必要がある • @linqのほかにも処理をつなげる方法がある(実行できない…) • DataFrame本来の操作との速度検証 •そもそもREADME最後まで読んでない… 作者曰くパフォーマンスをあげたりしたいとか… 今後に期待したい
26.
26 参考 DataFrames DataFramesMeta https://github.com/JuliaStats/DataFramesMeta.jl Macro Conflict with
Lazy.jl https://github.com/JuliaStats/DataFramesMeta.jl/issues/12 https://github.com/JuliaStats/DataFrames.jl
27.
27 ご視聴ありがとうございました
Jetzt herunterladen