[Ｒ勉強会][データマイニング] R言語による時系列分析

R勉強会@東京
第4回

R言語による時系列分析

hamadakoichi
濱田晃一
2010/04/24

R言語による時系列分析

各種時系列分析が容易に行えます
ソースコード

実行結果

2

位置づけ
データマイニングの方法論を用いての
蓄積データの有効活用
統計解析
Web API
データマイニング
Amazon Web Service
楽天 Web Service 対応分析時系列分析
Twitter API Recruit Web Service 回帰分析
Yahoo! Web Service クラスター分析
はてな Web Service 判別分析
主成分分析因子分析
(Bookmark/Graph/Keyword,…)
カーネル法
Google Data API 樹木モデル
(Calendar/Maps/BookSearch/
FinancePortfolioData,…) ニューラルネットワーク
サポートベクターマシン
… 免疫型最適化 Particle Swam …
Memetic Ant Colony
遺伝的熱力学的
シミュレーテドアニーリング
力学モデルによる最適化
タブーサーチグラフ
…
最適解探索
アルゴリズム
3

位置づけ

時系列分析

統計解析
Web API
Amazon Web Service
カーネル法
Memetic Ant Colony
…
最適解探索
アルゴリズム
4

AGENDA
◆自己紹介
◆時系列分析とは
◆データ操作
◆モデル
◆ARモデル
◆ARMA/ARIMAモデル
◆ARFIMAモデル
◆ARCHモデル
◆最後に

hamadakoichi
濱田晃一
http://iddy.jp/profile/hamadakoichi

7

自己紹介：hamadakoichi 濱田晃一

8

データマイニング+WEB勉強会＠東京主催者です
ぜひご参加下さい

Google Group： http://groups.google.com/group/webmining-tokyo
9

5/16(日) 第４回データマイニング+WEB勉強会
ＷＥＢ祭り
です

AGENDA 5/16(日) 13:00 - 19:00
-ソーシャルウェブとレコメンデーション（仮）講師:@hamadakoichi (60分)
-WEB行動マイニング（仮） (講師:@kur) (60分)
-Hadoop最前線（仮） (講師:@yanaoki)（60分）※調整中
-大規模WEB行動マイニング（仮） (講師:@karubi) (60分)
-WEB APIと画像分類最適化（仮） (講師:@yokkuns) (60分)
-※追加募集中
定員：20名
アナウンス
Twitter ： http://twitter.com/hamadakoichi
10

ＷＥＢ祭り
です

AGENDA 5/16(日) 13:00 - 19:00
-ソーシャルウェブとレコメンデーション（仮）講師:@hamadakoichi (60分)
-Hadoop最前線（仮） (講師:@yanaoki)（60分）※調整中
-※追加募集中
定員：20名
アナウンス
11

ＷＥＢ祭り
です

AGENDA 5/16(日) 13:00 - 19:00
-ソーシャルウェブとレコメンデーション（仮） (講師:@hamadakoichi) (60分)
-Hadoop最前線（仮） (講師:@yanaoki)(60分)
-※追加募集中
定員：20名
アナウンス
12

データマイニング+WEB勉強会＠東京を

発表者・参加者にとって
より有意義な場にしたい

３つの進行方針
13

３つの進行方針
充分な時間を充て
理解・議論を優先する
１．充分な時間：
各テーマごとにしっかり時間を充てる
（浅く多くではなく、少ないテーマでも深く）

２．理解：
進行を急がない。分からないところはすぐ質問。
講師・各メンバーからの返答で、みなで理解を深めることを優先する。

３．議論：
議論時間をしっかりとる。
各分野の意見の共有、皆での発想・創造を優先する。
全員でのフラットな議論。講師にとっても有意義な場となるようにする。

14

理論物理博士
量子統計場の理論
Statistical Field Theory Spontaneously
Time-Reversal Symmetry Breaking

Anisotropic Massless Dirac Fermions

博士論文(2004/03)： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf
15


文部大臣に褒められた
元文部大臣・法務大臣六法全書著者・元法学政治学研究科長
森山眞弓さん菅野和夫さん

16


Los Angelesでプロダンサーに褒められた

・HIP HOP/House ダンス歴１３年
・ダンス開始後 1年半でL.A.でプロダンサーに褒められる

Youtube Channel： http://www.youtube.com/hamadakoichi
17


東京と京都で物理ダンス部を創設

駒場物理ダンス部京都大学基礎物理学研究所ダンス部
部長兼コーチ部長兼コーチ

現在：毎週末３時間ダンスコーチ
Youtube Channel： http://www.youtube.com/hamadakoichi
18

数理解析手法の実ビジネス適用
数理解析手法を実ビジネス適用する
方法論・システムを作り上げてきました

19

数理解析手法の実ビジネス適用
数理解析手法を実ビジネス適用する
方法論・システムを作り上げてきました
主な領域
◆活動の数理モデル化・解析手法
◆業務プロセス分析手法・再構築手法
◆業務プロセス実行制御・実績解析システム
…

K. Hamada, F.Kimura,
M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada,
"Unified graph representation of processes
“Decoupling Executions in Navigating Manufacturing
for scheduling with flexible resource
Processes for Shortening Lead Time and Its Implementation
assignment",
to an Unmanned Machine Shop”,
to be published in CIRP ICMS (2010).
CIRP Annals - Manufacturing Technology Volume 56, Issue 1,
Pages 171-174 (2007) 20

数理解析手法の実ビジネス適用：例
一品一様の業務プロセスの
動的なプロセス制御数理体系を構築

全体生産リードタイム中央値を 1/2.7に短縮
設計開始～頭だし出荷リードタイム開始日時の箱ひげ図
設計開始～頭だし出荷 CT対週集計体系適用
500

適用後
設計開始～頭だし出荷CT

400

360.4h(15.0日)
1/2.7
300

200

100

0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
141.6h(5.9日)
00 00
9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9:
0 7 4 1 8 5 1 8 5 2 9 6 3 0
/2 /2 /0 /1 /1 /2 /0 /0 /1 /2 /2 /0 /1 /2
/ 09 / 09 / 10 / 10 / 10 / 10 / 11 / 11 / 11 / 11 / 11 / 12 / 12 / 12
04 04 04 04 04 04 04 04 04 04 04 04 04 04
20 20 20 20 20 20 20 20 20 20 20 20 20 20
週集計開始日時

21

一品一様の業務プロセスの
動的なプロセス制御数理体系を構築
変動性から生じる動的な課題
・リソースの競合・滞留・納期遅延 …

一品一様な業務プロセスを含む
統計解析・制御数理モデル
・統計的な有効変数算出
・統計数理モデル化
－優先順位制御
－実行タイミング制御
－統計フィードバック
－適正リソース量算出
・予測数理体系
論文（体系の一部）
M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada,
“Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation
to an Unmanned Machine Shop”,
CIRP Annals - Manufacturing Technology Volume 56, Issue 1, Pages 171-174 (2007) 22

活動の統一グラフモデルを構築
K.Hamada, F.Kimura,
Unified graph representation of processes for scheduling with flexible resource assignment,
to be published in CIRP 2010
青字：割付モデル属性
[ ] : Optional
Node ・priority(優先度) Edge
・duration(予定時間)
[・earliest(再早開始日時) ] Process Edge
Process [・deadline(納期) ]
[・or(条件集約数) ]
前プロセスの終了後に後プロセスが
プロセスを表す開始できること表す
・attributes（属性）
preemptable(中断可否),
successive(引継ぎ可否)
Uses Edge
workload(作業負荷) Processが使用する
uses uses uses uses uses uses Assign Region を表す

Assign Region Assigns from Edge
同一Resourceを割付け続ける Assign Regionに
assigns from assigns from 指定Resourceの子Resource集合の
範囲を表す
assigns assigns 中から割付けることを示す
工場01 [process]
has has [startDate(開始日時)]
[endDate(終了日時)] Assigns Edge
型01 仕上WG StartDateからEndDateまでの間
Resource has Assign RegionにResourceを
割付対象要素を表す has has has has has has 割付けることを表す
・capacity(容量)
・calender(カレンダー)
CAVI01 CORE01 … 山田さん田中さん鈴木さん・attributes(属性) Has Edge
東さん Resourceの所有関係を表す
23

活動の統一グラフモデルを構築
K.Hamada, F.Kimura,
Unified graph representation of processes for scheduling with flexible resource assignment,
to be published in CIRP 2010

24

５月上旬の
講演/トーク予定

25

2010年５月上旬の講演・トーク予定

ぜひお越しください

日コミュニティ会情報
2010/05/01(土) パターン認識と機械学習・多項式曲線フィッティング
(PRML) Revenge #1 ・確率論
2010/05/07(金) Linux Business Initiative 業務プロセス改革とデータマイ
2010年度総会・ビジネスニング
講演会
2010/05/09(日) Tsukuba.R #7 はじめてでもわかる回帰分析
（線形回帰、非線形回帰ともに）

26

講演：2010/05/01(土)
パターン認識と機械学習(PRML) Revenge #1
多項式曲線フィッティング＋確率論

PRML Revenge #1 http://atnd.org/events/4115
27

講演：2010/05/07(金)
Linux Business Initiative 2010年度総会・ビジネス講演会
「業務プロセス改革とデータマイニング」

蓄積データの有効活用

LBIビジネス講演会 http://www.lbi.gr.jp/modules/eguide/event.php?eid=31
28

講演：2010/05/09(日)
Tsukuba.R #7
「はじめてでも分かる回帰分析」
事象発生の関数形の推測
・線形回帰(単・重)
・非線形回帰

Tokyo.R #4 http://atnd.org/events/3930
29

AGENDA
◆自己紹介
◆データ操作
◆モデル
◆ARモデル
◆ARFIMAモデル
◆ARCHモデル
◆最後に
30

時系列データ

時間変動する要素を
時間の順序で測定・観測したデータ
時系列データ
・医療データ：心電図、脳波
・気象データ：気温、気圧
・金融データ：株価、為替レート

31

時系列データ

時系列データ 2003年ノーベル経済学賞
・医療データ：心電図、脳波「時系列分析手法」
・気象データ：気温、気圧 Clive W.J. Granger
・金融データ：株価、為替レート Robert F. Engle

32

時系列データ

時系列データ 2003年ノーベル経済学賞
・医療データ：心電図、脳波「時系列分析手法」
・気象データ：気温、気圧 Clive W.J. Granger
・金融データ：株価、為替レート Robert F. Engle
例：UKgas
イギリスのガス消費量の時系列データ
年

33

時系列データ

UKgas
イギリスのガス消費量の時系列データ
1960年から1986年まで四半期ごとに観測

United Kingdom Gas

年 1Q 2Q 3Q 4Q

34

時系列データの形式と属性

時刻tをインデクスとしたデータ列

35



36



37



38

AGENDA
◆自己紹介
◆時系列解析とは
◆データ操作
◆モデル
◆ARモデル
◆ARFIMAモデル
◆GARCHモデル
◆最後に
39

時系列表示

関数 ts.plot
折れ線グラフ表示

40

データオブジェクトの作成

関数 ts
時系列オブジェクト作成
非時系列オブジェクトから時系列データオブジェクトを作成する

41

ラグ処理

関数 lag
時間をシフトする
定義

42

ラグ処理

関数 lag
時間をシフトする
定義

43

差分

関数 diff
ytからyt-1を引く
トレンドを除去できる
差分定義

UKgas diff(UKgas)

44

時系列データの統計量

時系列データの特性を表す統計量
時系列に対して

定義 ◆ 標本平均

◆ との
標本自己共分散

◆ との
標本自己相関関数

45


時系列データの特性を表す統計量


◆ との

◆ との

平均や自己共分散
時間変化しない ⇒定常時系列
時間変化する ⇒非定常時系列
46


関数 acf
自己共分散、自己相関を求める


◆ との

◆ との

平均や自己共分散
時間変化しない ⇒定常時系列
時間変化する ⇒非定常時系列
47


関数 acf
acf(x, type=“correlation”, plot = TRUE,…)
引数
x : 時系列データ
type : “correlation(自己相関)”, “covariance(自己共分散)”,
“partial(偏相関)”,
（デフォルト:“correlation(自己相関)”）
plot :自動図示の指定（デフォルト：TRUE）

48


関数 acf

correlation covariance partial
(自己相関) (自己共分散) (偏相関)

49

スペクトル分析

隠された周期性を解析
周期成分の強度分布算出
フーリエ変換
時間k成分 ⇒ 振動数f成分

Spectrum (Power Spectral density Function)
時系列の自己共分散のフーリエ変換

Periodgram
標本データの自己共分散のフーリエ変換

50

スペクトル分析

隠された周期性を解析
周期成分の強度分布算出

スペクトル分析スペクトル分析
時系列表示スペクトル分析
（Daniell平滑化）（自己回帰）

51

ARモデル

AutoRegression(自己回帰) Model
時系列時点 t-p から tまでの各データの関係式

ai : 自己回帰係数 (i=1,..,p)
p : 次数
et: 残差（平均0、分散σ2）の正規分布

モデル推定
Yule-Walker法, 最小２乗法
最尤法, Burg法, …

次数 p と自己回帰係数 ai (i=1,..,p)を決定する
次数pのARモデル AR(p)
54

関数arとモデル推定

ar
自己回帰モデルを求める関数
ar(x, aic=TURE,method=“”, order.max=NULL)

引数 x : 時系列データ
aic : モデルを評価する情報量基準AICを用いるか
method :自己回帰を推定する方法
“yule-walker (ユールウォーカー法)(Default)”,
“ols(最小２乗法)”, “mle(最尤法)”, “burg(バーグ法)”
order.max : 次数の最大値を指定

55


56


57

予測

Predict
自己回帰モデルarで求めたモデルを用い予測する
1986年までのデータから1987以降を予測

58

予測

Predict
自己回帰モデルarで求めたモデルを用い予測する
1986年までのデータから1987以降を予測

59

AGENDA
◆自己紹介
◆データ操作
◆モデル
◆ARモデル
◆ARFIMAモデル
◆ARCHモデル
◆最後に
60

ARMA/ARIMAモデル

ARMAモデル：AR(p,q)
(AutoRegressive Moving Average：自己回帰移動平均)
ARモデルに残差の移動平均を加えたモデル
残差の移動平均

61

ARMA/ARIMAモデル


ytのd階の差分演算子のモデル

62

ARMA/ARIMAモデル


ytのd階の差分演算子のモデル

ARIMAモデル：AR(p,d,q)
(AutoRegressive Integrated Moving Average：自己回帰和分移動平均)

63

関数armaとモデル推定

関数 arima
単変量時系列データを当てはめるARMAモデル関数

arima(x, order =c(0,0,0),..))
order : (自己回帰の次数 p,
差分の階数 d,
過去の残差の移動平均の次数q)

ARIMAモデル：AR(p,d,q)

64

モデルの選択

引数orderのp,d,qの決定
情報量規準値が最も小さい組み合わせを用いる

65

AGENDA
◆自己紹介
◆データ操作
◆モデル
◆ARモデル
◆ARFIMAモデル
◆ARCHモデル
◆最後に
66

ARFIMAモデル
ARFIMAモデル
(AutoRegressive Fractionally Integrated Moving Average）
自己回帰実数和分移動平均

ARMAモデルの過剰差分を克服する
差分の次数dを任意の次数に一般化

fracdiff(x, nar =0,dtol=NULL, nma=0,..))
nar : 自己回帰の次数 p,
tdol:差分の階数 d,
nma:過去の残差の移動平均の次数q

67

AGENDA
◆自己紹介
◆データ操作
◆モデル
◆ARモデル
◆ARFIMAモデル
◆ARCHモデル
◆最後に
68

ARCHモデル
ARCHモデル
(AutoRegressive Conditional Heteroscedastic）
自己回帰条件付き分散不均一
ARCHモデル条件付平均条件付分散の
正規分布に従う。

69

ARCHモデル
ARCHモデル

拡張
GARCH (Generalized ARCH)モデル

70

ARCHモデル
ARCHモデル

拡張
GARCH (Generalized ARCH)モデル

R言語でのGARCHモデル当てはめ関数
・garch (package : tseries)
・garchfit (package: fSeries)
71

AGENDA
◆自己紹介
◆データ操作
◆モデル
◆ARモデル
◆ARFIMAモデル
◆ARCHモデル
◆最後に
72

最後に

蓄積されたデータを有効活用してきたい

73

最後に

蓄積されたデータを有効活用してきたい


74

最後に
データマイニング+WEB勉強会
発表者を募集しています

連絡
75

最後に
ＷＥＢ祭り
です

76

最後に
ＷＥＢ祭り
です

AGENDA 5/16(日) 13:00 - 19:00
-ソーシャルウェブとレコメンデーション（仮） (講師:@hamadakoichi) (60分)
-Hadoop最前線（仮） (講師:@yanaoki)(60分)
-※追加募集中
定員：20名
アナウンス
77

推薦文献リンク

Rによるデータサイエンス
～データ解析の基礎から最新手法まで～

Rによる時系列分析入門

ご清聴ありがとうございました

80

AGENDA
◆自己紹介
◆データ操作
◆モデル
◆ARモデル
◆ARFIMAモデル
◆ARCHモデル
◆最後に
81

目的：データマイニング+WEB勉強会＠東京

データマイニングの方法論を用い
蓄積されたデータを有効活用していく方法を学ぶ
統計解析
Web API
Amazon Web Service
カーネル法
Memetic Ant Colony
…
最適解探索
アルゴリズム
82

[Ｒ勉強会][データマイニング] R言語による時系列分析

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (7)

Ähnlich wie [Ｒ勉強会][データマイニング] R言語による時系列分析

Ähnlich wie [Ｒ勉強会][データマイニング] R言語による時系列分析 (20)

Mehr von Koichi Hamada

Mehr von Koichi Hamada (20)

[Ｒ勉強会][データマイニング] R言語による時系列分析