Python利用人口を増やすべく作成したスライド第3版です。PythonとRを使ったデータ分析を行うための環境整備方法などについて解説しました。 第1版との差分は、もう少し初心者にやさしい情報を加えたことと、演習っぽいスライドを追加したところです。

1. PythonとRによるデータ
分析環境の構築と機械学
習によるデータ認識
第3版
2014-09-03
熊本高専八代キャンパス高専カフェ
Katushiro MORISHITA
1

2. まずは質問
• ノートPCを持ってきた方
• Mac環境の人VS Windows環境の人
• Pythonを聞いたことあるという方
• Pythonを使っているという方
• Rを聞いたことあるという方
• Rを使っているという方
• ランダムフォレスト自体に興味がある方
2

3. 演者紹介
• 高専：ロボコン・全身反応測定器・温度場測定器
• 大学院：GPSを使った動物追跡システム
• 野鳥の鳴き声による識別（趣味）
• Twitter感情分析・ニュース記事推薦システム（仕事）
• 自信のある言語
o C/C++, C#, Python
• そうでもない言語
o R, PHP, Ruby, java, VB, VB.NET
• 勉強したい言語
o Scala, javascript
3

4. 本スライドの目的・背景
目的
• PythonとRの全学的普及
対象
• 熊本高専の教員・学生
• PythonやRに触れたことがない方
• Python or R or データ分析に興味がある方
4

5. 目標
• Pythonに魅了される
• Rの便利さが垣間見える
• Pythonスクリプトを
o 作れる
o 実行できる
• Rで相関行列を作れる
5

6. Index
• データ分析上の役割分担
• Pythonの薦め
• Python環境の作り方
• R環境の作り方
• データ分析例
• まとめ
• 蛇足
6

7. データ分析処理の流れ
検討収集
データベース/テキスト
データ読み込み・整形
可視化
分析処理
7

8. 役割分担（森下の場合）
可視化
散布図行列
etc.
分析
数値的要約
主成分・因子分析
相関行列
数量化x類
n群の比較
etc.
テキスト処理
データベース操作
機械学習
ニューラルネットワーク
サポートベクタマシン
ランダムフォレスト
Deep Learning
*データが数GByteまでならこれで十分8

9. Pythonの薦め
9

10. 基本構文など
＠Python 3
10
フィーリング！

11. Pythonの”Hello World”
11

12. Pythonのコメント
• 2種類ある
12

13. 演算子
• 代入：=
• 加算：+
• 減算：-
• 乗算：*
• 除算：/
• 累乗：**, 例a = 20 ** 2 # 400
• 剰余（割り算の余り）：%
13

14. 数値型
• int（整数）型は無限桁を扱える
14

15. 文字列型
• 文字列の結合、検索、文字コードに
よらない文字数カウントなどが便利
15

16. リスト型
• リストを知るとCの配列なんて使えない
16

17. タプル型
• 複数の値をパッキング
• どんなオブジェクトでもOK
• 関数の返り値に便利
17

18. 辞書型
• データ同士のヒモ付
• C#のハッシュテーブル、PHPの連想配列に近い
18

19. 集合型
• 数学の集合と同一
• ↓タイムスタンプの比較処理から抜粋
19

20. Pythonのif
20

21. Pythonのfor
• 10回ループ
解釈
• 全要素を順に処理≠ただの繰り返し
21

22. Pythonの関数
22

23. Pythonのクラス
↑学生による相互評価データを処理するスクリプトより抜粋23

24. Pythonの名前空間
• フォルダが名前空間となる
GPS名前空間内にある、
モジュールephemeris
gps.ephemeris
24

25. 文字列を数値に変換
25

26. 数値を文字列に変換
26

27. ライブラリの利用
27
• モジュールの利用と言い換えてもOK

28. スコープ
• 変数は宣言した後の行で使える
• インデントが続く範囲がスコープ
• 同じ変数名でも他のモジュールとは干渉せず
28

29. Pythonスクリプト例
上図テキストファイルの行数をカウントする例
29
どんな動作か想像して下さい

30. よく使うモジュール
• os
• sys
• datetime
• re
30

31. いろいろ便利
• リフレクション
• イテレータ
• シリアライズ
• ラムダ式
o将来性に陰り
31

32. Pythonの哲学
• シンプル
• 少ない予約語
• 非冗長な構文
• 誰が書いても同じコードになる
32

33. 特徴
33

34. Pythonの特徴
• 学習しやすい
• 無料で利用できる
• 全てのOSで動作
• プロの技術者集団が存在
• 豊富な技術情報
34

35. 研究向き
35

36. Why?
•学習が速い
•開発が速い
oライブラリが充実・拡充中
o誰が書いても同じ様なコード
36

37. Pythonはアイデアを迅速
に確認するためのツール
どちらが好き？
• 10日間掛けて、アイデアを検証
• 1日でアイデアを検証
計算速度が問題になればC++で組む
37

38. Pythonにできることの一例
• グラフ作成
• PyCUDAでGPUプログラミング
o 大規模グラフィック演算
o 電磁気・流体シミュレーション
o ディープ・ラーニング（機械学習の一種）
• 各種サーバ構築
• 数値計算全般+数式の理論微分・積分
• 画像・GISツールのプラグイン
38

39. 萎えるC言語
萌えるPython
39

40. Python環境の作り方
40

41. Pythonの情報源
• Python公式サイト
o http://www.python.jp/
• 公式パッケージ配布元
o https://pypi.python.org/pypi
• Windows用非公式パッケージ配布元
o http://www.lfd.uci.edu/~gohlke/pythonlibs/
• Windows用統合開発環境Pyscripter
o https://code.google.com/p/pyscripter/
• その他、ネット上の有志の方々
*2014-08-28時点で、pyscripterはPython 3.3.xまでしか対応していない41

42. サーバ環境の例
• IPython+Notebookサーバ
• クラウドの場合
o必要に応じてOSイメージの
スナップショット
oロードバランサで負荷分散
42
学生向けの環境ならこれでOK？

43. ローカル環境
•ビルド済みの
oインタプリタをインストール
opipをインストール
o必要なライブラリをインストール
43
本スライドではPython3系の最新版の
Windowsへのインストールを案内します
（Mac/Linuxはこちらを併せてご覧下さい）

44. ☆インタプリタの
インストール
• https://www.python.org/downloads/re
lease/python-341/
• ↑最新版@2014-08-28
44
OS等の都合に併せて
どれか1つを
ダウンロード&インストール

45. ☆pipのインストール
• パッケージの管理
• ビルド済みの配布パッケージがない場合にソースからイ
ンストールするときに必要
• http://www.lfd.uci.edu/~gohlke/p
ythonlibs/#pip
45
for 64 bit
for 32 bit
“pyX.Y”はPythonの
バージョンに合わせる

46. ☆算術3兄弟
• http://www.lfd.uci.edu/~
gohlke/pythonlibs/
• 順に、
oNumPy
oSciPy
omatplotlib
46

47. ☆データ分析用ライブラリ
• http://www.lfd.uci.edu/~gohlke/p
ythonlibs/
• scikit-learn
• Pandas
47

48. ☆☆matplotlib
• 美麗なグラフ作成
*http://matplotlib.org/gallery.html 48

49. ☆☆scikit-learn
• 各種機械学習を支援
49
*http://scikit-learn.org/stable/auto_examples/plot_classifier_comparison.html
**解説：http://www.slideshare.net/moa108/20130715-lt-scikitlearn

50. ☆その他、Pythonのみで
書かれたライブラリ
• 以下のコマンドでインストール
opython install setup.py
50

51. ☆Cを含むライブラリの
インストール
• ビルド済みがネットに落ちてなければビルド
o Pythonインタプリタのbit幅に合わせる
o コンパイラ等のツール
• ライブラリによってツールが異なる
• MinGW + msys
• Visual Studio 2010/2012/2013 Express/pro
• CMake
• python install setup.py
o 先にビルドだけ実施することもある
o その場合は、ビルドツールを選択することもある
• pip install lib_name 51

52. ☆環境変数の設定
• PYTHONPATH
o 個人的なライブラリがあれば設定
• PATH
o C:python34
o C:python34Scripts
o C:python34Libsite-packages
*”pythonXY”の”XY”はインストールしたPythonのバージョンに依存52

53. ☆環境変数設定方法
• ＠Windows 7
o 「コンピュータ」を右クリック−＞プロパティ
o 「システムの詳細設定」をクリック
o 「詳細設定」タブ
o 「環境変数」ボタン
o 設定を入力
53

54. 面倒な人はAnaconda
• http://continuum.io/downloads
1st, OSの選択
3rd, ダウンロード
2nd, バージョンの選択
＊Anacondaは自然言語処理やOpenCVで困るかも
54

55. テキストエディタ
• http://www.sublimetext.com/3
55

56. 実行テスト
• コマンドプロンプトで実行
opython –V
opython
56

57. もっと詳しく
• MacやLinux系についても解説したスライド
o http://www.slideshare.net/katsuhiromorishit
a/python2014
57

58. スクリプトを書いて実行
58

59. エディタを開く
• 文字コードはUTF-8とする
• Sublimeは標準でUTF-8
*スクリーンショットはMacのものなので、Windows環境の方は脳内変換して下さい
59

60. コードを書く
60

61. 保存する
• 拡張子は「py」
61

62. 実行する
• Windwos
oコマンドプロンプトを立ち上げ
• Mac
oターミナルを立ち上げ
• 以下のコマンドを実行
opython print_test.py
62

63. 実行の様子（Mac）
63

64. 64
Pythonの世界へようこそ

65. R環境の構築
65

66. Rの概要
• 統計に特化したプログラミング環境
• Excelの分析ツールより便利
66

67. Rの良いところ
• 最新のアルゴリズムが投入されている
• オープンプロジェクトである
• どのOSでも動作する
• グラフが美しい
• RのGUI環境を提供するWEBサーバ有り
67

68. Rの情報源
• 日本の有志によるwiki
ohttp://www.okada.jp.org/RWiki/
68

69. R言語を覚えないとダメ？
69

70. 森下は覚えていません
(・∀・)ｷﾘｯ
70

71. GUIツールを使おう
• Rコマンダー（Rcmdr）
• EZR
（Windowsなら）
EZR おススメ
71

72. EZRのインストール
• ダウンロードサイト
ohttp://www.jichi.ac.jp/saitama-sct/
SaitamaHP.files/statmed.html
72

73. Macでの手順
• X11をインストール
o http://xquartz.macosforge.org/landing/
• R 3.1.1をインストール
• Rを起動
• コマンドを実行（途中改行は削除）
o install.packages("RcmdrPlugin.EZR",
dependencies=TRUE)
o install.packages("Rcmdr", dependencies=TRUE)
o library(Rcmdr)
73

74. ☆エラーキター（涙目）
74
• 2014-09-02に確認したところ、エラーが発生した。
兵庫大学のCRANサーバが落ちてる？
とりあえずRcmdrを使いましょう

75. Rコマンダー参考文献
• http://www.cwk.zaq.ne.jp/fkhud708/fil
es/R-intro/R-stat-intro_99.pdf
75

76. R 公式版
• for Windows
o http://cran.md.tsukuba.ac.jp/bin/window
s/base/
• for Mac OS X
o http://cran.md.tsukuba.ac.jp/bin/macosx
/
• Linuxに関してはこちら
o http://www.okada.jp.org/RWiki/?R%20%A4%
CE%A5%A4%A5%F3%A5%B9%A5%C8%A1%BC
%A5%EB#if8c08b4
76

77. Rcmdr/EZRの利用の流れ
• GUIでデータ読み込み（200 MByte以下）
• メニューからコマンドを選択・実行
• 自動生成されたスクリプトを保存
o 次回からはコピーしたスクリプトを実行
77

78. データ分析例
フィッシャーのアヤメのデータを使います。
78

79. サンプルデータ
• フィッシャーのアヤメ
oデータ入手：
http://home.a00.itscom.net/hat
ada/ml/data/iris01.html
oデータの解説：
http://d.hatena.ne.jp/tsutatsutat
suta/20121206/1354737461
79

80. アヤメの写真
80
http://pds.exblog.jp/pds/1/200609/01/07/b0077607_17371584.jpg

81. アヤメの4つの特徴量
• ガク片の長さ・幅
• 花弁の長さ・幅
81

82. 具体的には
82

83. まずはEZRで可視化
• 層別に散布図行列
83

84. Pythonで機械学習
• ランダムフォレスト
o多数の決定木を用いた分類アルゴリズム
o並列計算に向く
• scikit-learnライブラリを利用
• 分類粒度・決定木数の調整は必要
84

85. Python script
*Pandasの利用の上ではcsvファイルの先頭行にラベルをつけておく85

86. コピペ用スライド
86
#!usr/bin/python3
import pandas
from sklearn.ensemble import RandomForestClassifier
data = pandas.read_csv("iris2.csv")
#print(data)
trainFeature = (data.iloc[:, 0:4]).values # transform to ndarray
trainLabel = (data.iloc[:, 4:5]).values
trainLabel = [flatten for inner in trainLabel for flatten in inner] # transform 2次元to 1次元ぽいこと
clf = RandomForestClassifier()
clf.fit(trainFeature, trainLabel)
result = clf.score(trainFeature, trainLabel) # 学習データに対する、適合率
print(result)
print(clf.feature_importances_) # 各特徴量に対する寄与度を求める

87. 実行結果
87
*「ランダム」フォレストなので、結果は実行毎に微妙に変わります
**学習済みのオブジェクトはシリアライズしてバイナリで保存
***保存したバイナリを読みだして、復帰させれば復活＆即利用が可能

88. まとめ
88

89. まとめ
• Pythonの紹介
• Pythonの準備
• Rの準備
• データ分析例
o 可視化
o ランダムフォレスト
• 参考サイト：
http://www.slideshare.net/hamadakoic
hi/randomforest-web?related=1
89

90. 90

91. ギット
最近のソフトウェア開発
本職でないので、雰囲気だけ
91
というか、Gitの話

92. ツール類
• バグ追跡
• 工程管理
• バージョン管理
92
開発スタイル
（ウォーターフォール・
アジャイル）によって異
なるツールが利用される
試行錯誤

93. Gitによるバージョン管理
• ファイルの差分を保存
• “リポジトリ”で管理
• WindowsもMacも利用可能なツール
oSourceTree
ohttp://www.sourcetreeapp.com/
93

94. Gitの利用イメージ
94
リポジトリ

95. SourceTreeスクショ
95
*http://blog.sourcetreeapp.com/files/2013/02/sourcetree-on-windows-large.png

96. バージョン管理ツール
の利点
• 複数人で共同開発
• 過去の状態に戻せる
• 思考パターンを追うことができるので、
紋切り型なコピペの防止
• 卒研のソースコード管理
96

97. GitHub
• https://github.com/
• Gitサーバとwikiと掲示板機能を提供
• 有償でクローズド開発が可能
• 教育機関用アカウントも作成可
http://www.mocchiblog.com/ 97

98. GitHubにおける
オープンソース開発例
• RTKLIB
ohttps://github.com/tomojitakasu/RTKLI
B
oGNSS相対測位計算ツール
• オープン開発の理由
o1人で行う開発の限界
o開発の継続（継承）
98

99. 開発したプログラムを
アップしませんか？
99

100. 参考文献
100

101. 森下推薦図書
• Pythonスタートブック
• みんなのPython
• RとRコマンダーで始める多変量解析
• The R Tips
• R初心者のためのABC
• Git集中講座
101

102. その他のWEB上の資料
• SlideShare
oスライド共有サイトで検索！
ohttp://www.slideshare.net/?ss
102

103. Fin.
103

104. 以降はおまけ
104

105. Pythonインタプリタの亜種
Pythonのインタプリタには複数の亜種がありま
す。利用目的に合わせてインタプリタの種類を切
り替えて下さい。
亜種の例
• 描画特化型
• ゲーム作成特化型
• Java VM上で動作するバージョン
• .NET上で動作するバージョン
105

106. Python環境の移植
• フォルダコピー＆環境変数のセットでOK
• pipによりインストール済みのライブラリ
一覧を作成し、別環境でインストールさ
せるコマンドもある
106

107. 複数のPythonバージョン
を並行して使う
• 普段利用するPython環境を仮想環境とする
• 環境が壊れても安心
• コマンドでインタプリタを切り替え
• ツール
oMacならpyenvなど
oWindowsならvirtualenv
oコアとなるPythonをインストール後に、
上記のツールをインストールして利用
107

108. Pythonのライブラリをコ
ンパイルする上でのメモ
• 原則的には、Pythonインタプリタをビルドしたものと
同じツールを使う必要があります。
（Windowsでの話）
• ただし、Python 3.3.5はVisual Studio 2010でビルドさ
れていますがVisual Studio 2012でビルドしたツールも
インストール出来ました。
• 場合によってはPython本体がmsysでビルドされていた
としても、Visual Studioでビルドしたツールもインス
トール出来ます。
108

109. Pythonのバージョン
• Pythonのバージョンには2系と3系がある
• 2系と3系は非互換
o2to3.pyという自動変換ツールあり
• ほとんどのライブラリはPython 3に対応
• 音響系ライブラリがまだ2系に固執中・・・
109

110. Rのサーバ環境
R Studio
110
• Linux系OSにて利用可能
• http://www.rstudio.com/

111. 統計解析にはStatWorksなどGUI統
計支援ツールがあるとなお良い
• 外れ値の検討が非常に楽
• 統計処理の異常に気が付きやすい
• 特にデータ数が少ない場合に有効
• 統計的手法の初学者には必須
• 価格
oアカデミックで10万円前後
111

112. Q&A
• Q：C#とPythonでコーディングスタイル（プログラミング
への取り組み方）は異なりますか？
• A：全く異なります。処理速度が問題にならない限り、
Pythonではインターフェイスクラスやデータ構造よりも処理
アルゴリズムから考えます。
• Q：他言語は知っています。Pythonの習得にはどの程度時間
がかかりますか？
• A：Lightweight Language(LL)の経験がなければ、３ヶ月程
だと思います。LL経験者なら、2週間程だと思います。
• Q：オブジェクト指向を最短で身に付けたいのですが。。
• A：C#で実用的なプログラムを設計からリリースまで一貫し
て取り組み、10万行くらい書くのが早いと思います。
112

113. ビッグデータを対象とした
分析環境づくり
• 分析したいデータと目的によるが・・・
• おすすめは、Amazon Web Service（AWS）でHadoopを
利用できるAmazon Elastic MapReduce（Amazon
EMR）
o もっと良いサービスがあるかも
• ロードバランサーにより自動的にインスタンスを起動
• 機械学習・財務分析・科学シミュレーションにどうぞ
• 月々、1万円程度？
o 通信量に依存
• クレジットカードとAWSアカウントさえあれば、環境を30
分で立ち上げることができます
• クラウドに関する知識が必要
113

114. ビッグデータを対象とした
運用環境づくり
• リアルタイム処理向けのAMIがあります
• 新しいサービスが次々と投入されているので、ご自身で調
べて下さい。
114

115. 最近の言語の流儀
• ブラウザから実行できるサーバを簡
単に立ち上げ
• ライブラリを公開しているサーバ有
o 自作のライブラリも公開可能
• 必要なライブラリは後から追加
115

116. プログラミング言語の進化
• やや実験的な言語
oScala, go, swift
• それぞれ、新しい概念を導入
• 全ての言語が影響を与え合っている
• C/C++すら数年に1度の改定で近代化
• 「ああ、これって要するにあれだよね」
には収まらない
116