Rustに触れて私のPythonはどう変わったか

Mobility Technologies Co., Ltd.
Rustに触れて私のPythonはどう変わったか
2020/09/24 @MoT.rs
Shunsuke Nakamura
AI技術開発部

Mobility Technologies Co., Ltd.2
中村遵介（なかむらしゅんすけ）@S.Nakamura 
 
AI技術開発部エッジMLエンジニアリングG 
- 深層学習・画像処理 
- デバイスシミュレータ開発 
 
学生時代: SQLとPython 
社会: PythonとRust 
趣味: 画像の拡大 
 
自己紹介

深層学習と画像処理の流れ
データセット用意
Webからダウンロー
ド・自サーバから収
集
傾向調査
エラーデータ確認
クラス分布や
色傾向の確認
データ分割
傾向を元に
学習するデータ・評
価に使用するデータ
等を分割
前処理
深層学習を行う
ためのデータの
加工処理
深層学習
加工したデータ
から実際に目的とな
るモデルを学習する
後処理
モデルの出力を、全
体として出力
したいものに変換
必要に応じて別手法
で補正
結果の可視化
学習結果を人の
目に分かりやすく
示し改善点を探す
Designed by Freepik and distributed by Flaticon

画像を用いた深層学習の全体的な流れ（の一例） 
4
深層学習と画像処理の流れ
集
傾向調査
クラス分布や
色傾向の確認
データ分割
傾向を元に
等を分割
前処理
加工処理
深層学習
後処理
体として出力
で補正
結果の可視化
全てPythonで実装 
・深層学習はPyTorchというPython向けライブラリで実装されることが多い 
・ここらへんで公開されている既存コードもほぼPythonなので同じ言語のほうが便利 
・Pythonではデータ処理向け便利ライブラリが多数公開されている 
・研究の側面が強く手軽にコード変更ができる言語が良い  Designed by Freepik and distributed by Flaticon

■ 他人（自分）のコードの再現・改変が難しい 
■ 様々な外部ライブラリを使用するのでバージョンの不一致で実行できない 
■ 型情報がほぼないので、コードの改変・再使用が困難 
■ ディレクトリ構成・仮想環境の個人差が大きく揃えづらい 
■ 長時間かけて学習したモデルが保存時に引数エラーで保存失敗・やり直しへ 
■ どこでどのようなエラーが発生するかが分からないので捕捉しづらい 
■ モジュールのインポートルールが複雑（個人差あり） 
■ Pythonを書くと遅くなりがち 
■ 他の言語で書かれた高速なライブラリをPythonから使用すればOK 
 
困っていたが深層学習からPythonは切り離せないので仕方ないか〜と思っていた 
とはいえPythonだと困ることも

Rust使い始めて感じたこと 
■ 型情報がしっかりしている 
■ ビルド時に型周りのミスを全て洗い出せるので安心 
■ エディタのフルサポートが得られるので書くのが楽 
■ Result型・Option型のおかげでどこでどういう例外ケースがあるのか把握しやすい 
■ パターンマッチが強力で条件分岐の取りこぼしが起きづらい 
■ Cargo.tomlに必要な情報がほぼ乗っているので他人のコードを動かしやすい 
■ ディレクトリ構成が統一されている 
■ ライフタイムがコードに出てくると読みづらい 
■ ハマると型をこねくり回して四苦八苦する時間がある 
■ エラー処理をきちんと書かねばならず、正常ケースだけさっと試すときに面倒 
 
そんなとき業務でRustにふれることに

ここらへんをPythonでもなんとか取り入れたいと思った 
 

型アノテーションとmypyとtypeguardとdataclassとEnumで型っぽい事をしようとした
型アノテーション
■ Pythonは変数と関数の引数・返り値に型アノテーションを付けられる
■ typingモジュールを使用することで複雑な型にもアノテーションできる
■ あくまでアノテーションなので実行時にその型でなくてもエラーにならない
mypy
■ Pythonの静的型検査ツール
■ アノテーションを元にコードで型ミスがないかを実行前に洗い出せる
typeguard
■ Pythonの動的型検査ツール
■ 実行時に関数の引数と返り値が実際にアノテーション通りかを確認してくれる
dataclass
■ 構造体のようなものを定義できる（実態はクラス）
■ データを辞書型でやり取りしていた部分を全てdataclassに置き換えた
Enum
■ ただの列挙型
Rustの良さをPythonに取り入れようとした話

Pros
■ エディタの補完パワーが増したので実装が楽に
■ 辞書型はどのようなkeyにどのようなvalueがあるかを見てみないと分からないが、dataclass
で安全にデータをやり取りできるように
■ 過去の自分のコードが読めるように
Cons
■ mypyには限界があり、mypyを通っても実行時にエラーになるケースがあった
■ Pythonではサードパーティ製ライブラリを頻繁に使用するが、それらが型情報を提供しておら
ず、mypyでのチェックを諦めることが多かった
結論: 導入してよかったが、Pythonである以上確実な安心感は得られない
型情報: Rustの良さをPythonに取り入れようとした話
10

Cargo.tomlのように実行に必要な情報を1つのファイルにまとめておけないか？
pep518でまさに同じ話があった
■ pyproject.tomlというファイルでパッケージング情報を管理
■ Python自体のバージョンやライブラリのバージョンを記述可能
■ poetry / pyflowといったパッケージング管理ライブラリがここに準拠
■ poetry / pyflowならディレクトリ構成も統一
個人プロジェクトは全てpoetryに移行した。数ヶ月前のコードでも一発で動いた
業務ではさりげなくpoetryを導入することで布教中
Cargoほど強力ではないが便利
poetryはいいぞ
Rustの良さをPythonに取り入れようとした話　成功例

Result型とOption型をクラスとして定義してみた
■ Optionはちょっと便利になった
■ ResultはそもそもPythonがどの部分でどのようなエラーを出すのかが
わからないため、結局try-exceptを大きくくくる以外にエラーハンドリングが
できずメリットを感じなかった
例外ケースを適度に無視できるのが良くも悪くもPythonの特徴
Rustの良さをPythonに取り入れようとした話　失敗例

Rustの良さをPythonに持ち込むのは限界があるしPythonの良さを殺す事が多い
そもそも得意分野が違うのに全部同じ言語でやる必要はなかった
柔軟なコード変更が求められ、優秀なライブラリが多い部分をPythonで、
厳格なエラー処理・再利用性・速度が求められる部分をRustで実装
全体を通した設定はYAMLのような言語非依存のもので管理する方針へ
Rustの良さはRustとして、Pythonの良さはPythonとして使用した話
集
傾向調査
クラス分布や
色傾向の確認
データ分割
傾向を元に
等を分割
前処理
加工処理
深層学習
後処理
体として出力
で補正
結果の可視化
Rust PythonPython Rust
Python

Rustの良さをPythonに持ち込むのは限界があるしPythonの良さを殺す事が多い
そもそも得意分野が違うのに全部同じ言語でやる必要はなかった
柔軟なコード変更が求められ、優秀なライブラリが多い部分をPythonで、
厳格なエラー処理・再利用性・速度が求められる部分をRustで実装
全体を通した設定はYAMLのような言語非依存のもので管理する方針へ
Rustの良さはRustとして、Pythonの良さはPythonとして使用した話
集
傾向調査
クラス分布や
色傾向の確認
データ分割
傾向を元に
等を分割
前処理
加工処理
深層学習
後処理
体として出力
で補正
結果の可視化
Rust Rust
Python
PythonPython
超快適になった！

Rustが得意なところはRustで、Pythonが得意なところはPythonで書こう 
 
Pythonを書く時はpoetryを使って、可能な限り型アノテーションと型チェックをするとちょっ
とQoLがあがる 
結論

文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。
18

Rustに触れて私のPythonはどう変わったか

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Rustに触れて私のPythonはどう変わったか

Ähnlich wie Rustに触れて私のPythonはどう変わったか (20)

Rustに触れて私のPythonはどう変わったか