Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie 機械学習 温故知新（第47回 Machine Learning 15minutes! Broadcast）
Ähnlich wie 機械学習 温故知新（第47回 Machine Learning 15minutes! Broadcast） (20)
機械学習 温故知新（第47回 Machine Learning 15minutes! Broadcast）
- 1. 機械学習 温故知新 LINE 株式会社 Data Science and Engineering Center / Data Labs / Machine Learning 1 Team 渡辺 哲朗 2020.08.08 第47回 Machine Learning 15minutes! Broadcast
- 2. 登壇者紹介 2005 : 東京大学 工学部 システム創成学科 知能社会システムコース （PSI）卒業 2007 : 東京大学 大学院新領域創成科学研究科 基盤情報学専攻 修士課程 修了 2007 – 2009 : 株式会社ソニー・コンピュータエンタテインメント 2009 – 2014 : 修行期間（簿記会計の道に進んだり、スマート フォン向けアプリ企業に勤務したり……） 2014 – 2018 : 東京大学 大学院工学系研究科 技術経営戦略学専攻 博士後期課程 修了 （IEEE CIS Young Researcher Award ほか、いろいろ受賞） 2018 – 2019 : 株式会社 金融エンジニアリング・グループ 2019 – : 現職 渡辺 哲朗 （Tetsuroh Watanabe） LINE 株式会社 Senior Machine Learning Engineer
- 5. 最小二乗法とは？ 機械学習系の世界最高峰カンファレンス “NeurIPS 2019” で Best Paper Award 受賞 事例１ : 「最小二乗法」を高速化した研究 • 大学初年次あたりで習う、とてもポピュラーな手法 • 測定データに最もフィットする線が引ける（回帰分析） ※出典：IbrahimJubran, Alaa Maalouf, Dan Feldman : “Fast and Accurate Least-Mean-Squares Solvers”, NeurIPS 2019 https://neurips.cc/Conferences/2019/Schedule?showEvent=15696 どんな研究？ • 測定データ全体を直接扱うのではなく、 “Coresets” に 分割してから最小二乗法を施す方法を提案 • 既存手法の約100倍もの処理速度を達成 ディープラーニングの最新研究がひしめく中で、「最小二乗法の高速化」が最高評価を得た Coresets への分割を経由した最小二乗法
- 6. どんな研究？ レコメンドシステム系のトップカンファレンス “RecSys 2019” で Best Paper Award 受賞 事例２ : ディープラーニングと古典的手法を徹底比較 • 直近のトップカンファレンスで発表のディープラーニング手法18個を再現実験 ※出典：MaurizioFerrari Dacrema, Paolo Cremonesi, Dietmar Jannach : “Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches”, RecSys 2019 https://arxiv.org/abs/1907.06902 古典的手法の方がディープラーニングよりも「使える」場面は、たくさんある 原著データセットのTrain / Test 分割が不適切であることを 指摘した図（両者で分布が違いすぎる） ディープラーニングの問題点を指摘 • 再現性の低さ • スケーラビリティの低さ（計算コストの高さ） • 妥当な努力で再現できた手法は７個だけ！ • そのうち６個の性能は、シンプルな古典的手法に敗北 • 残る１個の性能も、ディープラーニングではない線形手法に部分的敗北
- 7. どんな研究？ コンピュータビジョン系のトップカンファレンス “ECCV 2020” に採択 事例３ : 画像処理における複数の古典的手法をまとめて一般化 • 画像データの閾値変換に関する下記３つの古典的手法を一般化 し、相互補間するアルゴリズム “GHT” を提案 • 大津の２値化 • Minimum Error Thresholding（MET） • Weighted Percentile Thresholding ※出典：Jonathan T. Barron : “A Generalization of Otsu's Method and Minimum Error Thresholding”, ECCV 2020 https://arxiv.org/abs/2007.07350 ディープラーニング画像処理が隆盛を極める中でもなお、古典的手法の改善は重要な課題 従来手法を補間した閾値設定が自動的に行える （２値化に限らず、多値化に対応） • 閾値設定は自動で行われ、訓練用の画像データセットも不要 • 手書き文字画像２値化ベンチマークで最高精度を達成 ここがスゴい！
- 10. 社内の、とある機械学習モデル開発プロジェクトにて 実務で最近の手法を試したけど……なエピソード • 従来よりチーム内で長い間使われてきたモデルパターンがあり、それを採用していた • 最新の手法でもし精度が良くなるなら、適用したい ※出典：[1]Liangchen Luo, Yuanhao Xiong, Yan Liu, Xu Sun : “Adaptive Gradient Methods with Dynamic Bound of Learning Rate ”, ICLR 2019 [2] Diganta Misra : “Mish: A Self Regularized Non-Monotonic Neural Activation Function”, arXiv 1908.08681 (2019) 世間で話題の State-of-the-art な手法を試してみた、が…… • モデル学習時の最適化手法を “Adam” から “AdaBound” [1] に変更 • 収束が遅くなり、業務上の都合で許容さ れる時間内で学習が終わらず、不採用 • 活性化関数を ”ReLU” から “Mish” [2] に変更 • 学習がむしろ進まなくなり、不採用 • これも「再現性の低さ」の一端か 登壇者が最近の手法を試したときに、実際に残した実験メモ
- 11. 3. まとめ
- 13. LINE では Engineer や Data Scientist など 様々なポジションで積極的に募集中です！ 募集詳細は こちらの QR コード からアクセス 【募集ポジション例】 ・機械学習エンジニア ・サーバーサイドエンジニア ・データサイエンティスト ・プロジェクトマネージャー ・機械学習リサーチャー など