NAGOSUTA 20181020
•
0 likes•1,441 views
2018年10月20日に開催されたイベントなごスタ・TECH FESTIVAL「Industry 4.0 から Society 5.0 の時代へ ～AI・IoT 技術の今と未来～」で使った発表資料です。
Recommended
More Related Content
Similar to NAGOSUTA 20181020
Similar to NAGOSUTA 20181020 (20)
More from 陽平 山口
More from 陽平 山口 (20)
NAGOSUTA 20181020
- 1. 毎朝体操で学ぶAI×IoT で 実 現 さ れ る 世 界 ＋ α JP TOWER・NAGOYA Hall&Conference 2018.10.20 来栖川電算 取締役 山口陽平 なごスタ・TECH FESTIVAL「Industry 4.0 から Society 5.0 の時代へ ～AI・IoT 技術の今と未来～」
- 2. 今日話すこと 1. はじめに 2. AI × IoT 3. 毎朝体操 4. 毎朝体操の仕組 5. 毎朝体操の AI の改善 6. AI × IoT のこの先 7. その他 2
- 4. 山 口 陽 平 @melleo1978 • 所属 – 有限会社 来栖川電算 取締役 – 名古屋工業大学大学院博士前期課程修了 • 実績 – IPA 未踏ソフトウェア創造事業採択 – Mashup Awards 9 優秀賞受賞 • 興味 – 機械学習，強化学習，UI/UX – 高速化，省資源化，並列分散 ※実物に髪の毛はありません 4
- 5. 山 口 陽 平 @melleo1978 • ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い 方や実装例 – SIFTなどの各種 アルゴリズムや 特定物体認識の しくみ – 精度改善への取 り組み方
- 6. 来栖川電算 設立 2003年（名古屋工業大学発ベンチャー） 従業員 61人 • SF 世界の技術を実現し、社会に役立てる – AI 技術のライセンス販売・研究・SI • 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画・制作・運営 スマートライフ技術 NTTドコモ様との共同研究 スマートドライブ技術 大手自動車メーカー様むけ メイドさん もふくめて 6
- 8. 技術者集団 様々なアルゴリズムや知識で課題解決 • 最先端の AI 技術 – 文字認識，物体認識，モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベースなどの アルゴリズムやバイナリハックを駆使した高 精度化・高速化・省資源化・並列化・分散化 • 高品質なソフトウェアを実現する技術 – 言語・アーキテクチャ・プロセスに対する深 い理解に基づく設計と計画 8
- 11. AI × IoT の世界観 インターネット越しに ”統合” されたデバイス群による ”知的” サービス “ハード・インフラの低価格化” と “機械学習の進歩” が後押し 11 EDGE 情報 指示 CLOUD 強化
- 12. 国内の素晴らしい取り組み AI × IoT に関する 12
- 15. ZOZOSUIT センサを活用した衣服のオーダーメイド販売 AR マーカー付きの服をスマートフォンで撮影するこ とで全身を採寸。衣服のオーダーメイド販売や商品企 画へ活用。株式会社 ZOZO 様の取り組み。 15 ※引用元：http://zozo.jp/zozosuit/
- 16. 来栖川電算の取り組み AI × IoT に関する 16
- 19. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止・歩行・走行・食 事・睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。株式会社 NTT ドコモ様との共同研究。 19
- 20. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 20
- 21. まとめ AI × IoT に関する 21
- 22. まとめ 似たものは昔からあったよね ⇒ その通り、でも高かった • AI × IoT の３要素 – センサによる状況の把握 ※昔はここが難しかった – 運用の効率・品質の改善 ※直近の利益 – 新しい製品・サービスへの活用 ※未来の利益 • AI × IoT のブレークスルー – ハード・インフラの低価格化 • Google，Microsoft，Amazon，さくら，SORACOM， Arduino，Raspberry Pi，様々なセンサ，3D Printer，… – 機械学習技術・センシング技術の進歩 • 深層学習によりできる領域がどんどん拡大 22
- 24. 毎朝体操 いつでも、どこでも、すぐできる • Android & iPhone ⇒ http://maiasa.jp/ 24
- 25. 体操採点 スマホ を持って体操 ⇒ 腕の動きを採点 • ラジオ体操（第１・第２） – 立位，座位 • アクティブ体操®partⅡ – 通常版，スカート版 • くまモン体操 ※近日追加予定 25
- 26. トロフィー 体操するともらえる “かわいい” イラスト • 短期的な習慣化 – 目標があると取り組み易い – すぐに得られる達成感 • 長期的な習慣化 – 人はモノを集めたくなる – ふり返ったときの充実感 • 周囲を巻き込んだ習慣化 – 集めたモノを話のネタに 26
- 27. ランキング 体操のスコアを競い合う “アツい” イベント • 楽しくて賞品も貰える ＆ 広告でもある 27 2015年 7月～
- 29. 企業体操 JFE スチール株式会社『アクティブ体操®partⅡ』 • 転倒災害 ※労働災害 第１位 – 職場の高齢化、現代人の運 動不足により深刻化 • 転倒予防体操 – コケそうな状況で踏ん張れ る足腰を作るため、股関節 を中心に下肢の筋力、柔軟 性、バランスの向上に効果 のある運動で構成 29 2016年 12月～
- 30. 統計 俯瞰すると面白い 30
- 31. 240,000 DL 突破 115 ヶ国の 20 ～ 50 代女性が自宅・職場・旅先で活用 31 0.0% 10.0% 20.0% 30.0% 40.0% 18～24歳 25～34歳 35～44歳 45～54歳 55～64歳 65歳以上 男 32.7 %女 67.3 % 15053 いいね！
- 32. マグニチュード 4 みんなのラジオ体操の「総熱量」がヤバい！ • ラジオ体操：軽く汗ばむほどの運動強度 熱量 状況 1.770 GJ 質量1kgの物体が木星の引力圏から脱出 するために必要な運動エネルギー 2.000 GJ マグニチュード3の地震のエネルギー 4.184 GJ TNT火薬1トンの爆発のエネルギー 8.532 GJ 世界の人口1人あたりの年間消費電力量 （2002年） 13.581 GJ 毎朝体操の総熱量 2014年6月22日時点 62.059 GJ 毎朝体操の総熱量 2017年6月16日時点 64.100 GJ マグニチュード4の地震のエネルギー 運動強度 状況 2.0 METS 電車の中で立っている 3.0 METS 庭仕事・野球の野手 3.5 METS 平地での自転車 4.0 METS ラジオ体操第１・ハイ キング・速足 4.5 METS ラジオ体操第２ 6.0 METS 階段昇降・卓球 9.0 METS 水泳・高強度の長距離 走・筋力トレーニング 32
- 34. Mashup Awards 9 日本最大級のアプリコンテストで「優秀賞」獲得 34 ※引用元：http://jp.techcrunch.com/2013/11/14/mashup-award-9/
- 35. コンテスト以降 「風変わり」なアプリなので様々なメディアが注目 • アプリソムリエ – 【石井寛子アプリ事始】「毎 朝体操」超最先端ラジオ体操 第１！？ • 週刊朝日 – 【おすすめアプリ生活】あな たの“ラジオ体操度”が測れる 「毎朝体操」 • 日経新聞 – 職場で気軽に体ほぐし ヨ ガ・体操…お助けアプリ • 文化放送 – ドコモ団塊倶楽部 アプリ紹 介コーナー（生放送） 35
- 36. TFUG Tokyo #1 2016.10.13 NHK「おはよう日本」で紹介 36
- 37. TFUG Tokyo #1 噂の「ラジオ体操する IT 勉強会」の全貌が明らかに 37
- 38. Google I/O 2017 TensorFlow のモバイル応用例として紹介 38 ※引用元：https://events.google.com/io/schedule/?section=may-19&sid=33fb7070-294d-4443-b651-e407c730c32f
- 39. 企業体操のアプリ化 JFE スチール株式会社『アクティブ体操®partⅡ』 • 転倒災害 – 職場の高齢化、現代人の運 動不足により深刻化 • 転倒予防体操 – コケそうな状況で踏ん張れ る足腰を作るため、股関節 を中心に下肢の筋力、柔軟 性、バランスの向上に効果 のある運動で構成 39 2016年 12月～
- 40. アクティブ体操®partⅡ 立ち仕事が多い約 30 社が採用：工場，電力，化粧品，… 40 ※引用元：2017.6.6 NHK「おはよう日本」
- 42. ビジネスモデル やったか・うまさが判定できると可能になるビジネス 1. 習慣化支援 無料 – 毎朝体操の基本機能 2. 健康管理 有料 ※割引あり – 日々の運動状況をダッシュボードで把握 – 生体情報と連携した多角的な分析 3. 販売促進 有料 ※内容次第 – 体操イベントの開催，賞品やポイントの配布 – 健康意識が高くお金がある層への広告 42
- 43. 1. 習慣化支援 健康が気になる社会人 公園や家で気軽に運動したい人 • ゲーム要素，報酬，お得なショッピング 43
- 45. 3. 販売促進 製品・特産品・観光資源を PR したい企業・自治体 • 健康に関心が高くお金がある層へリーチ 45
- 46. 毎朝体操の仕組 AI × IoT の観点で理解する 46
- 49. 機器の制約 できるだけ多くの人に使ってもらいたい • 機器 ○ スマートフォン・スマートウォッチ • 機種を統一できないが、所有している人は多い。 ×指定の BLE デバイス • 機種を統一できるが、買わせる必要がある。 • センサ ○ 加速度センサ ※普及率 100%（2013年当時） ×ジャイロセンサ ※普及率 50%（2013年当時） • 加速度センサとの組み合わせで高度な分析が可能 49
- 50. センサの制約 腕の軌道を復元できるほどではない • 仕様のばらつき – 低い解像度 – 狭い値域：±2G – 低い周波数：8Hz • 厄介な仕様・バグ – ノイズ：インパルスがやたらはいる。 – バグ：正の最大値を超えると負になる。 – 余計なお世話：省電力モードではとれない。 ※パッチがあっても更新できないユーザがいる。 50
- 51. 遊び方の制約 個人差により全く異なるセンサ値になる • 装着の個人差 – 左右の手（真っ直ぐ・斜め），手首，上腕 ※気分や状況で変わる。ユーザは面倒を嫌うた め、どこにどのように装着したかを毎回入力 してくれない。入力も正確ではない。 • 動作の個人差 – 鏡，間接の位置・角度，振りの強さ・テンポ ※家の中、動画や周囲を見ながら、など状況に よっても変わる。うろ覚えなことも多い。 51
- 54. ひねりだした方式 ユーザと運営の両者の制約を満たす • 分類タスクへの還元（頑健なアルゴリズム） – 腕の軌道のズレが分かるほどのセンサではな いが、腕の動きの種類なら分かりそう。 • 網羅的なデータ収集（ビッグデータ） – 同じ体操でもデバイス・センサ・個人の差に より全く異なるデータになる。 • スマホ側での採点（エッジコンピューティング） – 待たせないため（採点時間を一定にする）に はユーザ数に比例する計算資源が必要となる。 54
- 56. 網羅的なデータ収集 ユーザによる教師データ作成 ＋ ノイズ対策・偏り対策 • 音楽に合わせて体操 ＝ 教師データ作成 – 再生開始からの時刻が分かれば動作も分かる 56
- 57. エッジ側での採点 様々な工夫によりスマホの計算資源だけでの採点を実現 • 膨大な軽量特徴 × 集団学習 – 機械的に生成された特徴の組 み合わせを学習により獲得し、 推論（動作の分類）に活用 • 実装の工夫 – 索引や近似を用いた省資源化 – アーキテクチャへのフィット – 体操と並行した採点 – サーバを必要としない採点 57
- 58. まとめ AI × IoT に関する 58
- 59. まとめ 体操採点エンジンを CLOUD で学習，EDGE で推論 ユーザのデバイス・計算資源・通信回線を活用した安い仕組 59 EDGE 体操データ 体操採点エンジン CLOUD 強化
- 62. 課題と動機 採点の精度はイマイチだが、データがめちゃくちゃ増えた • リリース前 – 及第点の精度 • スタッフが試して、それなりに納得がいく • 新規ユーザが、全然ダメと判断してしまわない、 アプリを削除してしまわない（であろう） – 体操データ：数十人 × 数十回 • スタッフのデータだけでは量・網羅性ともに不足 • リリース後 – 精度に不満を持つユーザのレビュー – 大量に集まった体操データ：数百万回 62
- 63. 施策 膨大な軽量特徴 × 集団学習（旧） ⇒ 深層学習（新） • 旧手法の複雑さを参考に DNN を設計 63
- 64. 実験：小規模 かなりチューンされた手法に勝つのは容易ではない 64 手法 集団学習 膨大な軽量特徴の組み合わせ 深層学習 パラメータ数はほどほど 事例数 オーグメント：なし 訓練 1,409,410 個 1,409,410 個 検証 145,452 個 145,452 個 処理時間 測定環境：サーバ 訓練 0.5 h CPU 16.8 h 95.8 epoch GPU 検証 17.0 s CPU 1 core 72.0 s CPU 1 core 予測性能 Accuracy 78.5 % 79.1 % Recall 77.6 % 76.3 % Precision 78.2 % 81.2 % F-Measure 77.7 % 76.6 % ※予測性能はラジオ体操第１の運動ごとの評価値の平均である。ユーザから収集 したデータ（ノイジー）なので良い値に見えないが、体感性能は良い。
- 65. 実験：大規模 事例が増えるとパラメータが多い深層学習が有利に 65 手法 集団学習 改 膨大な軽量特徴の組み合わせ 深層学習 改 パラメータ数：ほどほど 事例数 オーグメント：なし 訓練 27,822,604 個 27,822,604 個 検証 27,453,840 個 27,453,840 個 処理時間 測定環境：サーバ 訓練 8.0 h CPU 23.7 h 29.4 epoch GPU 検証 0.9 h CPU 1 core 6.2 h CPU 1 core 予測性能 Accuracy 83.2 % 86.8 % Precision 82.8 % 87.6 % Recall 84.3 % 87.1 % F-Measure 83.4 % 87.1 % ※どちらの手法も同じ改良が施されているので、それらを比較することはできる が、前の実験とは単純には比較できない。
- 66. 実験：大規模 & リッチ 深層学習はパラメータを増やすとどんどん賢くなる 66 手法 深層学習 改 パラメータ数：ほどほど 深層学習 改 パラメータ数：リッチ（9倍） 事例数 オーグメント：なし 訓練 27,822,604 個 27,822,604 個 検証 27,453,840 個 27,453,840 個 処理時間 測定環境：サーバ 訓練 23.7 h 29.4 epoch GPU 6.6 h 2.9 epoch GPU 検証 6.2 h CPU 1 core 67.1 h CPU 1 core 予測性能 Accuracy 86.8 % 90.5 % Precision 87.6 % 90.5 % Recall 87.1 % 90.6 % F-Measure 87.1 % 90.5 % ※リッチな方はパラメータ数が多すぎてリリースできないため、パラメータを増 やせば賢くなることが分かった時点で実験を終了した（まだ伸びしろあり）。
- 67. 実験：リリース版 毎週、ユーザから収集したデータを学習させまくる 67 手法 深層学習 改 パラメータ数：ほどほど 深層学習 改Ⅱ パラメータ数：ほどほど 事例数 オーグメント：なし 訓練 27,822,604 個 95,803,200 個 検証 27,453,840 個 27,453,840 個 処理時間 測定環境：サーバ 訓練 23.7 h 29.4 epoch GPU 47.6 h 75.0 epoch GPU 検証 6.2 h CPU 1 core 4.4 h CPU 1 core 予測性能 Accuracy 86.8 % 90.3 % Precision 87.6 % 90.0 % Recall 87.1 % 90.6 % F-Measure 87.1 % 90.2 % ※手法を改良（高速化）したため、処理時間が少なくなっている。改良は高速化 のみなので、予測性能の向上は訓練事例数の増加によるものである。
- 68. 効果：スコア ユーザ体験（納得感）が劇的に改善 • 平均スコア：75点 ⇒ 90点 68 70 75 80 85 90 95 20150713 20150727 20150810 20150824 20150907 20150921 20151005 20151019 20151102 20151116 20151130 20151214 20151228 20160111 20160125 20160208 20160222 20160307 20160321 20160404 20160418 20160502 20160516 20160530 20160613 20160627 20160711 20160725 20160808 20160822 20160905 20160919 20161003 20161017 20161031 20161114 20161128
- 69. 効果：参加者数 参加者だけでなく熱中している人が増えた • 参加者数 / イベント：3.5倍↑ 参加者数 / 日：4.5倍↑ 69 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 20150713 20150727 20150810 20150824 20150907 20150921 20151005 20151019 20151102 20151116 20151130 20151214 20151228 20160111 20160125 20160208 20160222 20160307 20160321 20160404 20160418 20160502 20160516 20160530 20160613 20160627 20160711 20160725 20160808 20160822 20160905 20160919 20161003 20161017 20161031 20161114 20161128
- 71. 課題と動機 マイナーな体操への対応に時間がかかりすぎる • 従来プロセス – スタッフの体操データで訓練検証し、及第点 の精度まで改善した上でリリース – リリース後はユーザの体操データで精度改善 – マイナーな体操だと、データがなかなか集ま らず、精度を改善できない • マイナーな体操：企業体操，地域体操，… – 企業や自治体へ売り込みたい – メジャーな体操のデータは使えないものか 71
- 72. 施策と実験 メジャーな体操のデータをマイナーな体操へ転移学習 • 転移学習 – データが豊富にあるタスクで学習済みモデル を作成し、データが不足するタスクのための モデルの初期値として利用する手法 72 体操種類 転移 訓練体操数 検証体操数 Accuracy Precision Recall F-Measure ラジオ体操第１ 立位 元 86969 個 6265 個 84.2 % 84.9 % 84.2 % 84.0 % ラジオ体操第１ 座位 無 116 個 15 個 66.3 % 67.6 % 72.5 % 68.3 % ラジオ体操第１ 座位 有 116 個 15 個 78.1 % 79.1 % 82.9 % 80.0 % ラジオ体操第２ 座位 無 117 個 13 個 67.3 % 67.0 % 68.9 % 67.2 % ラジオ体操第２ 座位 有 117 個 13 個 77.4 % 78.0 % 79.5 % 77.8 %
- 73. 効果 同程度の効果を得るには相当な費用が必要 • マイナー体操は練習からやる必要 73 項目 内訳 費用 求人 / 広告費 10 万円 10 万円 求人 / 人件費 2,000 円/時 × 0.25 時/人 × 200 人 100 万円 指導者 / 人件費 2,000 円/時 × 8 時/日 × 25 日/人 × 2 人 80 万円 指導者 / 交通費 2,000 円/日 × 25 日/人 × 2 人 10 万円 体操者 / 人件費 2,000 円/時 × 2 時/日 × 5 日/人 × 100 人 200 万円 体操者 / 交通費 2,000 円/日 × 5 日/人 × 100 人 100 万円 場所 16,000 円/日 × 25 日 40 万円 機材 / スマートフォン 50,000 円/台 × 2 台/セット × 10 セット 100 万円 機材 / スマートウォッチ 50,000 円/台 × 2 台/セット × 10 セット 100 万円 合計 740 万円
- 74. まとめ AI × IoT に関する 74
- 75. まとめ IoT は AI の改善を加速 ⇒ ユーザ体験を改善 • 毎朝体操の AI の改善 – 深層学習による精度改善 – 転移学習によるマイナー体操対応 • ポイント – 及第点の精度でリリースし、大量のデータが 集まってから精度改善 – ある体操のデータがそれなりにあると、別の 体操にすぐに対応可能 75
- 76. AI × IoT のこの先 エモい話 76
- 77. 強化学習 on 現実世界 強化学習で現実のタスクを解く ＝ 仮想世界を構築 現実世界での様々なタスクを強化学習で仮想世界へと 対応付けることで、大規模なシミュレータが構築可能。 仮想世界での強化学習が捗る世界が到来。 77
- 78. 求人 付録① 78
- 79. スタッフ募集中 学生さんも大歓迎 アシスタント職もアリ • 研究職 – 機械学習を用いた映像・信号・自然言語の理 解と検索・診断・制御への応用 – アルゴリズムの高精度化・高速化・省資源化 • 開発職 – アプリケーション • UI/UX，フロントエンド，バックエンド – インフラストラクチャ • ライブラリ，ミドルウェア，ツール，プロセス 79
- 81. 体制 AI 実現のための全業務をカバー 81 AI アプリ SI インフラ AI インフラ データ モデル 研究者アノテータ デザイナ 開発者 職種 正社員 アルバイト 合計 24 時／週以上 12 時/週以上 ※即戦力 試用期間 研究者 26 % 3 % 5 % 0 % 34 % 開発者 24 % 11 % 18 % 8 % 61 % デザイナ 0 % 5 % 0 % 0 % 5 % 合計 50 % 18 % 24 % 8 % 100 %
- 82. 設備 研究開発を円滑にするためにあらゆる手を尽くす • 理想的な個人設備 ※好きなものが選べる – PC，椅子，モニタ，キーボード，マウス，… • 豊富な計算資源とアノテータ ※使いやすい – Ahab：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス • 豊富な独自データ ※世界中からどんどん集まる – 自動運転用データ，商品認識用データ，文字 認識用データ，体操採点用データ，… 82
- 83. サポート 技術を磨きやすくするためにあらゆる手を尽くす • 様々な働き方 – 自由な時間帯・場所，冒険者制度，… • 優秀な同僚 ※メンタリング（JEDI） – IPA 未踏ソフトウェア創造事業採択者，コン テスト入賞者，OSS コントリビュータ，… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入 – 勉強会・懇親会の開催・参加・移動・宿泊 – 会社の昼会・夕会・飲み会で供される飲食物 83
- 84. 製品・サービス 付録③ 84
- 88. 画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大 な DB から瞬時に種類を特定。クロールした画像から 直接構築した DB を利用。 88
- 89. Cellars ワインラベルで情報検索するアプリ ワインラベルにスマホをかざすだけで、18 万件から 瞬時に種類を特定。国内外のコンテストで入賞。株式 会社 Cellars 様による弊社技術の応用事例。 89
- 90. AR 付箋 書籍の中身を検索するアプリ 書籍を開いてスマホをかざすだけで、膨大な DB から 瞬時にページを特定し、貼られている付箋を表示。お 客様による弊社技術の応用事例。 90
- 92. 走行データ解析 周辺環境を認識し、様々な解析に活用 膨大な走行データから歩行者・車両・白線・標識など を検出・追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 92
- 96. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止・歩行・走行・食 事・睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。株式会社 NTT ドコモ様との共同研究。 96
- 97. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 97
- 100. DNN コンパイラ DNNの推論を 10 ～ 1000 倍も高速化 重みや活性の量子化・スパース化、計算の共有などの 様々な手法で DNN を近似し、高速化・省資源化され た実行形式（Linux・Android・iOS）へ変換。 100