フューチャースタンダードCTO鈴木登壇 レバレジーズ「ヒカ☆ラボ」動画解析・IoT実践事例 (Jul. 4th, 2017)
•Als PPTX, PDF herunterladen•
3 gefällt mir•1,276 views
2017年7月4日に、弊社CTOの鈴木が登壇した際の資料になります。映像解析、IoTにまつわる「苦労と工夫」について解説しております。 イベント詳細：https://atnd.org/events/88567
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie フューチャースタンダードCTO鈴木登壇 レバレジーズ「ヒカ☆ラボ」動画解析・IoT実践事例 (Jul. 4th, 2017)
Ähnlich wie フューチャースタンダードCTO鈴木登壇 レバレジーズ「ヒカ☆ラボ」動画解析・IoT実践事例 (Jul. 4th, 2017) (20)
Mehr von Future Standard
Mehr von Future Standard (9)
フューチャースタンダードCTO鈴木登壇 レバレジーズ「ヒカ☆ラボ」動画解析・IoT実践事例 (Jul. 4th, 2017)
- 2. 2 自己紹介 • NEC でエンタープライズ・ストレージの開発を１５年経験 • 高可用クラスタなどの設計や実装 • 研究と製品の橋渡し＠北米研（品証他） • オフショア管理（中国、インド） • 2015年10月より FutureStandard 参画 • ぐにゃぐにゃのソフト屋です！ • ハードウェアわかる人って、すごい！（尊敬） • 趣味 • 昔は色々あった気がする、年々、無趣味に…？ フリスビー、テニス、剣道、映画、旅行、山歩き • 山歩きとかから、再開したい気分
- 6. 6 IoTの３要素 年間平均成長率 22% (2015-20) センサー 表示デバイス アクチュエータ 処理能力（CPU） 年間平均成長率 35.4% （2014-18） 2018年には2,000億ドル規模に 出典： 総務省、HTS Technology、 Cisco ネットワークモノ クラウド センサー 着目
- 7. 7 センサー市場 32% 22% 21% 13% 7% 3% 2% 光・電磁波 熱的・時間空間雰囲気 機械的・物理的 ケミカル・バイオ 生体 音波・磁気 その他 出典： 総務省 平成28年３月14日 「センサーネットワークの現状について」 419億個 2019年度 WW 5.5 兆円 2019年度 WW （2014年度比 34.4% 増加） 1.76兆円 カメラなど
- 8. 8 画像センサー市場 出典： International Business Strategies, Inc IBS on Image Sensor Market 2015 ２兆円 （$1=110円）
- 9. 9 カメラ台数 出典： This is What the History of Camera Sales Looks Like with Smartphones Included, 2015 https://petapixel.com/2015/04/09/this-is-what-the-history-of-camera-sales-looks-like-with-smartphones-included/ １.８億台？ あれ？かすれてる…出荷台数の歴史 直近１０年で 爆発的な伸び
- 10. 10 カメラ台数 出典： This is What the History of Camera Sales Looks Like with Smartphones Included, 2015 https://petapixel.com/2015/04/09/this-is-what-the-history-of-camera-sales-looks-like-with-smartphones-included/ ４億台？？ まだ途切れてる… 出荷台数の歴史
- 11. 11 カメラ台数 出典： This is What the History of Camera Sales Looks Like with Smartphones Included, 2015 https://petapixel.com/2015/04/09/this-is-what-the-history-of-camera-sales-looks-like-with-smartphones-included/ １２.８億台！！ 出荷台数の歴史 2014年 総人口（72億人）の17.7% なんで対数グラフにしなかったんだろう
- 13. 13 センサー市場 ✓ 価格の下落（大量生産の影響） ✓ 性能UPし応用拡大（高速シャッター、暗視、深度、4K） ✓ 映像解析の進歩（深層学習、GPU） ✓ 通信環境の改善をドライブ（LTE、Wifi） 映像センサーのユビキタス化によって
- 16. 16 映像データを “汎用センサー” の如く活用したソリューションへ 農業分野 Google Analytics の “リアル店舗 Ver” 老朽化インフラの診断 出典： RetailNext、日刊建設工業新聞、 東芝、LipNet、VASILY スポーツ分析 読唇術（LipNet） 着こなし分析
- 18. 18 映像解析 IoT プラットフォームの必要性 それじゃあ DIY してみます？ では、どうやって？ 画像：Pixabay
- 19. 19 映像解析 IoT プラットフォームの必要性 現在よくある、映像解析システムは？ 専用のカメラ 専用のカメラ管理ツール 専用の映像解析アルゴリズム 専用のBIツール 専用の運営組織 もっと気軽に映像活用したい！ それって人工衛星と同じ？ 毎度一から構築、高額必至 画像：JAXA
- 20. 20 映像解析 IoT プラットフォーム SCORER
- 21. 21 映像解析 IoT プラットフォーム SCORER カメラの管理システム（登録、削除、交換、モニタリング等） セキュアで安価な映像保管（暗号化、アクセス管理、S3クラウド） 即座に使える便利なパーツ（カメラ、解析端末、通信機器等） 開かれた解析アルゴリズム（レゴ的に組合わせ、ユーザ開発も可） 特長 映像解析システムを気楽に構築できます！
- 22. 22 カメラ ｜ 多様な光学系 ＆ 映像ソースの入力をサポート 低照度カメラ 赤外線カメラ 商用監視カメラ 夜間 / 暗い場所 屋内 スマートフォン イベント会場 AIカメラ PC・AV機器 望遠レンズ 遠距離 USB 2.0 FEBON168
- 24. 24 クラウドとエッジ ｜ 映像解析する“場所”を選べる エッジ 解析端末 オンプレミス 中間サーバ クラウド 映像解析 S3 バケッ ト 解析結果 映像 映像 映像 映像 保存 エッジで 映像解析 中間で 映像解析 クラウドで 映像解析 ニーズで選択 Dynamo DB NoSQL DB 保存 リソース制約 ⇨ 厳しい（特に電力） リアルタイム性 ⇨ 高い 通信状況 ⇨ 影響うけにくい リソース制約 ⇨ ゆるい リアルタイム性 ⇨ 低い 通信状況 ⇨ 影響うけやすい
- 25. 25 カメラ専用SIM（MVNO） VGA画質なら、カメラ３台以上のデータ（５００GB）を クラウドに送信可能 最大１TB 程度送信可能なため、フルHD画質も送信可能 既存SIMでは数十万円するデータ量を１桁低い価格で提供 920MHz 無線（サブギガ無線） 飛距離が長い920MHz無線による死活監視に利用 将来的に画像データの伝送にも対応予定 可視光無線デバイス（光無線） 有線LAN、無線が届かない所でも光通信でデータ通信が可能 100m程度の距離で10Mbpsで通信可能 今夏に100Mbpsにも対応予定 通信サービス 映像データは、これまでのセンサーデータに比べ、桁違いに大容量、かつ、アップロード偏重 その為、通信環境においてはそれなりに工夫が必要 指向性 Wifi 特定の方向に電波を飛ばす「指向性アンテナ」を利用 1km以上の距離でも、Wifi で通信が可能
- 26. 26 良い素材と、優れた調理で、美味しい料理を作る 高品位の映像入力 効果的な解析技術 価値の高いデータ ① 映像を取り込む ② 解析してデータ化 ③ データ分析して価値化 Webカメラ スマートフォン IPカメラ 映像機器 商用の映像解析 ライブラリ 映像解析／AI SaaS オープンソース BIツールへの接続 モノ、クラウド、ネットワーク
- 27. 27 IoTの３要素（再掲） 年間平均成長率 22% (2015-20) センサー 表示デバイス アクチュエータ 処理能力（CPU） 年間平均成長率 35.4% （2014-18） 2018年には2,000億ドル規模に 出典： 総務省、HTS Technology、 Cisco ネットワークモノ クラウド
- 29. SI・受託事業 PR・広告測定分野 ｜ ESASY by CREST 29 店舗設置案の提示 データの可視化 改善策の検討 店舗でのお客様の行動を、映像から可視化： 本部と店舗での認識・課題の共有、議論の共通言語を持つことが可能に Google アナリティクスを使うように、リアル店舗を最適化（広告、配置、人員シフト ... ,etc.）
- 30. 30 パスポートリーダー「パシャポート」 パシャ・ポートとは？ パシャ・ポートとは 卓上型パスポート読取 り端末になります。 1冊5秒程度でパスポー トの画像を撮影し、国 籍等を読取る事が可能 です。 特長 バックヤードのコピー 機で取得していたパス ポートのコピーを、受 付カウンター内で行う ことが可能です。 また、PMS等との連携 も可能です。 効率化 お客様をお待たせ しません 簡素化 事務を簡素化する ことが出来ます 見える化 宿泊システムと連 携し、一元管理 参考価格： 70,000円（税抜） 初期設定をした状態で出荷 稼働用ソフト（Java）を同梱 IT担当者様と相談の上、 PMSへのつなぎ込みも可
- 31. 東京大学との共同研究 ｜ HOMEASURE 31 不動産事業者向けに空き家の環境測定デバイスを共同で開発、実際の賃貸物件で実証テスト 教育学部で、千代田区・文京区の保育園の環境測定をしたいニーズ 週刊エコノミストにも掲載 照度センサ （明るさ） 加速度センサ （振動） においセンサ （におい） 温湿度センサ （温度, 湿度） マイク （騒音） カメラ （人通り）
- 32. 32 SI・受託事業 工場・製造工程分野 ｜ 工場内の動線解析 工場に小型カメラを設置し、作業員の動線などを確認することで、改善点を抽出する 現在、国内大手空調機器メーカーの工場にて試験運用中 動線解析やヒートマップなど、最適なアウトプットを共同研究 撮影動画サンプルイメージ ・・・ 無線 LAN 保存用NASルーター 解析 クライアント 解析 結果 技術提供アルゴリズム 開発者
- 33. SI・受託事業 タイヤ測定器 33 写真で撮影するだけで、タイヤの状態を把握 クラウドで管理出来るシステムを共同開発 これまでは手作業 タイヤの状態を把握することで、 タイヤ販売などの新たなビジネス機会を創出 測定器は SCORER エッジ解析端末を利用 筐体の基本的な設計からアルゴリズムまで 弊社にて担当 ソフトウェアに加え、光学的な知見でも貢献
- 34. 34 プール施設へ 60 台の監視カメラを導入、SCORER により、トータルコストを大幅削減 可視光無線を活用し、ネットワーク混雑を回避 可視光無線通信機プール内部 導入事例｜スパリゾートハワイアンズ
- 35. 35 2014年 2015年 2016年 1Q 2016年 2Q 2016年 3Q 2016年 4Q 2017年 1Q 2017年 2Q （注）暦年ベース 2014年2月 会社設立 2015年夏 現在の事業に転換 2015年9月 VCより資金調達 2015年10月 鈴木が参画 2016年1月 マーケティング・PR向け 「Esasy」サービス リリース 2016年4月 東大との共同研究開始 2016年7月 パスポートリーダー 「パシャポート」 リリース 2016年秋~冬 タイからのインターン 受け入れ 2016年10月 一般提供端末モデル リリース 2017年1月 SDK同梱端末を リリース 2017年1月 週刊東洋経済（東洋 経済）に掲載 2017年6月 スパハワイアンズ カメラシステム納入 2017年6月 ラズパイマガジン （日経BP）に寄稿 2017年2月 インターフェイス （CQ出版）に寄稿 2017年12月 週刊エコノミスト （毎日新聞）に掲載 2017年3月 第二回日本アントレプレナー大賞 ロボット部門大賞（澤田秀雄賞） 2017年2月 ベンチャードラフト会議 In 虎ノ門ヒルズ 最優秀賞 Future Standard これまでの軌跡
- 36. 苦労と工夫 36 ① クラウド ② エッジ解析端末 ③ ネットワーク
- 37. 37 ① クラウド ｜ 初期型でのサーバ構成 初期型は、案件ごとに EC2 サーバを立てました 万能サーバ： ファイルサーバ、解析サーバ、結果表示Webサーバ 結果： サーバのスケールアップでは、カメラ台数の追加についていけない 解析端末に、サーバの個別設定を打ち込む作業で、出荷作業が大変 カメラが盗難に合うと、同一サーバの他のカメラのデータにもリスクが及ぶ 高額の利用料、保守工数の増大（サーバと一緒に社員も出荷しちゃった様相） エッジ解析端末 EC2 Instance 案件A エッジ解析端末 EC2 Instance 案件B …（繰り返し）
- 38. 38 ① クラウド ｜ EC2 サーバから、サーバレス構成へ 結果： 無制限に増え続ける「モノ」を繋げられる！ これぞ IoT の真骨頂！ IoT の運用コストが大幅に安くなった！ サーバレスって最高ですね！ ネイティブで、マルチテナンシーを実現： ユーザ管理を AWS に任せた エッジ解析端末 案件A エッジ解析端末 案件B S3 Cloud Front API Gateway Cognito DynamoDBAWS IoT IOT MQTT Protocol Elastic Beanstalk AWS Security Token Service IOT Shadow Lambda users
- 39. 39 ① クラウド ｜ 端末のアクセス権限を閉じ込める 店舗にあるエッジ解析端末は盗難や、不正アクセスの踏み台にされるリスクあり どんな状況でも、出来る限り、クラウド、および、他の端末を守る ✓クラウドが端末に発行する証明書が クラウドのアクセス可能リソースを局所化 他カメラのデータ改ざんも不可 ✓クラウド側で証明書を無効化するだけで 該当端末の全アクセスを即遮断できる ✓MicroSD イメージに秘匿情報なし ✓クラウドと端末の通信経路は全て暗号化 AWS IoTエッジ解析端末 DynamoDB S3 Cognito ID, AccessKey Log Log Image Video サーバレスの枠組みで実現
- 41. 41 ② エッジ解析端末 様々なシングルボード・コンピュータ（SBC）を評価、映像解析に適したものを選定 Linux が動作すれば、様々な解析アルゴリズムの移植も楽に違いない コスパ大切、でも、ハードウェア性能も大切 e.g. CPU、H.264 ハード処理、搭載メモリ量 結果： SBC によっては、VPU 等のドライバーがない or ボロすぎる 起動はするが、OSが安定動作しない、古い OS しか動かない 電源抜いたら起動しなくなった（ファイルシステム壊れた） プロダクトをディスコンされた
- 42. 42 ② エッジ解析端末 コスパも良い Raspberry Pi3 が、ソフトウェアの安定度とサポートでもピカイチ！ 次点で Intel アーキテクチャの UP board が優秀 最近は Video Acceleration API (VA-API) で H.264 エンコも HW で処理可能
- 44. 44 ③ ネットワーク ｜ 不安定な環境を耐え抜く 最初の数ヶ月は、ネットワークのトラブル続出、ひたすらに、辛い… ✓ 日によって、つながりません ⇨ ユーザ提供のルータで DHCP アドレスレンジ不足 ✓ 通信が遅すぎます ⇨ 2.4GHz帯のWifi混雑による干渉 ✓ 端末が死んだみたいです ⇨ 動画アップロード中、死活データのアップ後回し ✓ 再起動したら、つながりません ⇨ フリー Wifi でログイン要求 ✓ 昼間はアップロードされません ⇨ 商業モールでのアップストリーム帯域不足 途中から、電源の不安定さも露呈 突然のフリーズ ⇨ 瞬間的な電圧低下、電源ノイズによる誤動作 メモリ・コラプション ⇨ ラズパイのメモリは、ECC 付きではありません
- 45. 45 ③ ネットワーク ｜ 数々の地道な対策 複数の通信手段から、ユーザ環境に併せて、最適なものをチョイス LTE、WiMAX、Wifi、有線LAN、可視光通信、、、 ,etc. 通信できるようになるまで、エッジ解析端末内でデータを保持し続ける（Slow Path） わずかな帯域でも、死活データ（２分毎のカメラ映像等）だけは 優先してアップロード 端末とクラウド間のハートビート ✓ MQTTコネクション情報 エッジ解析端末でのヘルスチェック強化、異常時には自動で再起動 ✓ WDTデバイス、独自のデータフローチェック サブギガヘルツ通信を活用した外部監視端末、リモート電源制御
- 46. 46 ③ ネットワーク ｜ 適切なタイミングにアップロード クラウドへのアップロードは、Fast Path と Slow Path の２系統を用意 通信できれば、素早くアップロード： Fast Path ダメなら後でまとめて効率的にアップロードし、クラウド側でマージ： Slow Path QoS 制御： たとえ通信が厳しくても、死活データだけはタイムリにアップしたい
- 49. 49 宣伝タイム！ Vol. 1 http://www.scorer.jp/ http://sdk.scorer.jp/ ※ 弊社HPでもURLご紹介しております。 MicroSDイメージ 無料 プリインストールセット 9,800円～ SCORER スターターキット ／ SDK
- 51. 51 長期保管オプションを開始！ 宣伝タイム！ Vol. 3 A社 B社 価格 ７日 / 台 無料 1,200円 最大 5,200円 1ヶ月 / 台 500円 2,000円 最大 16,980円 対応画質 HD / VGA / QVGA HD VGA アップロード帯域制限 無制限 500kbps〜1Mbps － リアルタイム表示 対応予定 ⚪ ⚪ SIMオプション ⚪ ⚪ なし 他の保存期間プラン 3ヶ月 / 半年 / 1年 14日 / 60日 / 9０日 3日 / 15日 業界最安級！ （弊社調べ） 【スターター／SDK】
- 52. 52 シリーズ B 総額 2.1億円 資金調達しました！ 絶賛採用中です！ 宣伝タイム！ Vol. 4
- 54. Appendix. 54
- 55. 55 会社名 株式会社フューチャースタンダード 設立 2014年3月 経営陣 代表取締役: 鳥海 哲史 住所 文京区本郷4-37-17 本郷トーセイビル6F 資本金 約3.4億円（資本準備金含む） 取引銀行 三井住友銀行 渋谷支店 みずほ銀行 虎ノ門支店 主要株主 経営陣・エンジェル投資家 インキュベイト・ファンド スパイラル・ベンチャーズ YJキャピタル テックアクセル・ベンチャーズ プライマル・キャピタル 基本情報 沿革 2014/3 • ネット試着の事業にて会社設立。 2015/6 • 現在のビジネスモデルに事業を転換 2015/9 • インキュベイト・ファンド、YJキャピタル等から 1.3億円の資金調達を実施（シリーズA） 2016/1 • サービス第一弾「Esasy」をローンチ 2016/4 • 東京大学 山崎研究室との画像解析分野における 共同研究開始を発表 2016/7 • 卓上パスポートリーダー「パシャ・ポート」をリ リース 2016/9 • タイPIMとの共同プロジェクト開始 2016/10 • 一般販売モデル発売。Azure対応。 2017/1 • SCORER SDKを公開 2017/5 • スパイラルベンチャーズ、テックアクセルベン チャーズ等から2.1億円の資金調達を実施（シリー ズB） 会社概要
Hinweis der Redaktion
- そして最終的には・・・・・・