Suche senden
Hochladen
0727 cvpr16 asp_vision_upload
•
Als PPTX, PDF herunterladen
•
7 gefällt mir
•
1,709 views
Hajime Mihara
Folgen
関東CV勉強会 CVPR16読み会の資料
Weniger lesen
Mehr lesen
Ingenieurwesen
Melden
Teilen
Melden
Teilen
1 von 27
Jetzt herunterladen
Empfohlen
0611_light field_cam_for_upload
0611_light field_cam_for_upload
Hajime Mihara
mihara_iccp16_presentation
mihara_iccp16_presentation
Hajime Mihara
La santé
La santé
johalexnfa
高専の今
高専の今
Hagihara Ryosuke
津山市オープンデータの活用 ー「津山市財政見守り隊」の作成と津山市オープンデータの課題と展望ー
津山市オープンデータの活用 ー「津山市財政見守り隊」の作成と津山市オープンデータの課題と展望ー
Hagihara Ryosuke
高専・大学での過ごし方(高専カンファ茨香祭)
高専・大学での過ごし方(高専カンファ茨香祭)
ShotaSatuma
Htmlslicemate Review
Htmlslicemate Review
Html SliceMate
Creating a Professional LinkedIn Profile
Creating a Professional LinkedIn Profile
Sophia Park
Empfohlen
0611_light field_cam_for_upload
0611_light field_cam_for_upload
Hajime Mihara
mihara_iccp16_presentation
mihara_iccp16_presentation
Hajime Mihara
La santé
La santé
johalexnfa
高専の今
高専の今
Hagihara Ryosuke
津山市オープンデータの活用 ー「津山市財政見守り隊」の作成と津山市オープンデータの課題と展望ー
津山市オープンデータの活用 ー「津山市財政見守り隊」の作成と津山市オープンデータの課題と展望ー
Hagihara Ryosuke
高専・大学での過ごし方(高専カンファ茨香祭)
高専・大学での過ごし方(高専カンファ茨香祭)
ShotaSatuma
Htmlslicemate Review
Htmlslicemate Review
Html SliceMate
Creating a Professional LinkedIn Profile
Creating a Professional LinkedIn Profile
Sophia Park
Digipak so far
Digipak so far
charliemead
Internal vs. External CEOs
Internal vs. External CEOs
Stanford GSB Corporate Governance Research Initiative
Um ato amoroso
Um ato amoroso
thamiresaneves
C++1z draft
C++1z draft
Akira Takahashi
ownCloud のあれこれ July Tech Festa 2016
ownCloud のあれこれ July Tech Festa 2016
Tetsurou Yano
1. Notre Plateforme De Planning StratéGique Interactif
1. Notre Plateforme De Planning StratéGique Interactif
nous sommes vivants
Using Sketch in Your Workflow – From Idea to Finished Product
Using Sketch in Your Workflow – From Idea to Finished Product
Brian Louis Ramirez
Arquitectura y urbanismo inca
Arquitectura y urbanismo inca
Gusstock Concha Flores
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行
Yoshitaka Kawashima
Juliaで前処理
Juliaで前処理
weda654
Dataset for Semantic Urban Scene Understanding
Dataset for Semantic Urban Scene Understanding
Yosuke Shinya
Exploratory user research (How to figure out what to test)
Exploratory user research (How to figure out what to test)
Dhyana Scarano
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
Jeph Maystruck
大学編入試験体験記 @進路報告会
大学編入試験体験記 @進路報告会
Kentaro Tsuji
Weitere ähnliche Inhalte
Andere mochten auch
Digipak so far
Digipak so far
charliemead
Internal vs. External CEOs
Internal vs. External CEOs
Stanford GSB Corporate Governance Research Initiative
Um ato amoroso
Um ato amoroso
thamiresaneves
C++1z draft
C++1z draft
Akira Takahashi
ownCloud のあれこれ July Tech Festa 2016
ownCloud のあれこれ July Tech Festa 2016
Tetsurou Yano
1. Notre Plateforme De Planning StratéGique Interactif
1. Notre Plateforme De Planning StratéGique Interactif
nous sommes vivants
Using Sketch in Your Workflow – From Idea to Finished Product
Using Sketch in Your Workflow – From Idea to Finished Product
Brian Louis Ramirez
Arquitectura y urbanismo inca
Arquitectura y urbanismo inca
Gusstock Concha Flores
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行
Yoshitaka Kawashima
Juliaで前処理
Juliaで前処理
weda654
Dataset for Semantic Urban Scene Understanding
Dataset for Semantic Urban Scene Understanding
Yosuke Shinya
Exploratory user research (How to figure out what to test)
Exploratory user research (How to figure out what to test)
Dhyana Scarano
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
Jeph Maystruck
大学編入試験体験記 @進路報告会
大学編入試験体験記 @進路報告会
Kentaro Tsuji
Andere mochten auch
(15)
Digipak so far
Digipak so far
Internal vs. External CEOs
Internal vs. External CEOs
Um ato amoroso
Um ato amoroso
C++1z draft
C++1z draft
ownCloud のあれこれ July Tech Festa 2016
ownCloud のあれこれ July Tech Festa 2016
1. Notre Plateforme De Planning StratéGique Interactif
1. Notre Plateforme De Planning StratéGique Interactif
Using Sketch in Your Workflow – From Idea to Finished Product
Using Sketch in Your Workflow – From Idea to Finished Product
Arquitectura y urbanismo inca
Arquitectura y urbanismo inca
JobStreamerではじめるJavaBatchのクラウド分散実行
JobStreamerではじめるJavaBatchのクラウド分散実行
Juliaで前処理
Juliaで前処理
Dataset for Semantic Urban Scene Understanding
Dataset for Semantic Urban Scene Understanding
Exploratory user research (How to figure out what to test)
Exploratory user research (How to figure out what to test)
生成モデルの Deep Learning
生成モデルの Deep Learning
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
What Will Your Legacy Be SIIT? Social Media Strategy in 2016
大学編入試験体験記 @進路報告会
大学編入試験体験記 @進路報告会
0727 cvpr16 asp_vision_upload
1.
ASP Vision: Optically Computing
the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels #cvsaisentan CVPR 16読み会 @mhr380 1
2.
2 本日のメニュー
3.
ASP Vision: Optically Computing
the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels 3 Huaijin (George) Chen*, Suren Jayasuriya*, Jiyue Yang, Judy Stephen, Sriram Sivaramakrishnan, Ashok Veeraraghavan, Alyosha Molnar (* = joint first authors) In CVPR 2016 (Oral Presentation) Presenter: Hajime Mihara (@mhr380)
4.
どんな論文? 4
5.
どんな論文? 5 アッCNNだ!
6.
どんな論文? 6 アッ…?
7.
どんな論文? 7 アッ…? ASP Vision: Optically
Computing the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels
8.
どんな論文? 8 アッ…? ASP Vision: Optically
Computing the First Layer of Convolutional Neural Networks using Angle Sensitive Pixels Optically Computing the First Layer of Convolutional Neural Networks 「光学的にCNNの第1層を計算する」!?
9.
ざっくり言うと: 背景 • 画像からの一般物体認識タスクに「画像」は本当に必要? •
現在のカメラは、人が鑑賞・認識できる画像を出力 • CVのタスクに最適化された装置ではないよね • コンピュータが理解しやすいデータを出力するカメラって? 9
10.
ざっくり言うと: 提案手法 • センサ出力が画像ではなく、ガボールフィルタをかけた画像に なるようなCMOSイメージセンサを提案 •
CMOSセンサのピクセル上に、様々な回折格子を設置すること により実現 10
11.
ざっくり言うと: 結果 • CNNによる一般物体認識タスクにおいて •
画像を入力し、ガボールフィルタをかけた画像を入力した場合と、 作成したCMOSの信号を入力した場合で、認識性能は変わらなかった • しかし、計算機上での1層目の演算を省略、 センサの電力を90%削減、センサ-CPU間の通信帯域を1/10に 11
12.
どんな人たち? • Huaijin (George)
Chen* • Suren Jayasuriya* • Jiyue Yang • Judy Stephen • Sriram Sivaramakrishnan • Ashok Veeraraghavan • Alyosha Molnar 12 • Assistant Prof. (PI) @ Rice Univ. • Computational Photography分野では 著名な研究者 • Last Nameの発音が難解 (Computational Photography界隈あるある) • 博士課程学生@Rice Univ. • Google Scholarには、この論文と CVPR ’15の論文の計2本が登録 http://hc25.web.rice.edu/ http://www.ece.rice.edu/~av21/
13.
どんな人たち? • Huaijin (George)
Chen* • Suren Jayasuriya* • Jiyue Yang • Judy Stephen • Sriram Sivaramakrishnan • Ashok Veeraraghavan • Alyosha Molnar 13 • cornell Univ. でイメージセンサを研究するグループ。 • 応用先として、Computational Imagingにも取り組み、 近年はCV/CP分野にも進出 (ICCP2014にMITのR. Raskarらとの共著論文あり) http://molnargroup.ece.cornell.edu/
14.
14 内容
15.
Angle Sensitive Pixels
(ASP) 1/5 • cornell Univ. のMolnar Groupが開発した 光の入射角度により、信号強度が変化するCMOSセンサ • 初出は2012年、IEEE Journal of Solid-state Circuitsにて 15 *A. Wang. et al., “A Light-Field Image Sensor in 180 nm CMOS”, IEEE Journal of Solid-state Circuits, Vol. 47, No. 1, Jan. 2012.
16.
Angle Sensitive Pixels
(ASP) 2/5 • ASPは、ピクセル表面に回折格子を設置することにより実現 • 回折(diffraction)ってなんだっけ? • 媒質中を伝わる波に対し障害物が存在するとき、波がその背後など、 幾何学的には到達できない領域に回り込んで伝わっていく現象 (Wikipedia「回折」) 16 http://cweb.canon.jp/eos/special/dlo/factor/img/img-03-01.gif
17.
Angle Sensitive Pixels
(ASP) 3/5 • 回折格子ってなんだっけ? • 英語では回折格子のことを(diffraction) gratingと言うらしい • 多数のスリットを並べ、回折を起こすような素子 波の干渉が生じるため、強め合ったり弱めあったりする(干渉縞) • 縞の位置は波長依存性があるため、白色光を分光するために利用 (この論文ではあまり使わない) 17 (左図)http://www.shimadzu.co.jp/products/opt/guide/index.html (右図)Wikipedia「回折格子」
18.
Angle Sensitive Pixels
(ASP) 4/5 • ASPで重要となる現象:Talbot回折 18 回折格子x2 波長λの光(平面波) 格子下方の位置 2・n・d / λ に回折格子の自己像が形成間隔d
19.
Angle Sensitive Pixels
(ASP) 4/5 • ASPで重要となる現象:Talbot回折 19 この効果により、インパルス応答が ガボールフィルタのようになる 回折格子x2 波長λの光(平面波) 格子下方の位置 2・n・d / λ に回折格子の自己像が形成間隔d
20.
Angle Sensitive Pixels
(ASP) 5/5 • 実装とインパルス応答の例 20 角度や空間周波数の異なる 様々な回折格子パターンを配置
21.
カメラとセンサのプロトタイプ 21
22.
電力・通信帯域削減 1/2 • 電力 •
CMOS内のAD変換をめっちゃ最適化したというお話 • 顕著にエッジが立っている画素を検出し、その周辺だけ AD変換を行う • (なぜこんなことが可能なのかはわかりませんでした…) • (そもそもCMOSセンサって列ごとに動作するのでは…?) 22 pp.906
23.
電力・通信帯域削減 2/2 • 通信帯域 •
送りたいのは、ガボールフィルタをかけたあとの画像 • こちらもめっちゃ最適化したという話 • 非ゼロ要素のみ送信 • ランレングスで圧縮 23
24.
実験 • 従来のCNNと、提案するASPを用いたシステムで 認識の精度が変わらないことを示す • データセットはMNIST,
CIFAR-10/100, PF-83を用意 • 比較手法として、VGG-M-128, NiN, LeNetを用意 • 提案手法の2層目以降は、比較手法と同一のネットワーク構造 24
25.
実験 25 • 結果 精度はあまり変わらない(ポジティブな意味で)
26.
センサの解析 • ソニー製スマートフォン用イメージセンサとの 電力・通信帯域の比較 26 単位面積あたりのエネルギ消費が 340 :
33 (単位略) 電力消費を90%抑えた 384x384x8bitで 圧縮率は10:1に
27.
まとめ • Angle Sensitive
Pixels (ASP)とCNNを組み合わせて Visual recognition用のシステムを構築した • 認識精度を下げずに、エネルギ効率や圧縮効率を向上させた 27
Jetzt herunterladen