1. Deep Visual-Semantic Alignments for Generating Image Descriptions
Andrej Karpathy Li Fei-Fei
201613036 LI ZHENYU (人間コース)
どんなもの
画像のデータセットとその文章の説明
言語間のモーダル間の対応について
ビジュアルデータ
先行研究と比べてどこがすごい
生成された記述が、フルイメージの検索
ベースラインを上回ります
技術や手法のキモはどこ
畳み込みニューラルネットワークの過剰画像領域、
文章の双方向反復ニューラルネットワーク、
に基づく。
どうやって有効だと検証した
イメージセンテンスアライメント評価
議論はある？
モデルは1つの入力ピクセル配列の記述を生成する
固定解像度。
次に読むべき論文
Green Internet of Things for Smart World
2. 先行研究と比べてどこがすごい？
議論はある？
次に読むべき論文は？
技術や手法のキモはどこ？
どうやって有効だと検証した？どんなもの？
Jean Lahoud, Bernard Ghanem
King Abdullah University of Science and Technology (KAUST)
Thuwal, Saudi Arabia
2D-Driven 3D Object Detection in RGB-D Images
RGB-Dカメラを用いた3次元的な物体認識手法
単一の画像で奥行きを測定して
立体的な物体認識を実現した
ICCV ‘17
他の2つの手法と比較し、3倍高速かつ良好な検出性能
を達成
RGB画像と奥行きの情報を与え、周りの物体と目標物
の境界の区別をパーセプトロンで学習
[9] S. Gupta, R. Girshick, P. Arbel´aez, and J. Malik. Learning
rich features from rgb-d images for object detection and segmentation.
In ECCV, pages 345–360. Springer, 2014.
[19] D. Lin, S. Fidler, and R. Urtasun. Holistic scene understanding
for 3d object detection with rgbd cameras. In ICCV,
pages 1417–1424, 2013.
[23] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You
only look once: Unified, real-time object detection. In
CVPR, pages 779–788, 2016.
[26] Z. Ren and E. B. Sudderth. Three-dimensional object detection
and layout prediction using clouds of oriented gradients.
CVPR, 2016.
[30] S. Song and J. Xiao. Sliding shapes for 3d object detection
in depth images. In ECCV, pages 634–651. Springer, 2014.
201711443_人間_加藤優一
3. 先行研究と比べてどこがすごい？
議論はある？
次に読むべき論文は？技術や手法のキモはどこ？
どうやって有効だと検証した？どんなもの？
Sliding Shapes for 3D Object Detection in Depth Images
Shuran Song and Jianxiong Xiao
RGB-D画像から一般的な3D物体を検出するアルゴリズム
RGBベースの検出とどのように結合し、
データから自動的に3D特徴を学習するか
オブジェクト検出、すなわちテクスチャ、照明、形状、視点、自
己閉塞、クラッタ、オクルージョンおよびセンサ雑音の変化の主
な制限を克服するためにデータ駆動方式で奥行き情報を利用
いくつかの物体について、複数の手法
と画像形式に分けて比較実験を行った
奥行きの検出器がRGBとRGBDの両方の画像に対して最先
端のアルゴリズムよりも大幅に優れていることを示した
201711443_人間_加藤優一
4. 先行研究と比べてどこがすごい？ 議論はある？
次に読むべき論文は？技術や手法のキモはどこ？
どうやって有効だと検証した？どんなもの？
Learning Rich Features from RGB-D Images for Object
Detection and Segmentation
Saurabh Gupta1 , Ross Girshick1 , Pablo Arbelaez 1;2 , and Jitendra Malik1
ECCV '14
RGB画像と奥行き情報を用いたRGB-D画像
のオブジェクト検出手法
37.3％の平均精度を達成、既存の
方法よりも56％相対的に改善した
RGB-D輪郭検出と2.5次元領域の提示、
畳み込みニューラルネットワークによる検出
物体検出精度を他の検出手法と比較し、
高精度であることを示した
201711443_人間_加藤優一
5. 先行研究と比べてどこがすごい？ 議論はある？
次に読むべき論文は？
技術や手法のキモはどこ？
どうやって有効だと検証した？どんなもの？
Holistic Scene Understanding for 3D Object Detection with RGBD cameras
Dahua Lin Sanja Fidler Raquel Urtasun
ICCV ‘13
RGBDデータを用いた屋内の物体の判断、認識
異なるソースからの情報を統合してキューボイドを分類す
る条件付きランダムフィールドを開発、シーン分類と3D物
体認識が結合され、確率論的推論によって解くことが可能
ハイレベルなNYU v2データセットに
対する有効性をテストした
他のソース（動画など）からの情報
を組み込むことで、パフォーマンス
をさらに向上させることができる
既存の方法よりも大幅な改善を示した
201711443_人間_加藤優一
6. 先行研究と比べてどこがすごい？ 議論はある？
次に読むべき論文は？
技術や手法のキモはどこ？
どうやって有効だと検証した？どんなもの？
You Only Look Once: Unified, Real-Time Object Detection
Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi
CVPR ‘16
先行研究とは異なるアプローチで高速なアーキテクチャを持ち、
判別に要する時間が極めて短い
1つの評価で完全な画像から直接境界ボックスおよびクラス
確率を予測するニューラルネットワーク
新しいドメインや予期しない入力に適用
すると分解しにくくなる、先端の検出シス
テムよりも精度がまだ劣っている
オブジェクト検出の新しいアプローチ
201711443_人間_加藤優一
8. Toward Multimodal Image-to-Image Translation - NIPS 2017
Jun-Yan Zhu UC Berkeley Trevor Darrell UC Berkeley Richard Zhang UC Berkeley Alexei A. Efros Oliver Wang Deepak Pathak UC Berkeley Eli Shechtman Adobe Research UC Berkeley Adobe Research
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
議論はある？
次に読むべき論文は？
画像の画風変換を1パターンではなく複数できる．
pix2pixでは生成時に与えるseedノイズを工夫しても
mode collapseしてしまったが，しなくなった．
cVAE-GANとcLR-GANをまとめた，BicycleGANというモデ
ル．
どうやって有効だと検証した？
edges → photos , Google maps → satellite, labels → images, and outdoor night → day images
の変換をpix2pix+noise, cAE-GAN, cVAE-GAN, cVAE-GAN++, cLR-GAN, BicycleGAN
でやってみた．Google maps → satellites でLPIPSという多様性を測るスコアを比較．
Amazon メカニカルタークで された率を比較．
多様性を測るLPIPSという指標のスコアは画像が不自然なときも
高くなる．
latentの次元は少なすぎるとmode collapseするが，多すぎると
より多くの情報量を持ってしまうため良くない．
• A. B. L. Larsen, S. K. Sønderby, H. Larochelle, and O. Winther.
Autoencoding beyond pixels using a learned similarity metric. In
ICML, 2016.
201611429 大曽根宏幸 #4 (人間コース) 1
9. Autoencoding beyond pixels using a learned similarity metric - ICML 2016
Anders Boesen Lindbo Larsen1 Søren Kaae Sønderby2 Hugo Larochelle3 Ole Winther1,2
1 Department for Applied Mathematics and Computer Science, Technical University of Denmark 2
Bioinformatics Centre, Department of Biology, University of Copenhagen, Denmark 3 Twitter, Cambridge,
MA, USA
どんなもの？
VAEとGANを組み合わせた．GANのdiscriminatorで
学習された特徴表現をVAEのobjectiveに使用できる．
201611429 大曽根宏幸 #4 (人間コース) 2
Vincent Dumoulin1
, Ishmael Belghazi1
, Ben Poole2
Olivier Mastropietro1
, Alex Lamb1
, Martin Arjovsky3
Aaron Courville1†
1
MILA, Université de Montréal, firstname.lastname@umontreal.ca.
2
Neural Dynamics and Computation Lab, Stanford, poole@cs.stanford.edu. 3
New York University, martinarjovsky@gmail.com.
†
CIFAR Fellow.
どんなもの？
xからGeneratorによって推論したzと，zから
Generatorによって推論したペア同士をDiscriminator
によって比べる．
ADVERSARIALLY LEARNED INFERENCE - ICLR 2017
10. InfoGAN: Interpretable Representation Learning by Information Maximizing
Generative Adversarial Nets - NIPS 2016
• X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, and P. Abbeel.
どんなもの？
教師なし学習で生成画像を制御できる
潜在変数と観察の間の相互情報量を最大化する
201611429 大曽根宏幸 #4 (人間コース) 3
• R. Zhang, J.-Y. Zhu, P. Isola, X. Geng, A. S. Lin, T. Yu, and A. A. Efros.
どんなもの？
白黒写真をリアルタイムで着色できる．ユーザーイン
プット型とデータドリブン型の着色手法の融合．
1. 疎な入力から全体を推測．
2. 適したカラーパレットをサジェスト．
3. 1分で良い着色ができるか実験．
4. unusualな着色も生成できる．
5.
Real-Time User-Guided Image Colorization with Learned Deep Priors - SIGGRAPH 2017
11. Image-to-Image Translation with Conditional Adversarial Networks - CVPR 2017
• P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros.
どんなもの？
pix2pix
画像と画像の変換をおこなう．
GeneratorにU-Net，PatchGANをDiscriminatorに
使用．
201611429 大曽根宏幸 #4 (人間コース) 4
12. D 1 8
52 0
D 5 C
D W N VN
W V 8 N 8
N C N
D D VN 5
R N 7
D 2 4 2 05 N
D 2 0
. .
13. 45 5
15 2 6 5 21
21 064 21
t b l I A
as o n R 7 C r I
A c
Vid
14. 0 1
2 1 5
17 5
sicVn S kl b mVI
4-- E OI sic n Por OV I
f e
7 54 1 7 2A 5 7 2 5 7 V p Rda C
15. 7
4 5 254
54 7254
1 54 20 7
de N R N M D1 R M f N
bI C A
f A
a c
17. 45 5
15 2 6 5 21
21 064 21
26 1 0
c as l n dA sl R
o t C r J I J
a s i u C 7
b
18. Graffiti Fur: Turning Your Carpet into a Computer Display
Yuta Sugiura1, Koki Toda1, Takayuki Hoshi2,Youichi Kamiyama1, Takeo Igarashi3 and Masahiko Inami1
どんなもの？
カーペットの毛の向きを変えて、
カーペットで絵を描くデバイス,UI
の開発
先行研究と比べてどこがすごい？
グレア効果を生じさせることがないディ
スプレイとして使用でき、維持には電力
を消費しない。
技術や手法のキモはどこ？
毛皮の向きで絵がかけるので、
AUFDで毛を押すことによっても
絵がかける。
議論はある？
位置のキャリブレーションを人が
やらなければならない。カーペッ
トによって性質が変わる。
次に読むべき論文
OmniTouch
どうやって有効だと検証した？
子供がいる６家族を招待して使い
心地などを聞いた。
UIST’14,
201611426 人間コース 岩崎里玖
19. OmniTouch: Wearable Multitouch Interaction
Everywhere
Chris Harrison1,2 Hrvoje Benko1 Andrew D. Wilson1
Uist’11
このデバイスを使用することでユーザーはあらゆる場
所をデバイスの表面として使用することができる。
デプスセンサーで投影先の形状を取得することによっ
て、クリックなどの動きを取得することができる。ス
マホよりも広い面に東映することで能力をより発揮す
る。
FoldMe: Interacting with Double-sided Foldable
Displays
Mohammadreza Khalilbeigi Roman Lissermann Wolfgang Kleine
Jürgen Steimle
TEI’12
自由に折りたためることができるデバイスの開発を行った。
折りたたむことによって、折りたたんだ背面の画面にもアク
セスすることができる。
201611426 人間コース 岩崎里玖
20. WorldKit: Rapid and Easy Creation of Ad-hoc
InteractiveApplications on Everyday Surfaces
Robert Xiao Chris Harrison Scott E. Hudson
CHI 2013
WorldKit システムはデプスカメラとプロジェクターを利用す
ることによって、様々な物体の表面をインターフェースとし
て使用することができる。あらゆるものをインターフェース
として使用できることによって、コンピューティングの即時
アクセスが可能となる。キャリブレーションなしで日常にお
ける様々なものをタッチディスプレイとして使うことができ
る。
PINOKY: A Ring That Animates Your Plush Toys
Yuta Sugiura1&2, Calista Lee1&2, Masayasu Ogata1&2, Anusha Withana1,
Yasutoshi Makino1, Daisuke Sakamoto2&3, Masahiko Inami1&2, Takeo Igarashi2&
CHI 2012
ぬいぐるみに腕輪を取り付けることによって、ぬいぐるみ
を外部から操作することのできるロボットにすることが
できる。ぬいぐるみを使うことによって、子供のストレス
を軽減させることができる。ぬいぐるみは日常において様々
な場所にあるため、このデバイスには応用性があると考え
ている。
201611426 人間コース 岩崎里玖
22. r s u
orgc h
u
r mo l i
t d
Z Y 2 - ,
JPRSCK PFCKJRV JM RIF C F LFMR SMEFP RCMEJMH CME
RPFCRLFMR NG LFMRCK IFCKRI EJ NPEFP
533 - 4
nu'
y ou t p
u4 0u p v
c s isf wpd
s m c tpd tsm
nu u t mo
sru u
u nf g t mo
t ao
CMNPCLJD RFPFN TJEFN JRI C JMHKF
DCLFPC
2C R .JKCRFPCK OCDF RFPFN GNP VMRIFRJD
0FGNDS
u ev u
io ie
g cpds
u s u
u t Y i
71 5 - B1 5 4-18 2# 41 . A 1 1 - 6 4- 1 7 2 5 4- 0 B185 75
28. Adding Force Feedback to Mixed Reality Experiences and Games using Electrical Muscle Stimulation - CHI2018
Pedro Lopes, Sijing You, Alexandra Ion and Patric Baudisch
(Hasso Plattner Institute)
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
議論はある？
次に読むべき論文は？
EMSによる力覚フィードバックを用いたMR体験とゲームを高めるモバイルシ
ステム。仮想オブジェクトだけでなく、小道具やアプライアンスなどの物理的
オブジェクトでも、ユーザーの手が自由に操作できるようにしながら、物理的
な力を加えることができる。
MRにおける触覚フィードバックの課題である，ユーザーが物理的なオブジェクトに触れら
れるように手を開放することを実現した。仮想オブジェクトだけでなく，物理オブジェク
トにも制約を与えることができる。ソフトウェアを更新するだけでデバイスのUIを変更で
きる。
HoloLensと医療用の電気刺激装置を使用。10本の電極を腕および肩に取り付けている。
電気刺激のパラメータの例を示した。ホロレンズのビジュアルトラッキングを用いてユーザ
の手の追跡をしている。Unity3DのEMSライブラリを提供している。
どうやって有効だと検証した？
現実感と楽しさを評価。EMSありとなし。3つのタスク。家具の配置タスク。パ
チンコ。バランスゲーム。12名の被験者。リアリティは3つのタスクについて有意
差あり。楽しさについては，家具とパチンコタスクについて有意差が出た。
無線の実装にはレイテンシがある。力覚フィードバックのみで，指先にテクスチャ
をレンダリングできない。誇張された触覚効果はMRでユーザーを錯覚させるのに
不十分。実世界の物理に基づいた触覚にすることを提案。
futurework:電極配置の単純化・自動化，身体姿勢や筋肉疲労の変化に対するシス
テムのロバスト性の向上、誘発随意筋と随意筋収縮を区別する制御ループの設計。
Lopes CHI17 Sodhi TOG13
Kim CHI16 Carter UIST13
Hettiarachchi CHI16
201611428 蛭子綾花 #4 (人間コース) 23
29. Providing Haptics to Walls & Heavy Objects in Virtual Reality by Means of Electrical Muscle - CHI2017
Abst
Introduction
Conclusion
仮想現実の壁やその他の重い物に触覚を与える。EMSによって物体を押したときの反作用力をユーザに与える。ユーザ調査参加者はさ
まざまなEMS効果を備えたオブジェクトとインタラクションした。反発とソフトデザインは「通過を妨げる」と「現実的」の観点で高
い評価を得た。2つ目の調査では，すべてのオブジェクトがEMS効果を提供するVR空間の探索によってアプローチの有効性を実証。
VRにおける現実感と没入感の次のステップとして，仮想世界の物性を伝えるために触覚をサポートすべき。軽量オブジェクトの触覚のシミュ
レートはかなり進歩してきたが，家具や壁などの重い物体に触覚を加えることは困難。シミュレートしたとしても，固有感覚システムが抵抗
の欠如をユーザに伝えてしまうので，物体を押し通そうとすると錯覚は失敗する。本研究では，本当にウェアラブルなフォーム・ファクタで
重いオブジェクトをレンダリングする方法を探る。
重い物体や静止した物体の触覚をEMSによって表現する新しいアプローチを紹介した。リアルウォーキングVR環境に適したウェア
ラブルフォーム・ファクタで実現した。今後の研究としてこのアプローチをARで探求する予定。ユーザの指先が物理的な物体や壁
に自由にふれることを可能としているので，この技術はARに適しているはずである。
201611428 蛭子綾花 #4 (人間コース)
24
Pedro Lopes, Sijing You, Lung-Pan Cheng, Sebastian Marwecki, and Patrick Baudisch
(Hasso Plattner Institute)
30. HapThimble: A Wearable Haptic Device towards Usable Virtual Touch Screen - CHI2016
Abst
Introduction
Conclusion
光学式シースルーHMDを使用するバーチャルタッチスクリーンが提案されているが，触覚フィードバックおよび物理的制約がないため，
ユーザーのパフォーマンスが低下する。この問題を解決するためのHapThimbleというウェアラブルハプティックデバイスを開発。ユー
ザの指先に様々なタイプの触覚フィードバックを提供し，力の浸透深度曲線に基づいて物理的なボタンを模倣する。
仮想タッチスクリーンの仮想表面は、物理的表面の2つの機能、すなわち触覚情報および物理的制約を実現することはできない。仮想スクリーンの場合、ユーザは、
クリックタスクを実行するときの状態遷移の表示のための視覚的知覚のみに依拠しなければならず、したがって、ユーザからのより大きな注意を必要とする。開
発したデバイスの実験では、ハプティック制約なしの触覚フィードバックが物理的制約以外の役割を果たしていること、さまざまなタイプの触覚フィードバックを
与えることができるかどうか、そしてユーザーがこれらのフィードバックのタイプを区別できるかどうかを調べた。
バーチャルタッチスクリーンとの直接接触インタラクションのための触覚的制約のない触覚フィードバックの利点を調査し、様々な
物理的ボタンをシミュレートするウェアラブル触覚デバイスが提案。 実験の結果に基づいて、仮想タッチスクリーンとの容易な相
互作用を可能にするコンパクトな着用可能な触覚装置を開発することを望む。 さらに、仮想タッチスクリーンとの新しい空間的相
互作用のための触覚フィードバックの研究の余地がある。
201611428 蛭子綾花 #4 (人間コース)
25
Hwan Kim, Minhwan Kim, and Woohun Lee
(Department of Industrial Design, KAIST)
31. Annexing Reality: Enabling Opportunistic Use of Everyday Objects as Tangible Proxies in Augmented - CHI2016
Abst
Introduction
Conclusion
触覚体験のオンデマンド生成は他のフィードバックに比べて遅れている。仮想オブジェクトのための最良の利用可能な触覚を提供するた
めに，ユーザーの現在の物理環境から機会的に物理オブジェクトを併合するシステムを提案。システムは、ユーザの周囲を連続的に走査
し、仮想物体に類似する物理物体を選択し、選択された物理物体に仮想モデルを重ね合わせて、視覚 - 触覚の不一致を低減する。
触覚出力を提供するための技術には様々な制限がある上に，タッチの感覚は限られている。仮想オブジェクトにふれることができない。仮想
オブジェクトを物理的に表現するために日常的なオブジェクトをしようするアプローチがあるが，仮想物体と同一の物理的なオブジェクトを
見つけることは非実用的。仮想物体と物理的な物体の不一致がユーザーの没入感に影響を及ぼす。
システムは、仮想物体に類似するユーザの周囲からの物理的な物体を動的に見つけ出し、それらを物理的に表現するためにそれを使
用する。調査によると、コンテンツ作成者は、仮想オブジェクトを日常的な物理的オブジェクトと日和見的にペアにして制御する拡
張現実感アプリケーションを設計するための有用なツールとして、Annexing Realityシステムを受け入れたことが明らかになった。
201611428 蛭子綾花 #4 (人間コース)
26
Anuruddha Hettiarachchi, Daniel Wigdor (Department of Computer Science Univ. of Toronto)
32. AIREAL: Interactive Tactile Experiences in Free Air - TOG2013
Abst
Introduction
Conclusion
AIREALは、ユーザーが物理的なデバイスを着用することなく、自由な空気中で効果的で表現力のある触感を提供する、新しい触覚技術
です。インタラクティブなコンピュータグラフィックスと組み合わせることで、ユーザーに仮想3Dオブジェクトを感じさせ、自由な空気
テクスチャを体験し、ジェスチャに対する触覚フィードバックを受け取ることができる。
コンピュータ拡張世界の欠けている部分の1つは、仮想オブジェクトの物理的な感覚がないこと。これまでは，仮想物体を感じるためには、ユーザは触覚デバイス
を備えたインタラクティブな面や物理的物体に触れなければならなかったり，手袋やベルト等のデバイスを装着する必要があった。ユーザに物理的なデバイスを
装着させることは、自然なユーザインタラクションを妨げ、触覚フィードバックを用いるアプリケーションの全範囲を制限する。環境内のユーザーまたはオブジェ
クトを計測することなく、豊富な触覚フィードバックをユーザーに提供するための代替アプローチを提案する。
仮想物体に結合された自由空間触覚の新しい技術であるAIREALを紹介した。アプリケーションの範囲はAIREALが可能にするエキ
サイティングな機会のいくつかと，未検討の未来のアプリケーションを示す。物理的環境の触覚的な増強は開かれていてエキサイティ
ングな研究開発の分野である。
201611428 蛭子綾花 #4 (人間コース)
27
Rajinder Sodhi, Ivan Poupyrev, Matthew Glisson, Ali Israr
(Disney Research, University of Illinois)
33. UltraHaptics: Multi-Point Mid-Air Haptic Feedback for Touch Surfaces - UIST2013
Abst
Introduction
Conclusion
超音波の集中を使用して，触覚フィードバックの離散点をディスプレイを介して手に直接投影するUltraHaptics。音響的に透明なディス
プレイの望ましい特性を調査し、システムが空中で複数の局部的なフィードバック点を生成できることを実証。異なる触覚特性を有する
フィードバック点がより小さい分離で同定され得ること、非接触地点の異なる振動周波数をトレーニングで区別することができる。
これまでの研究は，インタラクティブな面上で触覚フィードバックを再生成することに焦点を当てていた。表面に触れる前に触覚フィードバッ
クを受信することが有益となる状況があるが，これの提供を可能にするものはユーザーがデバイスを装着することを必要としていた。
UltraHapticsシステムはインタラクティブなサーフェスの上にハプティックフィードバックを提供し、ツール、アタッチメント、またはサーフェ
ス自体との接触を必要としない。
タッチ面上に多点で空中に存在する触覚フィードバックを提供する新しい方法を紹介した。技術的評価からフィードバックの個々の
点を人間の手の知覚識別値を超えるものにできることを実証した。40kHzの超音波に対してディスプレイ表面の望ましい特性を確立
した。ユーザー調査の結果，異なる触覚特性を有するフィードバック点がより小さい分離で区別できる。訓練によって異なる触覚特
性を識別できる。本システムによってもたらされた新しいインタラクションの可能性について検討した。
201611428 蛭子綾花 #4 (人間コース)
28
Tom Carter, Sue Ann Seah, Benjamin Long, Bruce Drinkwater, Sriram Subramanian
(Department of Computer Science1
and Department of Mechanical Engineering2
University of Bristol, UK)
34. HUMAN ACTION GENERATION WITH GENERATIVE ADVERSARIAL NETWORKS
Mohammad Ahangar Kiasari, Dennis Singh Moirangthem, Minho Lee
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモ
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
連続する一連の人間の行動を生成するための新しいアル
ゴリズムを探究する
GANにのみ基づいており、与えられたクラスラベルと初期
姿勢に条件付けられた特定のクラスの人間の動きを生成し、
可変クラスのランダムzで各クラスに異なるスタイルを生成
することができる、継ぎ目がない連続したモーション
オートエンコーダと条件付きGANを組み合わ
せたモデル
ベンチマークNTU RGB + Dデータセット(Shahroudy et
al., 2016)に基づいてモデルを評価
RNNを使用する既存のヒューマンアクション予測モデルとは異
なり、複数の連続的な人間の行動を生成するために、自動エン
コーダーと条件付きGANのフレームワークをエンドツーエンド
で提案、継ぎ目のない遷移を伴う一連の連続的な動作を生成
Barsoum et al., 2017
201511520 鈴木亮祐(人間コース) CVPR2018
35. HP-GAN: PROBABILISTIC 3D HUMAN MOTION PREDICTION VIA GAN
Emad Barsoum, John Kender, Zicheng Liu
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモ
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
HP-GANと呼ばれるこのモデルは、以前のポーズで条件付けら
れた将来の人間のポーズの確率密度関数を学習
確率的な動き予測のために深いニューラルネット
ワークを使用するのが初めて
改良されたWasserstein生成敵対ネットワーク
（WGAN-GP）[10]の修正バージョンを使用
トレーニングを安定させ、改善するために、GANの損失
に加えてスケルトンの物理に基づいたカスタム損失を追
加する
トレーニングループを続けると、すでに収束してからト
レーニングが分岐する可能性がある
I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and
A. C. Courville. Improved training of wasserstein gans.
CoRR, abs/1704.00028, 2017.
201511520 鈴木亮祐(人間コース) SVPR2017
37. DEEP REPRESENTATION LEARNING FOR HUMAN MOTION PREDICTION AND CLASSIFICATION
Judith Butepage, Michael J. Black, Danica Kragic, Hedvig Kjellstrom
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモ
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
モーションキャプチャデータの大量コーパスからジェネリック
表現を学習し、目に見えない新しい動きに一般化する人間の
モーションキャプチャデータの深い学習フレームワークを提案
少数の行動に限定されない、日々の人間の行動の長
期予測のための教師なし学習表現スキームを開発
DNN, CNN
モデルをCMU mocapデータセットの大部分でトレーニ
ングして、ジェネリック表現を生成
3つのモデル（対称、畳み込み、階層）のパフォーマンス
の違いは、パラメータの数と各ネットワークの構造に
よって影響を受ける可能性がある
] G. Alain and Y. Bengio. What regularized auto-
encoders learn from the data-generating distribution.
Journal of Machine Learning Research, 15(1):3563–
3593, 2014.201511520 鈴木亮祐(人間コース) CVPR2017
38. ON HUMAN MOTION PREDICTION USING RECURRENT NEURAL NETWORKS
Julieta Martinez , Michael J. Black , and Javier Romero
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモ
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
人間の動きに典型的に使用される標準RNNモデルに3つ
の変更を提案し、人間の動き予測に関する最先端の性能
を得る単純でスケーラブルなRNNアーキテクチャをもた
らす
以前の作業よりも優れた残差接続を備えたシーケン
シオシーケンスアーキテクチャを開発
人間の動きに典型的に使用される標準RNNモデ
ル
最先端の手法で使用されているアーキテクチャ、損失関
数、トレーニング手順を見て、最近のRNNの方法を分析
アクションラベルの形でネットワークに高度な監督を行
うとパフォーマンスは向上しますが、未監視のベースラ
インは非常に競争力がある
[Duan et al. 2016]
DeepLoco
201511520 鈴木亮祐(人間コース) CVPR2017
39. GENERATIVE ADVERSARIAL NETS
Ian J. Goodfellow , Jean Pouget-Abadie , Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair , Aaron Courville, Yoshua Bengio
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモ
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
敵対プロセスを介して生成モデルを推定するための新しいフ
レームワークを提案
多くの種類のモデルおよび最適化アルゴリズムに対
して特定のトレーニングアルゴリズムを生成するこ
とができる
adversarial nets
生成モデルが多層パーセプトロンにランダムノイズを渡
すことによってサンプルを生成し、識別モデルも多層
パーセプトロンである特殊なケースを探究
これらの研究の方向性が有用であることが示唆される、
敵対的モデリングフレームワークの実行可能性を実証
Bastien, F., Lamblin, P., Pascanu, R., Bergstra, J., Goodfellow, I. J.,
Bergeron, A., Bouchard, N., and Bengio, Y. (2012). Theano: new
features and speed improvements. Deep Learning and
Unsupervised Feature Learning NIPS 2012 Workshop.
201511520 鈴木亮祐(人間コース) NIPS2014
40. 2
PROCEDURALVORONOI FOAMS FOR ADDITIVE MANUFACTURING
TRANSACTIONS ON GRAPHICS 2017
e b p
P
p P P
P
10 -4 e b
pP
u pPch m
P 10 -4 1 1 o
s P 110P
P
P
t P
x
pPch m C
pP
xD
G 341 .- 10 51 2 0
dila
P
P
m # r
Jonas Zehnder, Espen Knoop, Moritz Bächer, and BernhardThomaszewski.
P
D
41. 3
# ## me h
o B lra B
Bt 2 1-
b i
Bd 5
- 2 0 s 4
44. Virtual Reality and Attitudes toward Tourism Destinations
Iis P. Tussyadiah, Dan Wang , Chenge (Helen) Jia
どんなもの？ どうやって有効だと判断したか
VRを用い、観光地の情報を見せることで、その
観光地に行きたくなるかどうかという態度の変化
を計測したもの。
先行研究との比較
VR体験がもたらす心理的な影響についての論文
は複数あるが、観光産業の新しいマーケティング
手法を提示できるという点では初の研究テーマ
技術や手法のキモ
事前にその観光地に行ったことがある・ない
VR体験の際のHMDの種類等の情報をあらかじめ
収集し、複数の評価方法で検討している点。
VRの評価方法として態度の変化という技術によっ
てもたらされる影響に着目している点
事前に被験者のVR体験の経験情報、今までの旅
行先の情報等の基本除法を収集。
ANOVAという評価によって被験者同士を比較。
先行研究による評価方法を用いたVR体験の没頭
感の計測等。複数の視点からの検証から考察。
議論はあるか
被験者の偏りが大きく、実験の考察として完全と
は言えない。より広い範囲で被験者を集め、実験
のデータを収集する必要がある。
次に読むべき論文
VR体験における心理実験に関する論文
VR体験の評価方法に関する論文
201611448 高倉 礼 #4 (人間コース)
Information and Communication Technologies in Tourism 2017
45. Virtual Shopping: Breakthrough in Marketing Research
Raymond R. Burke
VR上で(Not HMD)仮想的な買い物をおこなった場合と、被験者が実
際に買い物に行った際の購入する傾向の変化を評価したもの。
従来の市場と仮想空間での市場との差を具体的に提示したもの
201611448 高倉 礼 #4-1 (人間コース)
Elsevier Science 1996
画像なし
46. Creating virtual product experiences: The role of telepresence
LR Klein
商品の3Dオブジェクトを操作してもらい、実際に触ったときの状態と仮
想的に触ったときの状態とで購買意欲の変化を計測したもの。
201611448 高倉 礼 #4-2 (人間コース)
Journal of Interactive Marketing 2003
47. Depth of Presence in Virtual Environments
Mel Slater , Martin Usoh , Anthony Steed
VR体験が身体にどれくらいの影響をもたらしているのかを実験し、
また、「没頭している状態」「現実 色ない体験をしている状態」
を判定するためのデータを考察したもの。
201611448 高倉 礼 #4-3 (人間コース)
Presence 1994
48. Navigating Large-Scale Virtual Environments:
What Differences Occur Between Helmet-Mounted and Desk-Top Displays?
Roy A. Ruddle, Stephen J. Payne, Dylan M. Jones
HMDを用いたナビゲートと平面画面上だけのナビゲートで、どれく
らい仮想空間での目的地到達まで時間がかかるのかを計測したもの。
また、HMDの「見渡せる」特性がいかに効果的かを検証している。
201611448 高倉 礼 #4-4 (人間コース)
Presence 1999
49. A Conceptual Model of the Sense of Presence in Virtual Environments
KE Bystrom, W Barfield, C Hendrix
仮想環境における概念モデルの新しい提案。
仮想環境の体験者が「存在」している感覚をより強くするためにVR
空間上の要素をまとめ、それらの要素に対する効果的な表現方法を
提案したもの。
201611448 高倉 礼 #4-4 (人間コース)
Presence 1999
50. elopment of an EMG controlled hand exoskeleton for post-stroke rehabilitation
n
“ xh vdP y cw ~
n o il ge
m rp sn
BLCA E 1 A H B9 H GG E BCBG BC
GHE GE 8G CB CE EC H G A GG EB E 8C B G CB
%)(( %
t n oR
~ y n y 8 L ahW
n.2 v n y ge
k lsnR
lki ge n y.2 i y
w mugh n y sn
a n lk nsnm aho
( a aP a t nu m ah w
sno w
n
i wf b i5 B9C y % M% n ”
ae
4.0 , %(
51. FLIPPIN’ : Exploring a Paper-based Book UI Design
in a Public Space CHI ‘17
Koichi Yoshino, Koichi Obata, and Satoru Tokuhisa
どんなもの？
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
どうやって有効だと検証した？
議論はある？
次に読むべき論文は？
多くの人に使ってもらうこと，読みやすさなどが向上し
た．
Bookisheet: Bendable device for browsing
content using the metaphor of leafing through
the pages
201713110 齋藤圭汰 #4 (人間コース)
公共スペースでの情報提示のユーザビリティを
本型UIによって改善する．また，デザインガイ
ドラインを提案する．
タッチパネルUIなどと比べると，誰でも簡単に
扱える．
情報提示に本型UIを用いること．
同じコンテンツを含むタッチパネルUIを使用し
てもらい比較した．
52. Bookisheet: Bendable device for browsing content using the metaphor of leafing through the pages
UbiComp 2008
Jun-ichiro Watanabe, Arito Mochizuki, and Youichi Horry
201713110 齋藤圭汰 #4 (人間コース)
2枚のプラスチック版と曲げセンサおよびLDRによって，ページをめくる動作を再現し，デジタルコ
ンテンツを操作する．曲げることが可能なディスプレイに使用できる．
53. PaperID: A Technique for Drawing Functional Battery-Free Wireless Interfaces on Paper
CHI ‘16
Hanchuan Li, Eric Brockmeyer, Elizabeth J. Carter, Josh Fromm, Scott E. Hudson, Shwetak N. Patel, and Alanson Sample
201713110 齋藤圭汰 #4 (人間コース)
バッテリーフリーのRFIDタグによって紙をインプットデバイスに変える研究．センシングおよび信
号処理技術によってタグがどのように操作されたかを認識する．このタグは印刷，トレース，手に
よって描くことが可能．
54. QOOK: a new physical-virtual coupling experience for active reading
UIST ‘13
Yuhang Zhao, Yongqiang Qin, Yang Liu, Siqi Liu, and Yuanchun Shi
201713110 齋藤圭汰 #4 (人間コース)
QOOKはインタラクティブリーディングシステムである．物理的な本と電子的な本の利点を併合す
る．このシステムは何もないページに，プロジェクタを用いてデジタルコンテンツを映し出す．
55. The mixed reality book: a new multimedia reading experience
CHI EA ‘07
Raphael Grasset, Andreas Duenser, Hartmut Seichter, and Mark Billinghurst
201713110 齋藤圭汰 #4 (人間コース)
様々なメディアを併合させ，デジタル的に強化した本の提案．本の形を保ったまま，視
覚的，聴覚的に強化する．コンピュータビジョンを用いたトラッキングによって実現し
た．
56. SequenceBook: interactive paper book capable of changing the storylines by shuffling pages
CHI EA ‘10
Hiroki Yamada
201713110 齋藤圭汰 #4 (人間コース)
インタラクティブな写真本システムの提案．これはICタグとそれぞれのページにRFIDアンテナが組
み込まれた紙の本である．ユーザはストーリーラインを好きなように変えることが可能である．
57. Deep Video Portraits
HYEONGWOO KIM, PABLO GARRIDO,AYUSH TEWARI, WEIPENG XU,JUSTUS THIES, MATTHIAS
NIESSNER,PATRICK PÉREZ,CHRISTIAN RICHARDT,MICHAEL ZOLLHÖFER,CHRISTIAN THEOBALT
どんなもの？ どうやって有効だと検証した？
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
議論はある？
次に読むべき論文は？
201813564 土屋優馬 #4 (仏コース)
SIGGRAPH 2018
機械学習を用いて，ソースビデオの人物(顔)から
ターゲットビデオの人物(顔)へ転送し，3Dアニメー
ションを再構築する手法の提案
これまでの手法では，顔の表情の制御しかできな
かったが，これはフル3Dで頭部姿勢，表情，視線や
瞬きを制御する事ができる．
制度を向上させるために敵対生成学習の
cGAN(conditional generative adversarial network)を用い
ている．
3つの異なる動画での質の検証と，大規模なWeb上
でのユーザスタディを行い，生成された動画がリア
ルであるという意見が多かった．
胴体や髪の毛の動き，背景を制御できない．
Thies et al. 2016
Karras et al. 2018
Wang et al. 2017
58. Instant noodles as a major cause of pediatric burns
どんな内容？
小さいころ多くの人が経験する火傷という
傷害。最も多いやけどの原因はインスタン
トラーメンによるものだった。
どうやって分析した？
2012年1月から2016年10月にかけて阿蘇飯
塚病院の皮膚科に火傷が原因でやってきた
15歳以下の患者のうち両親から実験の参加
と実験結果の公表の同意が得られた子供の
データを分析。
わかったこと
子供の火傷を防ぐために子供たちの手の届く位置
にインスタントラーメンを置かないようにするな
ど親が子供を監視するのは有効。
分析結果
沸騰水を飲むことによる火傷、ホットドリンク・
スープによる火傷よりインスタントラーメンによ
る火傷の割合のほうが多いこと。
次に読むべき論文は？
インスタントラーメンが体に与える影響に関する
論文を探したい！
201611432 岡部理紗子 （仏コース）
引用元： https://www.derm-sinica.com/article/S1027-8117(17)30303-8/pdf
59. Modeling Vellus Facial Hair from Asperity Scattering Silhouettes
Chloe LeGendre Loc Hyunh Shanhe Wang Paul Debevec SIGGRAPH17
201511561 松野瑞生 (仏コース)
どんなもの？
シルエットに沿って散在している凹凸を観察
することで、顔の産毛をモデリングする
先行研究と比べてどこがすごい？
モデリングされた産毛を3Dの顔のスキャン
に加え、新しい照明下でレンダリングを生成
し、それは実際の写真の外観と一致する
技術や手法のキモはどこ？
頭の2m後ろに明るい白熱スポットライトをおいて、
1.5m離れて180mmマクロレンズのCanon 1DX Mark
II DSLRカメラで顔を撮影したところ
どうやって有効だと検証した？
この手法を使用して、スキャンの顔と首
に104,752本の毛髪を作り、Arnoldでいく
つかのレンダリングを行った
議論はある？
実験では産毛の量が写真よりも多く生成
したが、全体的な長さ、向き、および局所
的な変動性はよく一致していた
次に読むべき論文は？
Jan Koenderink and Sylvia Pont. 2003.
The Secret of Velvety Skin. Mach. Vision
Appl.14, 4 (Sept. 2003), 260–268.
60. Comicolorization: Semi-Automatic Manga Colorization
Chie Furusawa, Kazuyuki Hiroshiba, Keisuke Ogaki, Yuri Odagiri
どんなもの？
次に読むべき論文は？
先行研究と比べてどこがすごい？
技術や手法のキモはどこ？
議論はある？
どうやって有効だと検証した？
マンガのタイトル全体を半自動的にカラー化する手法
201813559 池畑 開斗 #4 (仏コース)
入力画像とは別に参考画像の色特徴を用いる。
キャラクター名を使用したクラス分類を学習する。
実際にマンガをカラー化し、同じキャラクターが同じ色で着色さ
れていることを確認した。
SIGGRAPH Asia 2017
マンガのタイトル全体をカラー化すると、同じキャラクターでも
コマごとで色が異なってしまう問題を解決した。
ひとつのパネルに複数のキャラクターがいる場合、カラー化に失
敗する場合がある。
Iizuka et al. Let there be Color!: Joint End-to-end Learning of
Global and Local Image Priors for Automatic Image Colorization
with Simultaneous Classification[2016]
61. - - -
#, 7 2 7 4 7C 1 6 -7A 7 1 7H7AA #, 7 7
H C 7A C 7 C 0 7
oaicK
La n M u c
a n X
n X
ct d K
Z YK
d K
b hgT dK
( ) M
ru n c v
My ke n h
n U
r u n
al a s c
n X S T
c dK
S a n
T
yM c c l f a c
c b t Mn X R
Understanding and improving the realism of
image com- posites
62. 人間 201611451 都築陵佑
Rapid Interactive Real-time Application Prototyping for Media Arts and Stage Performance
SIGGRAPH ASIA 2015
Miao Song、Serguei A. Mokhov、Sudhir P. Mudur、Peter Grogono
概要
インタラクティブなグラフィカルアプリケーションの高速プロトタイピング(のコース?)
SIGGRAPH ASIA でデモを実演し、そのデモの製作過程を記録した
何をやった?
デジタルメディア制作における高速プロトタイプの処理のために OpenGL に接続された Kinect、Wii、iDevices などのセンサ/コントローラを
使用した。
統合マルチデバイスのやりとりの詳細に焦点をあてて、受講生に OpenGL を使用したテクスチャやビデオを作成し、リアルタイムで処理させ
る。
何を使った?
ILLIMITABLE SPACE SYSTEM(ISS)
対応するイメージマッピングと複数の入力デバイスによる音声やジェスチャなどの入力に基づいて視覚効果や音楽の視覚化を作成するため
に使用されるソフトウェア
63. .34
3 JRON FRRF MJSI NE 7JDI FL 8FGG
B C E
V R
E
B
a
a
G DF SO G DF 1 1 n e Y
yr FMCOE V Ypdr
NOAFMCOE m
e ji rms
hc Yr s e r
Y _ rms n
r vl di
p f d
gV1 1 FMCOE NOAFMCOE
b r gi
-89 - S m _ ti
Yr _ ji h so d
la r
FP SMFNS OG 0NF HU -ET NDFE FRF DI
O FDSR -HFNDU 0NF HU - - 0
1-. 47460 - 0- -8.0 9 . 0- 0 080 2
- 482 1-.0
) ( ,
64. ClothCap: Seamless 4D Clothing Capture and Retargeting
服を着た人物から4Dスキャンによって衣服と動き
を捉えて, 服のみを抽出し, 新しい体型に調整する技
術. バーチャル試着などに応用する.
どんなもの?
先行研究と比べてどこがすごい?
技術や手法のキモはどこ?
どうやって有効だと検証した?
議論はある?
次に読むべき論文は?
新しいマルチクロス3Dモデルを使用して, 衣服の各
部分を自動的に分割し, 身体の最小限の形状を推定
し, 衣服の3D変形を追跡できる
マルチクロス3Dモデル
走る, ジャンプするなどの動作をする被写体を撮影
した. ジーンズ, Tシャツなど様々な衣服を着て検証
した.
実用化に向けて, 襟, 袖口, ボタンなどの複雑な形状
をもつ衣服のモデリングが必要. また, ネクタイやス
カートのような体型に必ずしも関係ないような衣服
のモデル化も必要.
Federica Bogo, Javier Romero, Gerard Pons-Moll, and
Michael J. Black. 2017. Dynamic FAUST: Registering
Human Bodies in Motion. In IEEE Conf. on Computer
Vision and Pattern Recognition (CVPR).
201511458 長谷川陽平 仏コース
GERARD PONS-MOLL, SERGI PUJADES, SONNY HU, MICHAEL J. BLACK
71. どんなもの？ どうやって検証した？
先行研究と比べて
技術のキモは？
議論
次に読む論文
伊藤
Spec2Fab: A Reducer-Tuner Model for Translating
Specifications to 3D Prints
複数素材を用いた3Dプリントの際に，
アルゴリズムの設計，開発，実装などを
簡単にするための抽象化メカニズム
特定の目的に対する計算機処理はあったが，
causticsや影，物体の形状変形など，目的のオ
ブジェクトを得るための計算機処理を簡単にす
るためのフレームワークの提案はなかった
いくつかの変換プロセスを実装した
(causticsとそれを生成するオブジェクト，
特定の変形挙動をもつオブジェクトなど)
!7
学会名
![先行研究と比べてどこがすごい？
議論はある？
次に読むべき論文は？
技術や手法のキモはどこ？
どうやって有効だと検証した？どんなもの？
Jean Lahoud, Bernard Ghanem
King Abdullah University of Science and Technology (KAUST)
Thuwal, Saudi Arabia
2D-Driven 3D Object Detection in RGB-D Images
RGB-Dカメラを用いた3次元的な物体認識手法
単一の画像で奥行きを測定して
立体的な物体認識を実現した
ICCV ‘17
他の2つの手法と比較し、3倍高速かつ良好な検出性能
を達成
RGB画像と奥行きの情報を与え、周りの物体と目標物
の境界の区別をパーセプトロンで学習
[9] S. Gupta, R. Girshick, P. Arbel´aez, and J. Malik. Learning
rich features from rgb-d images for object detection and segmentation.
In ECCV, pages 345–360. Springer, 2014.
[19] D. Lin, S. Fidler, and R. Urtasun. Holistic scene understanding
for 3d object detection with rgbd cameras. In ICCV,
pages 1417–1424, 2013.
[23] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You
only look once: Unified, real-time object detection. In
CVPR, pages 779–788, 2016.
[26] Z. Ren and E. B. Sudderth. Three-dimensional object detection
and layout prediction using clouds of oriented gradients.
CVPR, 2016.
[30] S. Song and J. Xiao. Sliding shapes for 3d object detection
in depth images. In ECCV, pages 634–651. Springer, 2014.
201711443_人間_加藤優一](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)