【地域ICT先端技術セミナー】 ● 日時：平成３０年３月２９日（木）13:30 ～ 17:00 ● 会場：新潟大学駅南キャンパスときめいと

1. 伝統的工芸品の世界販
売戦略を支援するための
バーチャルショウケース
～ テクスチャ・ツール ～
村松正吾（新潟大）
Special thanks to 柏森翔太，陳 智雨，石井雅基，中野永人，大竹加廉
総務省戦略的情報通信研究開発推進事業

2. 講演概要
 テクスチャ・ツールの課題と目的
 単一画像超解像
 テクスチャ・パラメータ分析
 DCGANテクスチャ合成
 BRDF圧縮センシング
 研究成果とまとめ
2018/3/29 ICT地域 先端技術セミナー 2

3. はじめに
課題と目的，概要
地域 先端技術セミナーICT 32018/3/29

4. テクスチャ・ツールの課題と目的
2018/3/29 ICT地域 先端技術セミナー 4
拡大表示に耐えられる
高品質なCGテクスチャ合成
多様なテクスチャに対応できる
柔軟なCGテクスチャ合成
バーチャル・ショウケース(VSC)の要求に応える
伝統的工芸品のCGテクスチャ合成法を提案

5. テクスチャ・ツールの概要
2018/3/29 ICT地域 先端技術セミナー 5
教師データ
テクスチャ
合成
3D CG合成
システム
テクスチャ
学習
テクスチャ辞書
CG合成
形状情報
環境情報
実データ
設定情報
合成パラメータ
高品質なテクスチャを合成

6. テクスチャ・ツール提案の変遷
地域 先端技術セミナーICT 62018/3/29
単一画像超解像(SISR) テクスチャ・パラメータ分析
DCGANテクスチャ合成 BRDF圧縮センシング
ℓ
r
柏森ら
信学総大2017
Z. Chen et al.,
ICIP2016
柏森ら
信学総大2018
学習なし 分析器を学習
合成器を学習 双方向反射率分布関数の取得
柏森ら
信学総大2018

7. 研究開発環境
 学習用GPU計算機
 CPU: Intel Xeon E5-1650v3(3.50GHz, 6Core)
 GPGPU: NVIDIA TESLA K80
 Memory: 64GB, SSD: 480GB, HDD: 1TB
 主なソフトウェア： MATLAB, Tensorflow
 計測用PC
 CPU: Intel Core i7-6700K (4.00GHz, 4Core)
 GPGPU: NVIDIA GeForce GTX1080/8GB
 Memory: 32GB, SSD: 256GB, HDD: 2TB)
 計測装置
 表面反射アナライザー：キヤノン製RA-532H
 2次元色彩輝度計: リコー製CV-10A
2018/3/29 ICT地域 先端技術セミナー 7

8. 単一画像超解像(SISR)
実テクスチャからの高解像度テクスチャ生成
地域 先端技術セミナーICT 82018/3/29

9. 単一画像超解像(SISR)の提案
 提案法の概要と特徴
2018/3/29 ICT地域 先端技術セミナー 9
実データ
混成DirLOT
分析・合成
テクスチャ
学習
テクスチャ辞書 高解像度テクスチャ
高速かつ高品質なSISRの提案
事例学習なし

10. 混成DirLOTによる超解像処理
 混成DirLOT領域での適応低ランク画像復元
HL
LH HH
Lanczos補間 𝐃𝐃
1
𝑅𝑅
𝐃𝐃𝑇𝑇
Θ ⋅HL
LH HH
HL
LH HH
S. Muramatsu et al.: “Directional lapped orthogonal transform: Theory and design,” IEEE Trans. on
Image Process., May 2012.
2018/3/29 ICT地域 先端技術セミナー 10
低域係数パディング
混成DirLOT辞書（冗長度𝑅𝑅）
Z. Chen et al.: “Fast image super-resolution via multiple directional transforms,” Proc. of IEEE ICIP, Sept.
2016.
特異値ハード閾値処理

11. 地域 先端技術セミナーICT 112018/3/29
処理結果の例（抜粋）
(a)原画像
(“Tex1”, “Tex4”)
(b)Peleg’s
[TIP14]
(c) Lakshman’s
[SPIC15]
(d) Sun’s
[DSP16]
(e) 提案法

12. シミュレーション結果
PSNR, SSIM，処理時間
地域 先端技術セミナーICT 122018/3/29
TIP 14 S P IC 15 D S P 16 P roposed TIP 14 S P IC 15 D S P 16 P roposed TIP 14 S P IC 15 D S P 16 P roposed
Tex1 32.60 32.70 32.70 33.03 0.9265 0.9275 0.9275 0.9328 19.44 9.20 243.46 5.81
Tex2 33.74 33.84 34.07 34.64 0.9419 0.9436 0.9436 0.9469 23.62 10.83 151.95 7.05
Tex3 24.03 23.30 23.50 23.57 0.9149 0.9163 0.9203 0.9267 60.61 29.67 593.74 19.39
Tex4 24.55 24.65 24.75 25.12 0.9173 0.9124 0.9185 0.9246 34.33 16.41 358.48 10.89
Tex5 25.82 26.01 25.94 26.23 0.8891 0.8915 0.8991 0.8997 24.17 11.48 247.34 7.52
Tex6 31.85 31.93 31.75 32.24 0.8952 0.8920 0.8982 0.9040 34.75 17.25 413.20 10.57
Tex7 31.38 31.75 32.09 32.27 0.9383 0.9396 0.9398 0.9464 42.65 21.50 525.67 13.98
Tex8 26.23 26.42 26.52 26.77 0.8627 0.8655 0.8698 0.8769 17.25 8.11 210.01 5.44
Tex9 17.24 17.81 17.81 18.28 0.8728 0.8769 0.8769 0.8853 18.63 8.73 223.54 5.81
Tex10 35.02 35.49 35.49 36.20 0.9574 0.9582 0.9588 0.9642 11.74 5.16 135.62 4.54
P S N R [dB ] S S IM Tim es[s]
Im age
[TIP14] T. Peleg and M. Elad, “A statistical prediction model based on sparse representations for single image super-
resolution,” IEEE Trans. Image Process., vol. 23, no. 6, pp. 2569-2582, Jun. 2014.
[SPIC15] H. Lakshman et al. “Image interpolation using Shearlet based iterative refinement,” Signal Processing:
Image Comm., vol. 36, pp. 83-94, Aug. 2015.
[DSP16] D. Sun et al. “Image interpolation via collaging its non-local patches,” Digital Signal Process., vol. 49, pp. 33-
43, Feb. 2016.

13. テクスチャ・パラメータ分析
実データからのテクスチャ・パラメータ抽出
地域 先端技術セミナーICT 132018/3/29

14. テクスチャ・パラメータ分析の提案
 提案法の概要と特徴
2018/3/29 ICT地域 先端技術セミナー 14
事例データ
分析
CNN
CNN+SVR
転移学習
ネットワーク係数
実データ
ネットワーク
パラメータ
高品質なテクスチャを生成可能
CG合成テクスチャ
CNN: 畳込みニューラルネットワーク
SVR: サポートベクトル回帰
合成
ツール

15. AlexNet(CNN)の転移学習
 教師データ生成
 転移学習
2018/3/29 ICT地域 先端技術セミナー 15
間隔ℓ，半径𝑟𝑟
ランダムに104
組
合成テクスチャ画像
プロシージャル
テクスチャリング
（合成ツール）
栢森ら“転移学習による鎚起銅器テクスチャの合成パラメータ推定”，平成28年度電子情報通信学会総合大会（2017年3月）
CGテクスチャ画像
・7割で学習
・3割で評価4096次元ベクトル
パラメータ推定器
推定パラメータ
間隔ℓ，半径𝑟𝑟
AlexNet SVR

16. 性能評価（出力散布図）
地域 先端技術セミナーICT 162018/3/29
Haar Wavelet変換
+
サポートベクター回帰
AlexNet
+
サポートベクター回帰
0.0108
0.0089
0.0165
0.0127
間隔ℓ 半径𝑟𝑟
横軸：真のパラメータ
縦軸：推定パラメータ
平均自乗誤差

17. クラス判別結果
地域 先端技術セミナーICT 172018/3/29
判別率 [％]
分類結果
a b c d e f g
真のクラス
a 92.5 0.0 0.0 4.2 2.5 0.8 0.0
b 0.0 98.3 1.7 0.0 0.0 0.0 0.0
c 0.0 1.7 98.3 0.0 0.0 0.0 0.0
d 22.5 0.0 0.0 75.8 0.0 1.7 0.0
e 5.8 0.0 0.0 0.0 94.2 0.0 0.0
f 0.0 0.0 1.7 0.0 0.0 98.3 0.0
g 0.0 0.0 0.0 0.0 0.0 0.0 100.0
判別成功率
93.93%
別途，CNNで
分類器を設計

18. DCGANテクスチャ合成法
柔軟なテクスチャ分析・合成
地域 先端技術セミナーICT 182018/3/29

19. DCGANテクスチャ合成の提案
 提案法の概要と特徴
2018/3/29 ICT地域 先端技術セミナー 19
実データ
DCGAN
DCGAN
学習
ネットワーク係数
設定情報
（潜在変数𝒛𝒛)
ネットワーク
パラメータ
テクスチャ
統一的な手続きで高品質なテクスチャを
柔軟に生成可能

20. DCGANの概要
2018/3/29 ICT地域 先端技術セミナー 20
𝒛𝒛
𝒙𝒙
𝒙𝒙𝒙
潜在変数
（乱数） 生成器
実データ
合成データ
識別器
𝑃𝑃
実データの
確率
Radford, A., Metz, L., & Chintala, S. (2015). Unsupervised Representation Learning with Deep Convolutional Generative
Adversarial Networks. arXiv, 1–15. https://doi.org/10.1051/0004-6361/201527329
min
𝐺𝐺
max
𝐷𝐷
𝑉𝑉 𝐷𝐷, 𝐺𝐺 = 𝔼𝔼 log 𝐷𝐷(𝒙𝒙) + 𝔼𝔼[log 1 − 𝐷𝐷 𝐺𝐺 𝒛𝒛 ]
DCNN構造を
利用したGAN

21. テクスチャ合成実験緒言
 教師画像
 枚数: 100（ツールの下限），画素数： 128×128
 鎚起銅器テクスチャ画像からマニュアル抽出
 Epoch回数： 106
2018/3/29 ICT地域 先端技術セミナー 21
栢森ら：DCGANを利用した伝統的工芸品のテクスチャ合成，平成29年度電子情報通信学会総合大会，東京電機大
（2018年3月21日）

22. テクスチャ合成実験結果
 統一的な手続きによる
高品質なCGテクスチャ合成の可能性を示唆
2018/3/29 ICT地域 先端技術セミナー 22

23. BRDF圧縮センシング
画像（RGB）から双方向反射率分布関数（BRDF）計測へ
地域 先端技術セミナーICT 232018/3/29

24. BRDF圧縮センシングの提案
 提案法の概要と特徴
2018/3/29 ICT地域 先端技術セミナー 24
実データ
テクスチャ
合成
テクスチャ
学習
テクスチャ辞書
設定情報
合成パラメータ
テクスチャ
BRDF
テクスチャの詳細情報を取得可能

25. 双方向反射率分布関数（BRDF）
 入射光に対する、出射光の割合として定義
𝑓𝑓 𝜃𝜃𝑖𝑖, 𝜑𝜑𝑖𝑖, 𝜃𝜃𝑜𝑜, 𝜑𝜑𝑜𝑜 =
𝑑𝑑𝑑𝑑(𝜃𝜃𝑜𝑜,𝜑𝜑𝑜𝑜)
𝑑𝑑𝑑𝑑(𝜃𝜃𝑖𝑖,𝜑𝜑𝑖𝑖)
2018/3/29 ICT地域 先端技術セミナー 25
𝐿𝐿: 放射輝度 (Wsr-1m-2)
𝐸𝐸: 放射照度 (Wm-2)
写実的なCGのためには不可欠

26. BRDF測定装置
 ２次元グリッド上のBRDF計測
XYステージ・回転ステージ上に計測器を設置
2018/3/29 ICT地域 先端技術セミナー 26
Light
source Sensor
測定対象
測定データ量が膨大→圧縮センシングが必要

27. シミュレーション結果
2018/3/29 ICT地域 先端技術セミナー 27
5 × 10−5
原データ
15×15
欠損測定
RMSE
13.884
3.130 2.436 2.491 2.831 7.200
(𝜃𝜃𝑖𝑖, 𝜑𝜑𝑖𝑖, 𝜃𝜃𝑜𝑜, 𝜑𝜑𝑜𝑜)
= (60°, 0°, 60°, 180°）
RMSE:
𝜆𝜆: 1 × 10−4 5 × 10−4
1 × 10−3 5 × 10−3
正則化
パラメータ

28. 研究成果とまとめ
おわりに
地域 先端技術セミナーICT 282018/3/29

29. 研究成果
 国際会議発表リスト（査読付き）
 Zhiyu CHEN, Shogo Muramatsu and Yoshito ABE, “Fast Image Super-Resolution via
Multiple Directional Transforms,” Proc. of 2016 IEEE International Conference on
Image Processing (ICIP), pp.1434-1438, DOI: 10.1109/ICIP.2016.7532595, (2016年9
月28日)
 口頭発表リスト（査読なし）
 栢森翔太，中野永人，長山知司，村松正吾，阿部淑人：伝統的工芸品のBRDF圧縮センシ
ング，平成29年度電子情報通信学会総合大会，東京電機大（2018年3月21日）
 栢森翔太，大竹加廉，村松正吾，阿部淑人：DCGANを利用した伝統的工芸品のテクスチャ
合成，平成29年度電子情報通信学会総合大会，東京電機大（2018年3月21日）
 栢森翔太、村松正吾、阿部淑人、“転移学習による鎚起銅器テクスチャの合成パラメータ推
定”，平成28年度電子情報通信学会総合大会，名城大（2017年3月22日）
 栢森翔太、村松正吾、阿部淑人、“畳込みニューラルネットを用いた鎚起銅器テクスチャ画
像の分類”，平成28年度電子情報通信学会信越支部大会（長岡技科大）（2016年10月8日）
 石井雅基，村松正吾，陳智雨，阿部淑人“学習辞書による鎚起銅器テクスチャの超解像に
関する検討”，2015年映像メディア処理シンポジウム（修善寺）（2015年11月19日）
2018/3/29 ICT地域 先端技術セミナー 29

30. まとめ
 テクスチャ・ツールの課題と目的を紹介
 テクスチャ分析・合成システムの提案
単一画像超解像
テクスチャ・パラメータ分析
DCGANテクスチャ合成
 BRDF圧縮センシングの紹介
2018/3/29 ICT地域 先端技術セミナー 30
ご清聴ありがとうございました