スパースモデリングによる多次元信号・画像復元
•
8 gefällt mir•6,455 views
2019年1月17日（木） 秋田県立大学システム科学技術学部情報工学科 「画像信号処理」特別講義
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie スパースモデリングによる多次元信号・画像復元
Ähnlich wie スパースモデリングによる多次元信号・画像復元 (20)
Mehr von Shogo Muramatsu
Mehr von Shogo Muramatsu (6)
スパースモデリングによる多次元信号・画像復元
- 2. 村松 正吾 （むらまつ しょうご） 専門分野 信号処理 所属学会 IEEE (Senior Member) Signal Processing Society etc. 電子情報通信学会 （シニア会員） 信号処理研究専門委員会 映像情報メディア学会 メディア工学研究専門委員会 APSIPA Image, Video and Multimedia (IVM) Technical Committee Member 著書・雑誌記事 「マルチメディア技術の基礎DCT入門」 （CQ出版社, 1997年） 「MATLABによる画像&映像信号処理 」 （CQ出版社, 2007年） 秋田県立大学 画像信号処理2019/1/17 2
- 4. スパースモデリングによる ボケ＋ノイズ除去の例 原画像 観測画像 PSNR: 23.84 dB 復元画像 PSNR: 27.21 dB 2019/1/17 秋田県立大学 画像信号処理 4 ※NSOLT+ISTA
- 5. スパースモデリングによる 単一フレーム超解像の例 原画像 観測画像 復元画像 PSNR: 27.61 dB Bicubic補間画像 PSNR: 23.92 dB 2019/1/17 秋田県立大学 画像信号処理 5 ※NSOLT+ISTA
- 6. スパースモデリングによる 画像修復の例 原画像 観測画像 PSNR: 12.56 dB 復元画像 PSNR: 32.76 dB 2019/1/17 秋田県立大学 画像信号処理 6 ※NSOLT+ISTA
- 7. 広がるスパースモデリング 車載ミリ波レーダ ストリーク カメラ 聴覚メカニズム の解明 計測技術生命科学 防災観測 運転支援 水面からの 河床状態推定 理論 アルゴリズム 実装 多次元信号の分析・合成に関する知識と技術を核として 信号解析や信号推定で共同研究プロジェクトに貢献 2019/1/17 秋田県立大学 画像信号処理 7
- 8. 講義内容 連立方程式と信号復元 内積演算とフィルタ処理 線形システムと行列表現 信号変換と合成辞書 信号のスパース表現 凸最適化と高次元信号復元 辞書学習と畳み込みネットワーク まとめ 2019/1/17 秋田県立大学 画像信号処理 8
- 10. 𝑥𝑥1, 𝑥𝑥2は？ 2本の直線の交点 唯一の解をもつ連立方程式 2019/1/17 秋田県立大学 画像信号処理 10 2 3 𝑥𝑥1 + 1 3 𝑥𝑥2 = 𝑏𝑏1 1 3 𝑥𝑥1 − 2 3 𝑥𝑥2 = 𝑏𝑏2 𝑏𝑏1 = 1 2 , 𝑏𝑏2 = − 1 2 𝑥𝑥1 = 1 3 , 𝑥𝑥2 = 1 唯一の解 平面 平面 直線が決まる
- 11. 唯一の解を持たない連立方程式 秋田県立大学 画像信号処理2019/1/17 𝑥𝑥1, 𝑥𝑥2は？ 2枚の平面の交線 2 3 𝑥𝑥1 + 1 3 𝑥𝑥2 = 𝑏𝑏 𝑏𝑏 = 1 2 𝑥𝑥2 = −2𝑥𝑥1 + 3 2 無数の解．答えが定まらない（不良設定問題） 11 ボケなどの 関係式（平面） 観測値 （解を絞り込む）
- 12. コスト制約（事前知識）を付加 秋田県立大学 画像信号処理2019/1/17 𝑥𝑥1, 𝑥𝑥2は？ 𝑥𝑥1 + 𝑥𝑥2 が最小 2 3 𝑥𝑥1 + 1 3 𝑥𝑥2 = 𝑏𝑏 𝑏𝑏 = 1 2 𝑥𝑥1 = 3 4 , 𝑥𝑥2 = 0 唯一の解！（スパースモデリング） 12 ボケなどの 関係式（平面） 観測値 （解を絞り込む） 事前知識
- 13. 連立方程式と行列の関係 以下の連立方程式は解けるか? より一般的に 2019/1/17 秋田県立大学 画像信号処理 13 2 3 𝑥𝑥1 + 1 3 𝑥𝑥2 = 𝑏𝑏1 1 3 𝑥𝑥1 − 2 3 𝑥𝑥2 = 𝑏𝑏2 1 3 2 1 1 −2 𝑥𝑥1 𝑥𝑥2 = 𝑏𝑏1 𝑏𝑏2 det 1 3 2 1 1 −2 = 1 32 −4 − 1 = − 5 9 ≠ 0 𝐀𝐀𝐀𝐀 = 𝐛𝐛 のとき 解ける det 𝐀𝐀 ≠ 0 𝐱𝐱 = 𝐀𝐀−1 𝐛𝐛 行列式 𝐀𝐀が正方行列 かつ 独立変数（未知量）の数 = 従属変数（観測量）の数 方程式が互いに線形独立（役割が被っていない） 観測量 システム 未知量 𝒂𝒂1 𝒂𝒂2 面積 det 𝒂𝒂1 𝒂𝒂2 行列式が もつ意味
- 14. 信号復元は逆問題 逆問題の多くは不良設定問題 観測行列 𝐀𝐀 の逆行列が存在しない 事前知識をうまく利用して解く （例１） 𝐀𝐀𝐀𝐀 = 𝐛𝐛 を満たす 𝐱𝐱 で，かつ 〇〇が○○なもの （例２） 〇〇が〇〇な 𝐱𝐱 で， 𝐀𝐀𝐱𝐱 と 𝐛𝐛 の誤差が小さいもの スパースモデリングは事前知識の数式表現の一種 （例１） �𝐱𝐱 = arg min 𝐱𝐱 𝐱𝐱 1 s. t. 𝐀𝐀𝐱𝐱 = 𝐛𝐛 （例２） �𝐱𝐱 = arg min 𝐱𝐱 1 2 𝐛𝐛 − 𝐀𝐀𝐀𝐀 2 2 + 𝜆𝜆 𝐱𝐱 1 2019/1/17 秋田県立大学 画像信号処理 14 • 解が無数にある • 解がない 未知量の数 > 観測量の数 未知量の数 < 観測量の数 𝐱𝐱の成分の絶対値和 𝑥𝑥1 + 𝑥𝑥2 + ⋯𝐀𝐀𝐀𝐀 と 𝐛𝐛 の成分の自乗誤差和 s.t. は such that/subject to の略 スパース（疎）性を促す arg min 𝐱𝐱 𝑓𝑓(𝐱𝐱) は𝑓𝑓(𝐱𝐱)を最小にする 𝐱𝐱
- 16. 線形（ベクトル）空間 和とスカラー倍ができる空でない集合𝑉𝑉 𝐮𝐮, 𝐯𝐯 ∈ 𝑉𝑉 ⇒ 𝐮𝐮 + 𝐯𝐯 ∈ 𝑉𝑉 𝑎𝑎 ∈ 𝕂𝕂, 𝐯𝐯 ∈ 𝑉𝑉 ⇒ 𝑎𝑎𝐯𝐯 ∈ 𝑉𝑉 線形空間の例 （例１）二次元実ユークリッド空間𝑉𝑉 = ℝ2 （例２）𝐷𝐷次元複素ユークリッド空間𝑉𝑉 = ℂ𝐷𝐷 2019/1/17 秋田県立大学 画像信号処理 16 𝕂𝕂は 実数全体ℝもしくは 複素数全体ℂのいずれか 𝑥𝑥 ∈ 𝑆𝑆は，𝑥𝑥が集合𝑆𝑆の要素 であることを意味する 𝑉𝑉 𝐮𝐮 𝐯𝐯 𝐮𝐮 + 𝐯𝐯𝑎𝑎𝐯𝐯 ℝ2 𝐯𝐯 𝐮𝐮 𝐮𝐮 + 𝐯𝐯 𝑎𝑎𝐯𝐯 𝐷𝐷 ∈ ℕ ℕは自然数全体 集合𝑉𝑉内に 収まっている
- 17. 内積演算（ベクトル間の類似度） 𝐮𝐮, 𝐯𝐯, 𝐰𝐰 ∈ 𝑉𝑉, 𝑎𝑎, 𝑏𝑏 ∈ 𝕂𝕂に対して以下の条件を満たす演算 ⋅,⋅ ：𝑉𝑉 × 𝑉𝑉 → 𝕂𝕂 対称性： 𝐮𝐮, 𝐯𝐯 = 𝐯𝐯, 𝐮𝐮 線形性： 𝑎𝑎𝐮𝐮 + 𝑏𝑏𝐯𝐯, 𝐰𝐰 = 𝑎𝑎 𝐮𝐮, 𝐰𝐰 + 𝑏𝑏 𝐯𝐯, 𝐰𝐰 正定置性： 𝐯𝐯, 𝐯𝐯 ≥ 0 かつ 𝐯𝐯, 𝐯𝐯 = 0 ⇔ 𝐯𝐯 = 𝟎𝟎 内積演算の例 （例1） 𝑉𝑉 = ℝ2 の内積： 𝑢𝑢1 𝑢𝑢2 , 𝑣𝑣1 𝑣𝑣2 ≜ 𝑢𝑢1 𝑣𝑣1+ 𝑢𝑢2 𝑣𝑣2 （例2） 𝑉𝑉 = ℂ𝐷𝐷 の内積： 𝑢𝑢𝑛𝑛 𝑛𝑛, 𝑣𝑣𝑛𝑛 𝑛𝑛 ≜ ∑𝑛𝑛=1 𝐷𝐷 𝑢𝑢𝑛𝑛 𝑣𝑣𝑛𝑛 二つのベクトルの類似度（方向と大きさ）を測る 2019/1/17 秋田県立大学 画像信号処理 17 ̅𝑥𝑥は𝑥𝑥の複素共役． 𝕂𝕂がℂのときに意味をもつ ℝ2 𝐯𝐯 𝐮𝐮 成分毎の積の和 𝜃𝜃𝐮𝐮, 𝐯𝐯 = 𝑢𝑢1 2 + 𝑢𝑢2 2 𝑣𝑣1 2 + 𝑣𝑣2 2 cos𝜃𝜃 cos 𝜃𝜃 = cos 𝛼𝛼 − 𝛽𝛽 = cos 𝛼𝛼 cos 𝛽𝛽 + sin 𝛼𝛼 sin 𝛽𝛽 = 𝑢𝑢1 𝑢𝑢1 2 + 𝑢𝑢2 2 𝑣𝑣1 𝑣𝑣1 2 + 𝑣𝑣2 2 + 𝑢𝑢2 𝑢𝑢1 2 + 𝑢𝑢2 2 𝑣𝑣2 𝑣𝑣1 2 + 𝑣𝑣2 2 射影後の 長さの積
- 18. ノルム（ベクトルの長さ） 𝑎𝑎 ∈ 𝕂𝕂 ，𝐮𝐮, 𝐯𝐯 ∈ 𝑉𝑉 に対して以下の条件を満たす関数 ⋅ ：𝑉𝑉→ℝ 独立性: 𝐯𝐯 = 0 ⇔ 𝐯𝐯 = 𝟎𝟎 斉次性: 𝑎𝑎𝐯𝐯 = 𝑎𝑎 𝐯𝐯 劣加法性: 𝐮𝐮 + 𝐯𝐯 ≤ 𝐮𝐮 + 𝐯𝐯 ノルムの例 （例１） ℝ2 の標準ノルム ⋅ 2 ： 𝐯𝐯 2 ≜ 𝐯𝐯, 𝐯𝐯 = 𝑣𝑣1 2 + 𝑣𝑣2 2 （例２） ℂ𝑁𝑁の𝑝𝑝-ノルム ⋅ 𝑝𝑝 ： 𝐯𝐯 𝑝𝑝 ≜ � 𝑛𝑛=1 𝑁𝑁 𝑣𝑣𝑛𝑛 𝑝𝑝 1 𝑝𝑝 2019/1/17 秋田県立大学 画像信号処理 18 三角不等式 ℝ2 𝟎𝟎 = 0 ただし， 𝑝𝑝 ≥ 1 𝑝𝑝 = 1（1-ノルム）は ベクトル成分の絶対値和
- 19. ベクトル間の関係性の評価 コサイン類似度 距離 自乗誤差和 2019/1/17 秋田県立大学 画像信号処理 19 cos𝜃𝜃 = 𝐮𝐮, 𝐯𝐯 𝐮𝐮 2 𝐯𝐯 2 𝑑𝑑𝑝𝑝 𝐮𝐮, 𝐯𝐯 = 𝐮𝐮 − 𝐯𝐯 𝑝𝑝 𝑑𝑑2 2 𝐮𝐮, 𝐯𝐯 = 𝐮𝐮 − 𝐯𝐯 2 2 𝜋𝜋 2 1 𝜃𝜃 +0 𝜃𝜃 − 𝜋𝜋 −1 ℝ2 ℝ2 𝐮𝐮 − 𝐯𝐯 1 = 𝑒𝑒1 + 𝑒𝑒2 𝑒𝑒1 = 𝑢𝑢1 − 𝑣𝑣1 𝑒𝑒2 = 𝑢𝑢2 − 𝑣𝑣2 𝐮𝐮 − 𝐯𝐯 2 2 = 𝑢𝑢1 − 𝑣𝑣1 2 + 𝑢𝑢2 − 𝑣𝑣2 2 = 𝑒𝑒1 2 + 𝑒𝑒2 2 ℝ2 の例： 2-ノルム（標準ノルム）の自乗 1-ノルム 直交 微分が簡単
- 20. 移動平均フィルタ 平均値の計算 移動平均 線形空間ℝ2×2 の例 内積の定義（成分毎の積の和） 𝐔𝐔, 𝐕𝐕 ≜ ∑𝑘𝑘=1 2 ∑ℓ=1 2 𝑢𝑢𝑘𝑘𝑘 𝑣𝑣𝑘𝑘𝑘 2019/1/17 秋田県立大学 画像信号処理 20 𝐟𝐟 𝐯𝐯 = 1 1 𝐟𝐟 𝐯𝐯 = 1 −1 ℝ2 𝐟𝐟 = 1 2 1 1 ℝ2 𝐟𝐟 𝐯𝐯 = 2 1 ℝ2 𝐟𝐟, 𝐯𝐯 = 1 𝐟𝐟, 𝐯𝐯 = 0 直交 𝐟𝐟, 𝐯𝐯 = 1.5 1 0 0 1.51 1 −1 1 2 𝐯𝐯0 = 1 1 𝑇𝑇 𝐯𝐯1 = −1 1 𝑇𝑇 𝐯𝐯2 = 1 −1 𝑇𝑇 𝐯𝐯3 = 2 1 𝑇𝑇 𝑛𝑛 𝑛𝑛 抽 出 変化を抑える（平滑化） 𝑢𝑢11 𝑢𝑢12 𝑢𝑢21 𝑢𝑢22 𝐔𝐔 ∈ ℝ2×2 𝑣𝑣11 𝑣𝑣12 𝑣𝑣21 𝑣𝑣22 𝐕𝐕 ∈ ℝ2×2 𝐅𝐅,⋅ 𝐅𝐅 ∈ ℝ2×2 ¼ ¼ ¼ ¼ 𝐟𝐟,⋅ 数列 配列 2 2 1 1 1.5 2 × 2平均
- 21. 移動差分フィルタ 差分の計算 移動差分 線形空間ℝ2×2 の例 2019/1/17 秋田県立大学 画像信号処理 21 𝐟𝐟 𝐯𝐯 = 1 1 𝐟𝐟 𝐯𝐯 = 1 −1 ℝ2 𝐟𝐟 = 1 −1 ℝ2 𝐟𝐟 𝐯𝐯 = 2 1 ℝ2 𝐟𝐟, 𝐯𝐯 = 0 𝐟𝐟, 𝐯𝐯 = 2 𝐟𝐟, 𝐯𝐯 = 1 10 −2 2 1 1 −1 1 2 𝐯𝐯0 = 1 1 𝑇𝑇 𝐯𝐯1 = −1 1 𝑇𝑇 𝐯𝐯2 = 1 −1 𝑇𝑇 𝐯𝐯3 = 2 1 𝑇𝑇 𝑛𝑛 𝑛𝑛 抽 出 変化を捉える 𝐅𝐅,⋅ 𝐅𝐅 ∈ ℝ2×2 𝐟𝐟,⋅ 数列 配列 2 2 1 1 0 直交 -1 1 -1 1 抽 出 𝐅𝐅,⋅ 𝐅𝐅 ∈ ℝ2×2 配列 2 2 1 1 −2-1 -1 1 1 水平差分 垂直差分
- 22. 画像フィルタ 2019/1/17 秋田県立大学 画像信号処理 22 1 1 1 1 1 1 1 1 1 1 9 × 0 1 0 1 -4 1 0 1 0 -1 0 1 -2 0 2 -1 0 1 -1 -2 -1 0 0 0 1 2 1 平均マスク 𝐅𝐅 ∈ ℝ3×3 の例 ４近傍ラプラシアン マスク Sobelマスク （水平方向） Sobelマスク （垂直方向）
- 23. 多次元信号・画像処理システム 配列データから配列データへの写像 𝑇𝑇: 𝑢𝑢 𝒏𝒏 𝒏𝒏 ↦ 𝑣𝑣 𝒏𝒏 𝒏𝒏 線形性をもつシステムの条件(𝑎𝑎, 𝑏𝑏 ∈ 𝕂𝕂) 𝑇𝑇 𝑎𝑎 𝑢𝑢 𝒏𝒏 𝒏𝒏 + 𝑏𝑏 𝑤𝑤 𝒏𝒏 𝒏𝒏 = 𝑎𝑎𝑇𝑇 𝑢𝑢 𝒏𝒏 𝒏𝒏 + 𝑏𝑏𝑇𝑇 𝑤𝑤 𝒏𝒏 𝒏𝒏 シフト不変性をもつシステムの条件 𝑣𝑣 𝒏𝒏 𝒏𝒏 = 𝑇𝑇 𝑢𝑢 𝒏𝒏 𝒏𝒏 ⇒ 𝑣𝑣 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 = 𝑇𝑇 𝑢𝑢 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 2019/1/17 秋田県立大学 画像信号処理 23 𝑇𝑇 ⋅𝑢𝑢 𝒏𝒏 𝒏𝒏 𝑣𝑣 𝒏𝒏 𝒏𝒏 配列 配列 入力の線形結合→出力の線形結合 入力のシフト → 出力のシフト 基本的な信号処理システム
- 24. = 3 × + 4 × + ⋯ + ⋯ 配列の標準基底展開 𝐷𝐷変量インパルス信号 配列の標準基底展開 2019/1/17 秋田県立大学 画像信号処理 24 𝛿𝛿 𝒏𝒏 = � 1, 𝒏𝒏 = 𝟎𝟎 0, 𝒏𝒏 ≠ 𝟎𝟎 𝒏𝒏 ∈ ℤ𝐷𝐷 𝑢𝑢 𝒏𝒏 𝒏𝒏 = ⋯ + 𝑢𝑢 𝟎𝟎 𝛿𝛿 𝒏𝒏 − 𝟎𝟎 𝒏𝒏 + ⋯ ⋯ + 𝑢𝑢 𝒌𝒌 𝛿𝛿 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 + ⋯ ⋯ + 𝑢𝑢 𝒍𝒍 𝛿𝛿 𝒏𝒏 − 𝒍𝒍 𝒏𝒏 + ⋯ = � 𝒌𝒌∈ℤ 𝐷𝐷 𝑢𝑢 𝒌𝒌 𝛿𝛿 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 ℝ3 𝐞𝐞2 = 0 1 0 𝑛𝑛1 𝑛𝑛2𝟎𝟎 1 ℝℤ2 𝐞𝐞1 = 1 0 0 𝐞𝐞3 = 0 0 1 𝐮𝐮 = 𝑢𝑢1 𝑢𝑢2 𝑢𝑢3 = 𝑢𝑢1 𝐞𝐞1 + 𝑢𝑢2 𝐞𝐞2 + 𝑢𝑢3 𝐞𝐞3 𝑛𝑛2 𝒌𝒌 = 1 2 1 𝑛𝑛1 𝛿𝛿 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 3 2 7 4 8 5 1 0 0 0 0 0 0 0 0 1 0 0 𝒆𝒆𝑘𝑘 𝑘𝑘∈ 1,2,3標準基底： 𝛿𝛿 𝒏𝒏 𝒏𝒏 𝒏𝒏 = 𝑛𝑛1 𝑛𝑛2 ∈ ℤ2
- 25. 畳み込み演算 𝐷𝐷変量線形シフト不変システム𝑇𝑇の応答 2019/1/17 秋田県立大学 画像信号処理 25 𝑣𝑣 𝒏𝒏 𝒏𝒏 = 𝑇𝑇 𝑢𝑢 𝒏𝒏 𝒏𝒏 = 𝑇𝑇 � 𝒌𝒌∈ℤ 𝐷𝐷 𝑢𝑢 𝒌𝒌 𝛿𝛿 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 = � 𝒌𝒌∈ℤ 𝐷𝐷 𝑢𝑢 𝒌𝒌 𝑇𝑇 𝛿𝛿 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 = � 𝒌𝒌∈ℤ 𝐷𝐷 𝑢𝑢 𝒌𝒌 ℎ 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 𝑇𝑇 ⋅ 𝛿𝛿 𝒏𝒏 𝒏𝒏 ℎ 𝒏𝒏 𝒏𝒏 インパルス信号 インパルス応答 𝑢𝑢 𝒏𝒏 𝒏𝒏 𝑣𝑣 𝒏𝒏 𝒏𝒏 標準基底展開 ∵線形 ∵シフト不変 𝐷𝐷変量畳み込み演算 𝑣𝑣 𝒏𝒏 = � 𝒌𝒌∈ℤ 𝐷𝐷 𝑢𝑢 𝒌𝒌 ℎ 𝒏𝒏 − 𝒌𝒌 = � 𝒌𝒌∈ℤ 𝐷𝐷 ℎ 𝒌𝒌 𝑢𝑢 𝒏𝒏 − 𝒌𝒌 , 𝒏𝒏 ∈ ℤ𝐷𝐷
- 26. 移動フィルタとの関係 入出力関係 境界処理 インデックス範囲：有限 2019/1/17 秋田県立大学 画像信号処理 26 𝑣𝑣 𝒏𝒏 = � 𝒍𝒍∈Ωf ̅𝑓𝑓𝒍𝒍 𝑢𝑢 𝒏𝒏 + 𝒍𝒍 = � −𝒌𝒌∈Ωf ̅𝑓𝑓−𝒌𝒌 𝑢𝑢 𝒏𝒏 − 𝒌𝒌 = � 𝒌𝒌∈Ωh ℎ 𝒌𝒌 𝑢𝑢 𝒏𝒏 − 𝒌𝒌 , 𝒏𝒏 ∈ ℤ𝐷𝐷 抽 出 𝐅𝐅,⋅ 配列 ℎ 𝒏𝒏 𝒏𝒏 ∗ ⋅ 1 2 1 0 0 0 -1 -2 -1 -1 -2 -1 0 0 0 1 2 1 ℓ2−1 10 ℓ1 −1 1 0 𝑘𝑘2−1 10 𝑘𝑘1 −1 1 0 𝑣𝑣 𝒏𝒏 𝒏𝒏 配列 𝑣𝑣 𝒏𝒏 𝒏𝒏 配列 𝑢𝑢 𝒏𝒏 𝒏𝒏 配列 𝑢𝑢 𝒏𝒏 𝒏𝒏 Ωf = −1,0,1 2 Ωh = −1,0,1 2 相互相関 畳み込み インパルス 応答 各軸反転 線形 シフト不変 境界処理が必要となる 𝒏𝒏 ∈ Ω ⊆ ℤ𝐷𝐷 零値拡張法 周期拡張法 𝑢𝑢 𝒏𝒏 𝒏𝒏 𝑢𝑢 𝒏𝒏 𝒏𝒏
- 28. 配列の列ベクトル化 0 4 2 6 ⋮ 0 2 4 6 列ベクトル化 𝐮𝐮 ∈ 𝕂𝕂 Ω 配列化 配列 2019/1/17 秋田県立大学 画像信号処理 28 𝑢𝑢 𝒏𝒏 ∈ 𝕂𝕂 𝒏𝒏∈Ω⊆ℤ 𝐷𝐷 Ω = 0,1,2, ⋯ , 2139 × 0,1,2, ⋯ , 2839 列ベクトル vecΩ −1 : 𝕂𝕂 Ω → 𝕂𝕂Ω vecΩ: 𝕂𝕂Ω → 𝕂𝕂 Ω 𝑁𝑁1 = 2140 𝑁𝑁2 = 3840 𝑁𝑁1 × 𝑁𝑁2 = 2140 × 3840 = 8,217,600 𝐮𝐮 ∈ ℝ8,217,600𝑢𝑢 𝒏𝒏 ∈ ℝ 𝒏𝒏∈Ω⊆ℤ2 ∈ ℝΩ = ℝ2140×3840 800万画素 800万次元 Ωの要素数 同型写像 4Kの例
- 29. 線形システムと行列表現 線形システム 2019/1/17 秋田県立大学 画像信号処理 29 𝐯𝐯 = vecΩ 𝑉𝑉 𝑣𝑣 𝒏𝒏 𝒏𝒏∈Ω 𝑉𝑉 = vecΩ 𝑉𝑉 ∘ 𝑇𝑇 𝑢𝑢 𝒏𝒏 𝒏𝒏∈Ω 𝑈𝑈 = vecΩ 𝑉𝑉 ∘ 𝑇𝑇 � 𝒌𝒌∈Ω 𝑈𝑈 𝑢𝑢 𝒌𝒌 𝛿𝛿 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 = � 𝒌𝒌∈Ω 𝑈𝑈 𝑢𝑢 𝒌𝒌 vecΩ 𝑉𝑉 ∘ 𝑇𝑇 𝛿𝛿 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 = � 𝒌𝒌∈Ω 𝑈𝑈 𝑢𝑢 𝒌𝒌 𝐭𝐭 𝒌𝒌 = 𝐓𝐓𝐓𝐓 𝐓𝐓 = 𝐭𝐭 𝒌𝒌1 , 𝐭𝐭 𝒌𝒌2 , ⋯ , 𝐭𝐭 𝒌𝒌 Ω 𝑈𝑈 ∈ 𝕂𝕂 Ω 𝑉𝑉 × Ω 𝑈𝑈 𝐮𝐮 = vecΩ 𝑈𝑈 𝑢𝑢 𝒏𝒏 𝒏𝒏∈Ω 𝑈𝑈 = 𝑢𝑢 𝒌𝒌1 , 𝑢𝑢 𝒌𝒌2 , ⋯ , 𝑢𝑢 𝒌𝒌 Ω 𝑈𝑈 𝑇𝑇 データの列ベクトル化 により線形システムは 行列表現 できる インパルス応答のベクトル化 （シフト不変性は不問） 合成関数 𝑓𝑓 ∘ 𝑔𝑔 ⋅ ≔ 𝑓𝑓 𝑔𝑔(⋅)
- 30. 線形空間上の可換図 矢印に沿って処理（表現）できる 2019/1/17 秋田県立大学 画像信号処理 30 𝑢𝑢 𝒏𝒏 𝒏𝒏∈Ω 𝑈𝑈 𝑣𝑣 𝒏𝒏 𝒏𝒏∈Ω 𝑉𝑉𝑇𝑇: 𝕂𝕂Ω 𝑈𝑈 → 𝕂𝕂Ω𝑉𝑉 𝐯𝐯 ∈ 𝕂𝕂 Ω𝑉𝑉 vecΩ 𝑉𝑉 : 𝕂𝕂Ω 𝑉𝑉 → 𝕂𝕂 Ω 𝑉𝑉 vecΩ 𝑉𝑉 −1 𝑣𝑣 𝒏𝒏 𝒏𝒏 = 𝑇𝑇 𝑢𝑢 𝒏𝒏 𝒏𝒏 𝐓𝐓 ∈ 𝕂𝕂 Ω𝑉𝑉 × Ω 𝑈𝑈 𝐯𝐯 = 𝐓𝐓𝐓𝐓 𝐮𝐮 ∈ 𝕂𝕂 Ω 𝑈𝑈 vecΩ 𝑈𝑈 : 𝕂𝕂Ω 𝑈𝑈 → 𝕂𝕂 Ω 𝑈𝑈 vecΩ 𝑈𝑈 −1 どのルートを経由しても 結果は同じ
- 31. 巡回畳み込み 周期拡張＆畳み込み 行列表現 2019/1/17 秋田県立大学 画像信号処理 31 ℎ 𝒏𝒏 𝒏𝒏 ⊛ ⋅ 配列 𝑣𝑣 𝒏𝒏 𝒏𝒏 配列 𝑢𝑢 𝒏𝒏 𝒏𝒏 𝑣𝑣 𝒏𝒏 = � 𝒌𝒌∈Ωh ℎ 𝒌𝒌 𝑢𝑢 𝒏𝒏 − 𝒌𝒌 𝐐𝐐 , 𝒏𝒏 ∈ 𝒩𝒩 𝐐𝐐 𝒏𝒏 𝐐𝐐 = 𝒏𝒏 − 𝐐𝐐 𝐐𝐐−1 𝒏𝒏 𝒩𝒩 𝐐𝐐 = 𝒏𝒏 ∈ ℤ𝐷𝐷 𝒏𝒏 = 𝐐𝐐𝒙𝒙, 𝒙𝒙 ∈ [0, )1 𝐷𝐷 剰余ただし， 基本周期 𝐐𝐐 = 𝐪𝐪1 𝐪𝐪2 = 𝑁𝑁1 0 0 𝑁𝑁2 𝐪𝐪1 = 𝑁𝑁1 0 𝐪𝐪2 = 0 𝑁𝑁2𝟎𝟎 Ω = 𝒩𝒩 𝐐𝐐 基本周期の インデックス範囲 周期行列 𝑢𝑢 𝒏𝒏 𝒏𝒏 0 2 4 1 3 5 𝐐𝐐 = 2 0 0 3 1 -1 1 -1 ℎ 𝒏𝒏 𝒏𝒏 ⊛ ⊛は巡回 畳み込みの意 𝑣𝑣 𝒏𝒏 𝒏𝒏 4 4 -8 4 4 -8 4 4 4 4 −8 −8 = −1 −1 1 1 0 0 −1 −1 1 1 0 0 0 0 −1 −1 1 1 0 0 −1 −1 1 1 1 1 0 0 −1 −1 1 1 0 0 −1 −1 0 1 2 3 4 5 𝐯𝐯 ∈ ℝ6 𝐮𝐮 ∈ ℝ6 𝐓𝐓 ∈ ℝ6×6 𝒏𝒏 − 𝒌𝒌 𝒏𝒏 − 𝒌𝒌 𝐐𝐐 整数部抽出
- 32. 間引き処理 ダウンサンプリング 入出力関係 行列表現 2019/1/17 秋田県立大学 画像信号処理 32 𝑣𝑣 𝒏𝒏 = 𝑢𝑢 𝐌𝐌𝒏𝒏 , 𝐌𝐌𝒏𝒏 ∈ Ω𝑈𝑈 𝐦𝐦1 = 𝑀𝑀1 0 𝐦𝐦2 = 0 𝑀𝑀2 𝟎𝟎 ↓ 𝐌𝐌 配列 𝑣𝑣 𝒏𝒏 𝒏𝒏 配列 𝑢𝑢 𝒏𝒏 𝒏𝒏 𝐌𝐌 = 𝐦𝐦1 𝐦𝐦2 = 𝑀𝑀1 0 0 𝑀𝑀2 間引き行列 𝑀𝑀 = det 𝐌𝐌 = 𝒩𝒩 𝐌𝐌 間引き率 ただし，𝐌𝐌 ∈ ℤ𝐷𝐷×𝐷𝐷 棄却残す 𝑛𝑛1 𝑛𝑛2 𝑢𝑢 𝒏𝒏 𝒏𝒏 0 2 4 6 1 3 5 7 𝐌𝐌 = 1 0 0 2 𝑣𝑣 𝒏𝒏 𝒏𝒏 0 4 1 5 0 1 4 5 = 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 0 0 0 1 2 3 4 5 6 7 ↓ 𝐌𝐌 𝐯𝐯 ∈ ℝ4 𝐮𝐮 ∈ ℝ8 𝐓𝐓 ∈ ℝ4×8 𝑀𝑀 = det 𝐌𝐌 = 2水平間引き
- 33. 零挿入処理 アップサンプリング 入出力関係 行列表現 2019/1/17 秋田県立大学 画像信号処理 33 𝑣𝑣 𝒏𝒏 = � 𝑢𝑢 𝐌𝐌−1 𝒏𝒏 , 𝒏𝒏 ∈ LAT 𝐌𝐌 0, その他 𝐦𝐦1 = 𝑀𝑀1 0 𝐦𝐦2 = 0 𝑀𝑀2 𝟎𝟎 ↑ 𝐌𝐌 配列 𝑣𝑣 𝒏𝒏 𝒏𝒏 配列 𝑢𝑢 𝒏𝒏 𝒏𝒏 𝐌𝐌 = 𝐦𝐦1 𝐦𝐦2 = 𝑀𝑀1 0 0 𝑀𝑀2 零挿入行列 𝑀𝑀 = det 𝐌𝐌 = 𝒩𝒩 𝐌𝐌 零挿入率 ただし，𝐌𝐌 ∈ ℤ𝐷𝐷×𝐷𝐷 零挿入 格子点 𝑛𝑛1 𝑛𝑛2 𝑢𝑢 𝒏𝒏 𝒏𝒏 0 0 4 0 1 0 5 0 𝐌𝐌 = 1 0 0 2 𝑣𝑣 𝒏𝒏 𝒏𝒏 0 4 1 5 0 1 0 0 4 5 0 0 = 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 1 4 5 ↑ 𝐌𝐌 𝐯𝐯 ∈ ℝ8 𝐮𝐮 ∈ ℝ4 𝐓𝐓 ∈ ℝ8×4 𝑀𝑀 = det 𝐌𝐌 = 2水平零挿入 格子点上に 入力値を置く
- 34. 画素欠損 行列表現 2019/1/17 秋田県立大学 画像信号処理 34 𝑢𝑢 𝒏𝒏 𝒏𝒏 𝑣𝑣 𝒏𝒏 𝒏𝒏 0 1 0 3 0 5 0 7 8 9 0 0 = 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6 7 8 9 0 1 𝐓𝐓 𝐯𝐯 ∈ ℝ12 𝐮𝐮 ∈ ℝ12𝐓𝐓 ∈ ℝ12×12 0 3 6 9 1 4 7 0 2 5 8 1 0 3 9 1 7 0 5 8 欠損
- 36. 信号変換の応用例 圧縮符号化 JPEG, JPEG2000 MPEG, H.264/AVC ノイズ除去・画像復元 ウェーブレット縮退法 繰返しソフト閾値法(ISTA) 特徴抽出・画像認識 Viola-Jonesの顔検出 畳み込みニューラル ネットワーク（CNN） 分析 合成 ： ： 縮退 分析 合成 ： ： 量子化 出力入力 入力 出力 2019/1/17 秋田県立大学 画像信号処理 36
- 37. フィルタバンク 2019/1/17 秋田県立大学 画像信号処理 37 ℎ0 𝒏𝒏 ℎ1 𝒏𝒏 ℎ𝑃𝑃−1 𝒏𝒏 𝑓𝑓0 𝒏𝒏 𝑓𝑓1 𝒏𝒏 𝑓𝑓𝑃𝑃−1 𝒏𝒏↓ 𝐌𝐌𝑃𝑃−1 ↓ 𝐌𝐌0 ↓ 𝐌𝐌1 ↑ 𝐌𝐌0 ↑ 𝐌𝐌1 ↑ 𝐌𝐌𝑃𝑃−1 ＋ ＋ 配列 𝑢𝑢 𝒏𝒏 𝒏𝒏 配列 𝑣𝑣 𝒏𝒏 𝒏𝒏 サブバンド配列 𝑠𝑠0 𝒏𝒏 𝒏𝒏 𝑠𝑠1 𝒏𝒏 𝒏𝒏 𝑠𝑠𝑃𝑃−1 𝒏𝒏 𝒏𝒏 特徴分析 信号合成 𝐮𝐮 ∈ 𝕂𝕂𝑁𝑁 𝐯𝐯 ∈ 𝕂𝕂𝑁𝑁𝐬𝐬 ∈ 𝕂𝕂𝐿𝐿𝐓𝐓 ∈ 𝕂𝕂𝐿𝐿×𝑁𝑁 𝐃𝐃 ∈ 𝕂𝕂𝑁𝑁×𝑳𝑳 𝐬𝐬 = 𝐓𝐓𝐓𝐓 𝐯𝐯 = 𝐃𝐃𝐃𝐃 分析フィルタバンク 合成フィルタバンク 行列表現できる
- 38. ２次元ハール変換 2019/1/17 秋田県立大学 画像信号処理 38 ℎ0 𝒏𝒏 ℎ1 𝒏𝒏 ℎ3 𝒏𝒏 𝑓𝑓0 𝒏𝒏 𝑓𝑓1 𝒏𝒏 𝑓𝑓3 𝒏𝒏 ↓ 𝐌𝐌 ↑ 𝐌𝐌配列 𝑢𝑢 𝒏𝒏 𝒏𝒏 配列 𝑣𝑣 𝒏𝒏 𝒏𝒏 𝐬𝐬 = 𝐓𝐓𝐓𝐓 𝐯𝐯 = 𝐃𝐃𝐃𝐃 ℎ2 𝒏𝒏 𝑓𝑓2 𝒏𝒏 -½ ½ -½ ½ ½ -½ -½ -½ ½ ½ -½ -½ ½ ½ ½ ½ ½ -½ ½ -½ -½ -½ ½ ½ ½ ½ ½ ½ ½ -½ -½ -½ ↓ 𝐌𝐌 ↓ 𝐌𝐌 ↓ 𝐌𝐌 ↑ 𝐌𝐌 ↑ 𝐌𝐌 ↑ 𝐌𝐌 ＋ ＋ ＋ 𝐯𝐯 = 𝐃𝐃𝐃𝐃 = 𝐃𝐃𝐃𝐃𝐃𝐃 = 𝐮𝐮 ∵ 𝐃𝐃𝐃𝐃 = 𝐓𝐓𝐓𝐓 = 𝐈𝐈完全再構成を満たす 𝐌𝐌 = 2 0 0 2 ストライドとも呼ばれる 恒等写像 𝑠𝑠0 𝒏𝒏 𝒏𝒏 𝑠𝑠1 𝒏𝒏 𝒏𝒏 𝑠𝑠2 𝒏𝒏 𝒏𝒏 𝑠𝑠3 𝒏𝒏 𝒏𝒏
- 39. ２次元ウェーブレット変換 2-D 分析FB 2-D 合成FB 3レベルのツリー構成例 2019/1/17 秋田県立大学 画像信号処理 39 𝐬𝐬 = 𝐓𝐓𝐓𝐓 𝐮𝐮 = 𝐃𝐃𝐃𝐃 𝐬𝐬𝐮𝐮 𝐮𝐮 多重解像度表現を与える
- 40. 信号変換の効果 3レベル２次元ハールウェーブレット変換 𝐓𝐓 𝐃𝐃 2019/1/17 秋田県立大学 画像信号処理 40 デンス（密）な配列のスパース（疎）な表現を与える 絶対値 表示 𝐬𝐬𝐮𝐮
- 41. 合成処理の解釈 𝐮𝐮 = 𝐃𝐃𝐬𝐬の意味 列ベクトルの 線形結合 𝐝𝐝𝑘𝑘：要素画像 2019/1/17 秋田県立大学 画像信号処理 41 = …+ + + 𝐝𝐝0 𝐝𝐝1 𝐝𝐝𝐿𝐿−1 ・ ・ ・ 𝑠𝑠0 𝑠𝑠1 𝑠𝑠𝐿𝐿−1 𝐮𝐮 = 𝐮𝐮 ∈ 𝕂𝕂𝑁𝑁 𝐬𝐬 ∈ 𝕂𝕂𝐿𝐿 𝐃𝐃 ∈ ℝ𝑁𝑁×𝐿𝐿 𝐝𝐝0 𝐝𝐝1 𝐝𝐝𝐿𝐿−1 𝑠𝑠0 𝑠𝑠1 𝑠𝑠𝐿𝐿−1 3レベル 2-D ハール 変換 要素画像： 合成器の インパルス応答 係数 合成辞書 𝐝𝐝𝑘𝑘 𝑘𝑘 …
- 42. 様々な変換の要素画像 8 × 8 離散コサイン変換 (DCT) 3 レベル 9/7離散ウェーブレット変換 (9/7 DWT) 2019/1/17 秋田県立大学 画像信号処理 42 JPEGで採用 JPEG2000で採用
- 43. 変換符号化（JPEG/JPEG2000） 処理の流れの概略 𝐓𝐓 𝐃𝐃 逆量子化 量子化前処理 後処理 エントロピー 符号化 エントロピー 復号 符号化 復号 2019/1/17 秋田県立大学 画像信号処理 43 分析処理 合成処理
- 44. 画像符号化（圧縮）の例 2019/1/17 秋田県立大学 画像信号処理 44 JPEG2000(約16kB) JPEG(約16kB) 合成辞書の影響：大
- 46. 冗長性のない辞書 2019/1/17 秋田県立大学 画像信号処理 46 𝕂𝕂𝑁𝑁 𝕂𝕂𝑁𝑁 𝐮𝐮 𝐬𝐬𝐓𝐓 𝐃𝐃 非冗長辞書（ 𝐝𝐝𝑘𝑘 𝑘𝑘 ：基底） 𝐃𝐃 ∈ 𝕂𝕂𝑁𝑁×𝑁𝑁 𝐃𝐃𝐃𝐃 = 𝟎𝟎 ⇔ 𝐱𝐱 = 𝟎𝟎 𝐓𝐓 = 𝐃𝐃−1 ランク𝑁𝑁 を仮定 次元𝑁𝑁と同じ数 𝐮𝐮と𝐬𝐬は一対一対応 1 3 = 1 −1 1 1 𝐬𝐬 ⇔ 𝐬𝐬 = 1 −1 1 1 −1 1 3 = 2 1 𝐮𝐮 ∈ ℝ2 𝐃𝐃 ∈ ℝ2×2 𝐮𝐮 ∈ ℝ2 𝐓𝐓 ∈ ℝ2×2 冗長度：∑𝑝𝑝=0 𝑃𝑃−1 det 𝐌𝐌𝑝𝑝 −1 = 1
- 47. 冗長な辞書と零空間 2019/1/17 秋田県立大学 画像信号処理 47 𝕂𝕂𝑁𝑁 𝕂𝕂𝐿𝐿 𝐮𝐮 𝐃𝐃 𝐚𝐚 + Ker(𝐃𝐃) 𝐚𝐚𝐓𝐓 冗長辞書（ 𝐝𝐝𝑘𝑘 𝑘𝑘：フレーム） 𝐃𝐃 ∈ 𝕂𝕂𝑁𝑁×𝐿𝐿 𝐃𝐃𝐱𝐱 = 𝟎𝟎 ⇔ 𝐱𝐱 ∈ Ker 𝐃𝐃 𝐮𝐮 = 𝐃𝐃𝐃𝐃 ⇒ 𝐮𝐮 = 𝐃𝐃 𝐚𝐚 + 𝐱𝐱 ランク𝑁𝑁 を仮定 𝑁𝑁 < 𝐿𝐿 次元𝑁𝑁よりも多い 𝐮𝐮 = 𝐃𝐃𝐃𝐃 と 表現できる 𝐬𝐬 は無数 零空間 Ker 𝐃𝐃 ≜ 𝐱𝐱 ∈ ℝ𝐿𝐿 𝐃𝐃𝐃𝐃 = 𝟎𝟎1 0 1 0 1 1 −𝑥𝑥3 −𝑥𝑥3 𝑥𝑥3 = 𝟎𝟎 𝐱𝐱 ∈ ℝ3 𝐃𝐃 ∈ ℝ2×3 冗長度： ∑𝑝𝑝=0 𝑃𝑃−1 det 𝐌𝐌𝑝𝑝 −1 = 𝐿𝐿 𝑁𝑁 > 1
- 48. 冗長辞書と係数選択 （実数配列） 2-ノルム最小化問題 1-ノルム最小化問題 �𝐬𝐬 = arg min𝐬𝐬∈ℝ𝐿𝐿 𝐬𝐬 2 2 s. t 𝐮𝐮 = 𝐃𝐃𝐬𝐬 �𝐬𝐬 = 𝐃𝐃𝑇𝑇 𝐃𝐃𝐃𝐃𝑇𝑇 −1 𝐮𝐮 = 𝐃𝐃+ 𝐮𝐮 ムーア・ペンローズの一般逆行列 2019/1/17 秋田県立大学 画像信号処理 48 �𝐬𝐬 = arg min𝐬𝐬∈ℝ𝐿𝐿 𝐬𝐬 1 s. t 𝐮𝐮 = 𝐃𝐃𝐬𝐬 線形 計画法 �𝐳𝐳 = arg min𝐳𝐳∈ℝ2𝐿𝐿 𝟏𝟏𝑇𝑇 𝐳𝐳 s. t 𝐮𝐮 = 𝐃𝐃 𝐈𝐈 − 𝐈𝐈 𝐳𝐳 ∩ 𝐳𝐳 ≥ 𝟎𝟎 𝐳𝐳 = 𝐬𝐬+ 𝐬𝐬− ∈ ℝ2𝐿𝐿ただし， 𝑢𝑢1 = 1 2 = 2 3 1 3 𝑠𝑠1 𝑠𝑠2 �𝐬𝐬 = 3 10 2 1 �𝐬𝐬 = 1 4 3 0 軸上 スパース
- 49. 一般逆行列の導き方 ラグランジュの未定乗数法 束縛条件𝐃𝐃𝐃𝐃 − 𝐮𝐮 = 𝟎𝟎より， ℒ = 𝐬𝐬 2 2 −𝝀𝝀𝑇𝑇 𝐃𝐃𝐬𝐬 − 𝐮𝐮 = 𝐬𝐬 2 2 − 𝐃𝐃𝑇𝑇 𝝀𝝀, 𝐬𝐬 + 𝝀𝝀, 𝐮𝐮 勾配∇𝐬𝐬ℒ = 0となる条件を求める ∇𝐬𝐬ℒ = 2𝐬𝐬 − 𝐃𝐃𝑇𝑇 𝝀𝝀 = 0 ∴ 2𝐬𝐬 = 𝐃𝐃𝑇𝑇 𝝀𝝀 2𝐃𝐃𝐃𝐃 = 2𝐮𝐮 = 𝐃𝐃𝐃𝐃𝑇𝑇 𝝀𝝀より， 𝝀𝝀 = 2 𝐃𝐃𝐃𝐃𝑇𝑇 −1 𝐮𝐮 よって， 𝐬𝐬 = 𝐃𝐃𝑇𝑇 𝐃𝐃𝐃𝐃𝑇𝑇 −1 𝐮𝐮 = 𝐃𝐃+ 𝐮𝐮 2019/1/17 秋田県立大学 画像信号処理 49 𝑓𝑓: ℝ𝑁𝑁 → ℝ ∪ ∞ の勾配 ∇𝒙𝒙 𝒙𝒙 2 2 = 2𝒙𝒙 ∇𝒙𝒙 𝒚𝒚, 𝒙𝒙 = 𝒚𝒚 ∇𝒙𝒙 𝑓𝑓 𝒙𝒙 ≔ 𝜕𝜕𝑓𝑓 𝜕𝜕𝑥𝑥1 𝜕𝜕𝑓𝑓 𝜕𝜕𝑥𝑥2 ⋮ 𝜕𝜕𝑓𝑓 𝜕𝜕𝑥𝑥𝑁𝑁 𝑠𝑠1 𝑠𝑠2 = 1 3 2 1 1 9 2 1 2 1 −1 1 2 = 3 10 2 1 前頁の例 ※ パーセバルタイトフレーム ⇒ 𝐃𝐃𝐃𝐃𝑇𝑇 = 𝐈𝐈
- 50. 1-ノルム最小化の意義 0-擬ノルム最小化問題 2019/1/17 秋田県立大学 画像信号処理 50 �𝐬𝐬 = arg min𝐬𝐬∈ℝ𝐿𝐿 𝐬𝐬 0 s. t 𝐮𝐮 = 𝐃𝐃𝐬𝐬 𝐯𝐯 0 ≔ lim 𝑝𝑝→+0 � 𝑛𝑛=1 𝑁𝑁 𝑣𝑣𝑛𝑛 𝑝𝑝 = 𝑛𝑛 𝑣𝑣𝑛𝑛 ≠ 0 = …+ + 𝐝𝐝𝑛𝑛1 𝐝𝐝𝑛𝑛 𝐾𝐾 ・ ・ 𝑠𝑠𝑛𝑛1 𝑠𝑠𝑛𝑛 𝐾𝐾 非零係数の数 1-ノルムは0-擬ノルムの凸緩和 … 凸関数𝑓𝑓: 𝑉𝑉 → (−∞, ]∞ 𝑓𝑓 𝛼𝛼𝒙𝒙 + 1 − 𝛼𝛼 𝒚𝒚 ≤ 𝛼𝛼𝑓𝑓 𝒙𝒙 + 1 − 𝛼𝛼 𝑓𝑓 𝒚𝒚 ただし， 0 ≤ 𝛼𝛼 ≤ 1 最小化→凸最適化問題 少ない要素画像で スパースに表現 組み合わせ最適化問題 零係数の 要素画像 使わない NP 困難 非凸関数 軸上
- 51. 観測ノイズの考慮 【例】加法性白色ガウスノイズ(AWGN) 2019/1/17 秋田県立大学 画像信号処理 51 + -0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 0.3 0.4 0.5 0 2000 4000 6000 8000 10000 12000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 100 200 300 400 500 600 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 平均：𝛍𝛍 𝑤𝑤 = 𝟎𝟎 分散：𝜎𝜎𝑤𝑤 2 = 0.001 𝐮𝐮 𝐰𝐰 𝐯𝐯 = 𝐮𝐮 + 𝐰𝐰 ∼ 𝑁𝑁 𝐯𝐯 𝐮𝐮, 𝜎𝜎𝑤𝑤 2 𝐈𝐈 𝐰𝐰 ∼ 𝑁𝑁 𝐰𝐰 𝛍𝛍𝑤𝑤, 𝜎𝜎𝑤𝑤 2 𝐈𝐈 独立同分布（i.i.d.） 平均𝟎𝟎の 正規分布 平均𝐮𝐮の 正規分布 ヒストグラム 値が 揺らぐ
- 52. 観測𝐯𝐯の分布（AWGNの例） 𝐯𝐯 ∼ 𝑝𝑝 𝐯𝐯 𝐬𝐬 = 𝑁𝑁 𝐯𝐯 𝐮𝐮 = 𝐃𝐃𝐬𝐬, 𝜎𝜎𝑤𝑤 2 𝐈𝐈 ∝ exp − 𝐯𝐯−𝐃𝐃𝐬𝐬 2 2 2𝜎𝜎𝑤𝑤 2 係数𝐬𝐬の分布（事前→事後） 𝐬𝐬 ∼ 𝑝𝑝 𝐬𝐬 𝐯𝐯 ∝ 𝑝𝑝 𝐯𝐯 𝐬𝐬 𝑝𝑝 𝐬𝐬 係数𝐬𝐬の最大事後確率(MAP)推定 �𝐬𝐬 = arg max 𝐬𝐬 𝑝𝑝 𝐬𝐬 𝐯𝐯 = arg max 𝐬𝐬 𝑝𝑝 𝐯𝐯 𝐬𝐬 𝑝𝑝 𝐬𝐬 = arg max 𝐬𝐬 log 𝑝𝑝 𝐯𝐯 𝐬𝐬 𝑝𝑝 𝐬𝐬 = arg min 𝐬𝐬 − log 𝑝𝑝 𝐯𝐯 𝐬𝐬 𝑝𝑝 𝐬𝐬 = arg min 𝐬𝐬 1 2𝜎𝜎𝑤𝑤 2 𝐯𝐯 − 𝐃𝐃𝐃𝐃 2 2 − log 𝑝𝑝 𝐬𝐬 ノイズ除去問題 2019/1/17 秋田県立大学 画像信号処理 52 ベイズの定理 𝑝𝑝 𝑥𝑥 𝑦𝑦 = 𝑝𝑝 𝑦𝑦 𝑥𝑥 𝑝𝑝 𝑥𝑥 𝑝𝑝 𝑦𝑦 𝑝𝑝 𝐯𝐯 𝐬𝐬 事前分布 𝑝𝑝 𝐬𝐬 事後分布 𝑝𝑝 𝐬𝐬 𝐯𝐯 尤度関数 （条件𝐬𝐬が変数） 係数𝐬𝐬に関する 事前知識 観測𝐯𝐯により 分布を更新 観測𝐯𝐯 単調増加 正則化最小二乗問題に帰着 正則化項 𝐃𝐃 = 2 3 1 3 𝜎𝜎𝑤𝑤 2 = 0.001 条件 条件付分布の変換
- 53. 2-ノルム正則化 係数𝐬𝐬に正規分布(i.i.d.)を仮定 𝑝𝑝 𝐬𝐬 = 𝑁𝑁 𝐯𝐯 𝝁𝝁𝑠𝑠 = 𝟎𝟎, 𝜎𝜎𝑠𝑠 2 𝐈𝐈 ∝ exp − 𝐬𝐬 2 2 2𝜎𝜎𝑠𝑠 2 ∴ log 𝑝𝑝 𝐬𝐬 = − 𝐬𝐬 2 2 2𝜎𝜎𝑠𝑠 2 + const. Ridge正則化 �𝐬𝐬 = arg min 𝐬𝐬 1 2 𝐯𝐯 − 𝐃𝐃𝐃𝐃 2 2 + 𝜆𝜆 2 𝐬𝐬 2 2 = arg min 𝐬𝐬 − 𝐃𝐃𝑇𝑇 𝐯𝐯, 𝐬𝐬 + 1 2 𝐬𝐬𝑇𝑇 𝐃𝐃𝑇𝑇 𝐃𝐃𝐃𝐃 + 𝜆𝜆 2 𝐬𝐬 2 2 正規方程式と解析解 ∇𝐬𝐬 − 𝐃𝐃𝑇𝑇 𝐯𝐯, 𝐬𝐬 + 1 2 𝐬𝐬𝑇𝑇 𝐃𝐃𝑇𝑇 𝐃𝐃𝐃𝐃 + 𝜆𝜆 2 𝐬𝐬 2 2 = −𝐃𝐃𝑇𝑇 𝐯𝐯 + 𝐃𝐃𝑇𝑇 𝐃𝐃 + 𝜆𝜆𝐈𝐈 𝐬𝐬 = 𝟎𝟎 𝐃𝐃𝑇𝑇 𝐃𝐃 + 𝜆𝜆𝐈𝐈 の最小固有値≥ 𝜆𝜆 なので，𝜆𝜆 > 0ならば， det 𝐃𝐃𝑇𝑇 𝐃𝐃 + 𝜆𝜆𝐈𝐈 > 0 より， �𝐬𝐬 = 𝐃𝐃𝑇𝑇 𝐃𝐃 + 𝜆𝜆𝐈𝐈 −1 𝐃𝐃𝑇𝑇 𝐯𝐯 2019/1/17 秋田県立大学 画像信号処理 53 二次形式の勾配(𝑨𝑨 = 𝑨𝑨𝑇𝑇 ) ∇𝒙𝒙 𝒙𝒙𝑇𝑇 𝑨𝑨𝑨𝑨 = 2𝑨𝑨𝑨𝑨 正規方程式 𝜆𝜆 = 𝜎𝜎𝑤𝑤 2 𝜎𝜎𝑠𝑠 2 ：S/N比の逆数 𝐃𝐃 = 2 3 1 3 𝐯𝐯 = 1 2 解析的に解ける 正則化項 忠実項 ∵行列式は 全固有値の積 𝐃𝐃𝑇𝑇 𝐃𝐃は半正定置 固有値は非負 対称行列 二次形式 ※ 逆行列演算が高次元信号には向かない
- 54. 1-ノルム正則化 係数𝐬𝐬にラプラス分布(i.i.d.)を仮定 𝑝𝑝 𝐬𝐬 = 𝐿𝐿 𝐯𝐯 𝛍𝛍 = 𝟎𝟎, 𝑏𝑏 ∝ exp − 𝐬𝐬−𝛍𝛍 1 𝑏𝑏 ∴ log 𝑝𝑝 𝐬𝐬 = − 𝐬𝐬 1 𝑏𝑏 + const. Lasso正則化 �𝐬𝐬 = arg min 𝐬𝐬 1 2 𝐯𝐯 − 𝐃𝐃𝐃𝐃 2 2 + 𝜆𝜆 𝐬𝐬 1 辞書𝐃𝐃が正規直交 𝐃𝐃𝑇𝑇 = 𝐃𝐃−1 ならば， 𝐃𝐃𝐃𝐃 2 2 = 𝐱𝐱 2 2 (パーセバルの定理)より， �𝐬𝐬 = arg min 𝒔𝒔 1 2 𝐃𝐃𝑇𝑇 𝐯𝐯 − 𝒔𝒔 2 2 + 𝜆𝜆 𝐬𝐬 1 = arg min 𝒔𝒔 1 2 𝐜𝐜 − 𝒔𝒔 2 2 + 𝜆𝜆 𝒔𝒔 1 ̂𝑠𝑠𝑘𝑘 = arg min 𝑠𝑠 1 2 𝑐𝑐𝑘𝑘 − 𝑠𝑠 2 + 𝜆𝜆 𝑠𝑠 = 𝒯𝒯𝜆𝜆 𝒄𝒄 𝑘𝑘 = � 𝑐𝑐𝑘𝑘 + 𝜆𝜆 𝑐𝑐𝑘𝑘 ≤ −𝜆𝜆 0 𝑐𝑐𝑘𝑘 < 𝜆𝜆 𝑐𝑐𝑘𝑘 − 𝜆𝜆 𝑐𝑐𝑘𝑘 ≥ 𝜆𝜆 2019/1/17 秋田県立大学 画像信号処理 54 条件付きで 解析的に解ける 𝜆𝜆 = 𝜎𝜎𝑤𝑤 2 𝑏𝑏 𝐃𝐃 = 2 3 1 3 𝐯𝐯 = 1 2 正則化項 忠実項 軸上 ラプラス分布 成分毎の最適化に分離 ソフト閾値処理
- 55. ソフト閾値処理ノイズ除去 ２次元ハール変換の係数𝐬𝐬 ２次元ハールウェーブレット変換は正規直交(𝐃𝐃𝑇𝑇 = 𝐃𝐃−1) 分析 𝐓𝐓 = 𝐃𝐃𝑇𝑇 合成 𝐃𝐃： ： 入力 出力 𝜆𝜆 −𝜆𝜆 𝒯𝒯𝜆𝜆 𝐜𝐜 𝐜𝐜 �𝐬𝐬 𝐯𝐯 = 𝐮𝐮 + 𝐰𝐰 �𝐮𝐮 分析 𝐓𝐓 = 𝐃𝐃𝑇𝑇 ： 入力 𝐬𝐬 𝐮𝐮 2019/1/17 秋田県立大学 画像信号処理 55 移動差分成分はガウスよりラプラスに近い ノイズ除去 ヒストグラム 移動平均成分を繰り返し分析 一般的には逐次最適化を使う フィード フォワード処理
- 57. スパース信号復元モデル 信号の劣化／復元モデル 𝐯𝐯 観測 信号 𝐮𝐮 未知の 原信号 𝐏𝐏 + 𝐰𝐰観測過程 AWGN 𝐃𝐃 𝐬𝐬⋆ 𝐃𝐃 �𝐬𝐬 辞書 変換係数 �𝐮𝐮 復元 信号 復元 𝐯𝐯 = 𝐏𝐏𝐏𝐏 + 𝐰𝐰 𝐮𝐮 = 𝐃𝐃𝐬𝐬⋆ 𝐬𝐬⋆ はスパース 仮定 �𝐬𝐬 = argmin 𝒔𝒔 1 2 𝐯𝐯 − 𝐏𝐏𝐏𝐏𝒔𝒔 2 2 + 𝜆𝜆𝜌𝜌 𝒔𝒔 �𝐮𝐮 = 𝐃𝐃�𝐬𝐬 正則化項 問題 設定 2019/1/17 秋田県立大学 画像信号処理 57 忠実項 生成 過程 ＋制約
- 58. モデリングとアルゴリズム 信号復元の３つの要素 信号モデル 観測対象の生成過程 【例】 係数領域でスパース 観測モデル 観測過程の決定的部分 【例】 点広がり関数(PSF) 雑音モデル 観測過程の確率的部分 【例】 加法性白色ガウスノイズ 2019/1/17 58 何が未知で何が既知か？ 使える事前知識は？ 最適化アルゴリズムは？ 機械学習アルゴリズムは？ 辞書（変換）𝐃𝐃が未知ならば 辞書学習を行う 観測過程が未知ならば システム同定を行う 秋田県立大学 画像信号処理
- 59. 画像復元問題と観測過程の対応 画像復元 問題 観測過程 𝐏𝐏 ボケ除去 レンズの点広がり関数や手ブレによるボケを 線形フィルタ𝐇𝐇により𝐏𝐏 = 𝐇𝐇とモデル化 超解像 低解像度の観測過程を線形フィルタ𝐇𝐇と 間引き処理𝐒𝐒↓により 𝐏𝐏 = 𝐒𝐒↓ 𝐇𝐇 とモデル化 画像修復 画素欠損を対角成分が0か１の 対角行列𝚲𝚲により𝐏𝐏 = 𝚲𝚲とモデル化 圧縮センシング 観測システムをランダム行列𝐇𝐇と （不規則）間引き処理𝐒𝐒↓により𝐏𝐏 = 𝐒𝐒↓ 𝐇𝐇 とモデル化 2019/1/17 秋田県立大学 画像信号処理 59
- 60. 最急降下法（勾配法） 問題設定 �𝒙𝒙 = arg min 𝒙𝒙∈𝑉𝑉 𝑓𝑓 𝒙𝒙 𝑓𝑓 ⋅ は微分可能な凸関数 アルゴリズム（初期値：𝒙𝒙 0 , 𝑡𝑡 ← 0） 𝒙𝒙 𝑡𝑡+1 ← 𝒙𝒙 𝑡𝑡 − 𝛾𝛾∇𝒙𝒙 𝑓𝑓 𝒙𝒙 𝑡𝑡 𝑡𝑡 ← 𝑡𝑡 + 1 𝛾𝛾 > 0はステップサイズ 【例】 𝜌𝜌 ⋅ = 1 2 ⋅ 2 2 (2-ノルム正則化）による信号復元 𝑓𝑓 𝒔𝒔 = 1 2 𝐯𝐯 − 𝐏𝐏𝐏𝐏𝒔𝒔 2 2 + 𝜆𝜆 2 𝒔𝒔 2 2 よって ∇𝒔𝒔 𝑓𝑓 𝒔𝒔 = 𝐃𝐃𝑇𝑇 𝐏𝐏𝑇𝑇 𝐏𝐏𝐏𝐏𝒔𝒔 − 𝐯𝐯 + 𝜆𝜆𝒔𝒔 2019/1/17 秋田県立大学 画像信号処理 60 行列を含む勾配 ∇𝒙𝒙 𝑓𝑓 𝑨𝑨𝑨𝑨 = 𝑨𝑨𝑇𝑇 ∇𝒚𝒚 𝑓𝑓 𝒚𝒚 𝒚𝒚 = 𝑨𝑨𝑨𝑨 逆行列演算が不要で，高次元信号に適用可 転置システム𝐃𝐃𝑇𝑇 𝐏𝐏𝑇𝑇 はどうする？ 勾配降下 𝐃𝐃 = 2 3 1 3 𝐯𝐯 = 1 2
- 61. 随伴（転置）システムの例 （実数配列） 𝐀𝐀 = 𝐁𝐁𝑇𝑇 ⇔ 𝐲𝐲, 𝐀𝐀𝐀𝐀 = 𝐁𝐁𝐁𝐁, 𝐱𝐱 , 𝐀𝐀と𝐁𝐁は互いに随伴 2019/1/17 秋田県立大学 画像信号処理 61 随伴システムによる処理は転置行列による演算と等価 ∵可換図 𝐀𝐀 𝐁𝐁 最大特異値 𝜎𝜎max 𝐀𝐀 = 𝜎𝜎max 𝐁𝐁 （巡回）畳み込み インパルス応答 ℎ 𝒏𝒏 𝒏𝒏 （巡回）畳み込み インパルス応答 ℎ −𝒏𝒏 𝒏𝒏 max 𝐻𝐻∗ 𝒌𝒌 𝒌𝒌⨀ 𝐻𝐻 𝒌𝒌 𝒌𝒌 𝐻𝐻 𝒌𝒌 𝒌𝒌： ℎ 𝒏𝒏 𝒏𝒏のDFT 間引き処理 （↓ 𝐌𝐌） 零挿入処理 （↑ 𝐌𝐌） 1 画素欠損（自己随伴） 1 分析フィルタバンク ℎ𝑝𝑝 𝒏𝒏 𝒏𝒏 , ↓ 𝐌𝐌𝑝𝑝 𝑝𝑝 合成フィルタバンク ↑ 𝐌𝐌𝑝𝑝, ℎ𝑝𝑝 −𝒏𝒏 𝒏𝒏 𝑝𝑝 𝐁𝐁𝐁𝐁 = 𝐈𝐈 ならば パーセバルタイトフレーム 1
- 62. 近接勾配法 問題設定 �𝒙𝒙 = arg min 𝒙𝒙∈𝑉𝑉 𝑓𝑓 𝒙𝒙 + 𝑔𝑔 𝒙𝒙 𝑓𝑓 ⋅ は微分可能な凸関数(𝛽𝛽-平滑） 𝑔𝑔 ⋅ は微分不可能な点を含む凸関数 アルゴリズム（初期値：𝒙𝒙 0 , 𝑡𝑡 ← 0） 𝒙𝒙 𝑡𝑡+1 ← prox𝛾𝛾𝛾𝛾 𝒙𝒙 𝑡𝑡 − 𝛾𝛾∇𝒙𝒙 𝑓𝑓 𝒙𝒙 𝑡𝑡 𝑡𝑡 ← 𝑡𝑡 + 1 𝛾𝛾 > 0はステップサイズ（𝛾𝛾 ≤ 2/𝛽𝛽，𝛽𝛽は∇𝑓𝑓 ⋅ のリプシッツ定数） 【例】 𝜌𝜌 ⋅ = ⋅ 1 (1-ノルム正則化）による信号復元 𝑓𝑓 𝒔𝒔 = 1 2 𝐯𝐯 − 𝐏𝐏𝐏𝐏𝒔𝒔 2 2 , 𝑔𝑔 𝒔𝒔 = 𝜆𝜆 𝒔𝒔 1 ここで， ∇𝒔𝒔 𝑓𝑓 𝒔𝒔 = 𝐃𝐃𝑇𝑇 𝐏𝐏𝑇𝑇 𝐏𝐏𝐏𝐏𝒔𝒔 − 𝐯𝐯 , prox𝛾𝛾𝛾𝛾 ⋅ 1 𝒔𝒔 = 𝒯𝒯𝛾𝛾𝛾𝛾 𝒔𝒔 2019/1/17 秋田県立大学 画像信号処理 62 𝑔𝑔 ⋅ の近接写像 ISTA（繰返し縮退閾値処理アルゴリズム） FISTA Nesterovの加速 𝛽𝛽 = 𝜎𝜎max 𝐏𝐏𝐏𝐏 2 𝑓𝑓 ⋅ の勾配降下 𝐃𝐃がパーセバルタイトなら 𝜎𝜎max 𝐏𝐏𝐏𝐏 = 𝜎𝜎max 𝐏𝐏 𝐃𝐃 = 2 3 1 3 𝐯𝐯 = 1 2
- 63. 近接写像 近接写像の定義（𝛾𝛾 > 0） 𝒙𝒙 𝑖𝑖+1 ← prox𝛾𝛾𝛾𝛾 𝒙𝒙 𝑖𝑖 ≔ arg min 𝒚𝒚 𝑔𝑔 𝒚𝒚 + 1 2𝛾𝛾 𝒚𝒚 − 𝒙𝒙 𝑖𝑖 2 2 近接写像（prox）可能な関数の例 sgn ⋅ ，abs ⋅ ， ⋅ +：要素毎の符号関数，絶対値，ランプ（ReLU)関数 ⨀ ：成分毎の積（アダマール積），𝟏𝟏：各成分が1のベクトル 𝐶𝐶：閉凸集合（ボックス制約，ノルムボール制約など） 2019/1/17 秋田県立大学 画像信号処理 63 凸関数𝑔𝑔 𝒙𝒙 近接写像prox𝛾𝛾𝛾𝛾 𝒙𝒙 自乗誤差 1 2 𝒙𝒙 − 𝐯𝐯 2 2 加重平均 𝒜𝒜𝐯𝐯,𝛾𝛾 𝒙𝒙 = 1 1+𝛾𝛾 𝒙𝒙 + 1 − 1 1+𝛾𝛾 𝐯𝐯 1-ノルム 𝒙𝒙 1 ソフト閾値 𝒯𝒯𝛾𝛾 𝒙𝒙 = sgn 𝒙𝒙 ⨀ abs 𝒙𝒙 − 𝛾𝛾𝟏𝟏 + 指示関数 𝚤𝚤𝐶𝐶 𝒙𝒙 = � 0 𝒙𝒙 ∈ 𝐶𝐶 ∞ 𝒙𝒙 ∉ 𝐶𝐶 距離射影 𝒫𝒫𝐶𝐶 𝒙𝒙 = arg min 𝒚𝒚∈𝐶𝐶 𝒚𝒚 − 𝒙𝒙 2 2 勾配降下 近接写像 微分可能 微分不可 関数値が下がる 方向に変数を移動 prox 可能：proxが閉じた形
- 64. 主-双対近接分離法 問題設定 �𝒙𝒙 = arg min 𝒙𝒙∈𝑉𝑉 𝑓𝑓 𝒙𝒙 + 𝑔𝑔 𝒙𝒙 + ℎ 𝐋𝐋𝒙𝒙 𝑓𝑓 ⋅ は微分可能な凸関数(𝛽𝛽-平滑） 𝑔𝑔 ⋅ , ℎ ⋅ は微分不可能な点を含む凸関数 アルゴリズム（初期値：𝒙𝒙 0 , 𝒚𝒚 0 , 𝑡𝑡 ← 0） 𝒙𝒙 𝑡𝑡+1 ← prox𝛾𝛾1 𝑔𝑔 𝒙𝒙 𝑡𝑡 − 𝛾𝛾1 ∇𝒙𝒙 𝑓𝑓 𝒙𝒙 𝑡𝑡 + 𝐋𝐋𝑇𝑇 𝒚𝒚 𝑡𝑡 𝒚𝒚 𝑡𝑡+1 ← prox𝛾𝛾2ℎ∗ 𝒚𝒚 𝑡𝑡 + 𝛾𝛾2 𝐋𝐋 2𝒙𝒙 𝑡𝑡+1 − 𝒙𝒙 𝑡𝑡 𝑖𝑖 ← 𝑖𝑖 + 1 𝛾𝛾1, 𝛾𝛾2 > 0はステップサイズ（𝛾𝛾1 −1 − 𝛾𝛾2 𝜎𝜎max 𝐋𝐋 𝟐𝟐 ≥ 𝛽𝛽/2， 𝛽𝛽は∇𝑓𝑓 ⋅ のリプシッツ定数） 【例】 正則化𝜌𝜌 ⋅ = ⋅ 1と制約𝐮𝐮 ∈ 𝐶𝐶による信号復元 𝑓𝑓 𝒔𝒔 = 1 2 𝐯𝐯 − 𝐏𝐏𝐏𝐏𝒔𝒔 2 2 , 𝑔𝑔 𝒔𝒔 = 𝜆𝜆 𝒔𝒔 1, ℎ 𝐋𝐋𝒔𝒔 = 𝜄𝜄𝐶𝐶 𝐋𝐋𝒔𝒔 , 𝐋𝐋 = 𝐃𝐃 ここで， ∇𝒔𝒔 𝑓𝑓 𝒔𝒔 = 𝐃𝐃𝑇𝑇 𝐏𝐏𝑇𝑇 𝐏𝐏𝐏𝐏𝒔𝒔 − 𝐯𝐯 , prox𝛾𝛾𝛾𝛾 ⋅ 1 𝒔𝒔 = 𝒯𝒯𝛾𝛾𝛾𝛾 𝒔𝒔 prox𝛾𝛾ℎ∗ 𝒖𝒖 = 𝒖𝒖 − 𝛾𝛾prox𝛾𝛾−1ℎ 𝛾𝛾−1 𝒖𝒖 = 𝒖𝒖 − 𝛾𝛾𝒫𝒫𝐶𝐶 𝛾𝛾−1 𝒖𝒖 2019/1/17 秋田県立大学 画像信号処理 64 制約付き ISTA ℎ ⋅ の凸共役の 近接写像 𝐃𝐃 = 2 3 1 3 𝐯𝐯 = 1 2 𝐶𝐶: − 1 2 ≤ 𝐃𝐃𝐃𝐃 ≤ 0
- 66. 辞書学習 問題設定の例 �𝛉𝛉, �𝐱𝐱 𝑛𝑛 𝑛𝑛 = arg min 𝜽𝜽, 𝒙𝒙𝑛𝑛 𝐽𝐽 𝜽𝜽, 𝒙𝒙𝑛𝑛 𝑛𝑛 𝐲𝐲𝑛𝑛 𝑛𝑛 𝐽𝐽 𝜽𝜽, 𝒙𝒙𝑛𝑛 𝑛𝑛 𝐲𝐲𝑛𝑛 𝑛𝑛 ≔ 1 𝑆𝑆 � 𝑛𝑛=1 𝑆𝑆 1 2 𝐲𝐲𝑛𝑛 − 𝐃𝐃𝜽𝜽 𝒙𝒙𝑛𝑛 2 2 + 𝑔𝑔 𝒙𝒙𝑛𝑛 スパース近似ステップ（辞書𝐃𝐃�𝛉𝛉 を固定） �𝐱𝐱 𝑛𝑛 = arg min 𝒙𝒙 1 2 𝐲𝐲𝑛𝑛 − 𝐃𝐃�𝛉𝛉 𝒙𝒙 2 2 + 𝑔𝑔 𝒙𝒙 , 𝑛𝑛 ∈ 1,2, ⋯ , 𝑆𝑆 辞書更新ステップ（係数 �𝐲𝐲𝑛𝑛 𝑛𝑛を固定） �𝛉𝛉 = arg min 𝜽𝜽 1 2𝑆𝑆 ∑𝑛𝑛=1 𝑆𝑆 𝐲𝐲𝑛𝑛 − 𝐃𝐃𝜽𝜽 �𝐱𝐱 𝑛𝑛 2 2 スパース近似 辞書更新 収束 true false 𝐲𝐲𝑛𝑛 𝑛𝑛 𝐃𝐃�𝜽𝜽 事例データ 設計辞書 2019/1/17 秋田県立大学 画像信号処理 66 正則化の代わりに 制約の場合もある 【例】 s.t. 𝒙𝒙𝑛𝑛 0 ≤ 𝐾𝐾 良いスパース近似を与える辞書𝐃𝐃𝜽𝜽 を設計 𝜽𝜽は，設計パラメータ
- 67. 辞書更新ステップ 第𝑛𝑛番目事例の誤差エネルギー：𝐸𝐸𝑛𝑛 𝜽𝜽 = 1 2 𝐲𝐲𝑛𝑛 − 𝐃𝐃𝜽𝜽 �𝐱𝐱 𝑛𝑛 2 2 = 1 2 𝒓𝒓𝑛𝑛 𝜽𝜽 2 2 第𝑛𝑛番目事例の勾配： ∇𝜽𝜽 𝐸𝐸𝑛𝑛 𝜽𝜽 𝑞𝑞 = 𝜕𝜕 𝜕𝜕𝜃𝜃𝑞𝑞 𝐸𝐸𝑛𝑛 𝜽𝜽 = − 𝒓𝒓𝑛𝑛 𝜽𝜽 , 𝜕𝜕 𝜕𝜕𝜃𝜃𝑞𝑞 𝐃𝐃𝜽𝜽 �𝐱𝐱 𝑛𝑛 もし， 𝐃𝐃𝜽𝜽 = 𝐅𝐅𝐼𝐼 𝐅𝐅𝐼𝐼−1 ⋯ 𝐅𝐅1 ⇒ ∇𝜽𝜽 𝐸𝐸𝑛𝑛 𝜽𝜽 𝑞𝑞𝑖𝑖, 𝑘𝑘 = − 𝐅𝐅𝑖𝑖+1 𝑇𝑇 ⋯ 𝐅𝐅𝐼𝐼−1 𝑇𝑇 𝐅𝐅𝐼𝐼 𝑇𝑇 𝒓𝒓𝑛𝑛 𝜽𝜽 , 𝜕𝜕 𝜕𝜕𝜃𝜃𝑞𝑞𝑖𝑖, 𝑘𝑘 𝐅𝐅𝑖𝑖 𝐅𝐅𝑖𝑖−1 ⋯ 𝐅𝐅1 �𝐱𝐱 𝑛𝑛 最急降下法（一般に𝐸𝐸𝑛𝑛 𝜽𝜽 は非凸関数→局所最小解に収束） 𝜽𝜽 𝑡𝑡+1 ← 𝜽𝜽 𝑡𝑡 − 𝜂𝜂𝑡𝑡 1 𝑆𝑆 � 𝑛𝑛=1 𝑆𝑆 ∇𝜽𝜽 𝐸𝐸𝑛𝑛 𝜽𝜽 確率的勾配降下法(SGD) 𝜽𝜽 𝑡𝑡+1 ← 𝜽𝜽 𝑡𝑡 − 𝜂𝜂𝑡𝑡∇𝜽𝜽 𝐸𝐸𝑛𝑛𝑡𝑡 𝜽𝜽 2019/1/17 秋田県立大学 画像信号処理 67 全事例の勾配を平均 事例毎の勾配で近似計算量削減 局所解脱出 𝜃𝜃𝑞𝑞𝑖𝑖, 𝑘𝑘 は𝐅𝐅𝑖𝑖のパラメータ 誤差逆伝播 縦続接続構造
- 68. 二次元畳み込み辞書の学習例 Lenaによる学習辞書（合成フィルタバンク） 二次元非分離冗長重複変換(2D-NSOLT) [Muramatsu+,ICASSP2014] 2019/1/17 秋田県立大学 画像信号処理 68 事例 学習辞書（パーセバルタイトフレーム）
- 69. 三次元畳み込み辞書の学習例 MRbrainによる学習辞書（合成フィルタバンク） 三次元非分離冗長重複変換(3D-NSOLT) [Muramatsu+,ICIP2016] 2019/1/17 秋田県立大学 画像信号処理 事例 学習辞書（パーセバルタイトフレーム）
- 70. 学習ISTA（LISTA）[Gregor+,ICML2010] 多層畳み込みスパース符号化（ML-CSC）[Sulam+, TSP2018] 𝐽𝐽 𝑫𝑫ℓ ℓ, 𝒙𝒙𝑛𝑛 𝑛𝑛 𝐲𝐲𝑛𝑛 𝑛𝑛 ≔ 1 𝑆𝑆 � 𝑛𝑛=1 𝑆𝑆 1 2 𝐲𝐲𝑛𝑛 − 𝑫𝑫1 𝑫𝑫2 ⋯ 𝑫𝑫𝐼𝐼 𝒙𝒙𝑛𝑛 2 2 + 𝑔𝑔 𝒙𝒙𝑛𝑛 + � ℓ=1 𝐼𝐼 ℎ 𝑫𝑫ℓ ※𝑾𝑾 = 𝐈𝐈 − 𝛾𝛾𝐃𝐃𝑇𝑇 𝐃𝐃 ⇒ISTA𝒯𝒯𝛾𝛾𝛾𝛾(⋅) フィードフォワード展開 2019/1/17 秋田県立大学 画像信号処理 70 𝑻𝑻 𝑾𝑾 + ++ 𝐲𝐲 𝑾𝑾 𝑾𝑾 𝐱𝐱 0 𝐱𝐱 1 𝐱𝐱 T−1 順伝播 ※𝑻𝑻 = 𝛾𝛾𝐃𝐃𝑇𝑇 ⇒ISTA 𝛿𝛿𝐱𝐱 T = 𝐱𝐱⋆ − �𝐱𝐱 順伝播順伝播 逆伝播逆伝播逆伝播𝛿𝛿𝑾𝑾, 𝛿𝛿𝑻𝑻, 𝛿𝛿𝛿𝛿 𝛿𝛿𝐱𝐱 T−1𝛿𝛿𝐱𝐱 1𝛿𝛿𝐱𝐱 0 スパース近似 パラメータ更新 �𝐱𝐱 = 𝐱𝐱 T 畳み込み辞書の縦続接続 係数正則化 辞書正則化 スパース係数 データ
- 71. 非線形辞書への一般化 第𝑛𝑛番目事例の誤差エネルギー：𝐸𝐸𝑛𝑛 𝜽𝜽 = 1 2 𝐲𝐲𝑛𝑛 − 𝒈𝒈𝜽𝜽(�𝐱𝐱 𝑛𝑛) 2 2 = 1 2 𝒓𝒓𝑛𝑛 𝜽𝜽 2 2 ∇𝜽𝜽 𝐸𝐸𝑛𝑛 𝜽𝜽 𝑞𝑞 = 𝜕𝜕 𝜕𝜕𝜃𝜃𝑞𝑞 𝐸𝐸𝑛𝑛 𝜽𝜽 = − 𝒓𝒓𝑛𝑛 𝜽𝜽 , 𝜕𝜕 𝜕𝜕𝜃𝜃𝑞𝑞 𝒈𝒈𝜽𝜽(�𝐱𝐱𝑛𝑛) もし， 𝒈𝒈𝜽𝜽(⋅) = 𝒇𝒇𝐼𝐼 ∘ 𝒇𝒇𝐼𝐼−1 ∘ ⋯ ∘ 𝒇𝒇1 ⋅ （かつ、微分可能） ⇒ ∇𝜽𝜽 𝐸𝐸𝑛𝑛 𝜽𝜽 𝑞𝑞𝑖𝑖, 𝑘𝑘 = − 𝜕𝜕𝒇𝒇𝑖𝑖+1 𝜕𝜕𝒇𝒇𝑖𝑖 𝑇𝑇 ⋯ 𝜕𝜕𝒇𝒇𝐼𝐼−1 𝜕𝜕𝒇𝒇𝐼𝐼−2 𝑇𝑇 𝜕𝜕𝒇𝒇𝐼𝐼 𝜕𝜕𝒇𝒇𝐼𝐼−1 𝑇𝑇 𝒓𝒓𝑛𝑛 𝜽𝜽 , 𝜕𝜕 𝜕𝜕𝜃𝜃𝑞𝑞𝑖𝑖, 𝑘𝑘 𝒇𝒇𝑖𝑖 ∘ 𝒇𝒇𝑖𝑖−1 ∘ ⋯ ∘ 𝒇𝒇1 �𝐱𝐱𝑛𝑛 【例】 𝒇𝒇𝜽𝜽𝑖𝑖 𝒙𝒙 = 𝜙𝜙𝑖𝑖 𝑭𝑭𝑖𝑖 𝒙𝒙 （𝑭𝑭𝑖𝑖：合成フィルタバンク， 𝜙𝜙𝑖𝑖：要素毎の非線形関数） 畳み込みニューラルネット(CNN) 非可微分関数(ReLU)，順序統計処理（Max pooling）も利用 信号復元応用では観測過程と生成過程を混在させて学習 【例】 残差学習U-net [Jin+,TIP2017] 2019/1/17 秋田県立大学 画像信号処理 71 非線形辞書 𝒈𝒈𝜽𝜽: ℝ𝐿𝐿 → ℝ𝑁𝑁 𝜕𝜕𝒇𝒇 𝜕𝜕𝒙𝒙 ≔ 𝜕𝜕𝑓𝑓1 𝜕𝜕𝑥𝑥1 ⋯ 𝜕𝜕𝑓𝑓1 𝜕𝜕𝑥𝑥𝑁𝑁 ⋮ ⋱ ⋮ 𝜕𝜕𝑓𝑓𝑀𝑀 𝜕𝜕𝑥𝑥1 ⋯ 𝜕𝜕𝑓𝑓𝑀𝑀 𝜕𝜕𝑥𝑥𝑁𝑁 𝜕𝜕 𝜕𝜕𝒙𝒙 𝑨𝑨𝑨𝑨 = 𝑨𝑨 𝜕𝜕𝒇𝒇 ∘ 𝒈𝒈 𝜕𝜕𝒙𝒙 = 𝜕𝜕𝒇𝒇 𝜕𝜕𝒈𝒈 𝜕𝜕𝒈𝒈 𝜕𝜕𝒙𝒙 誤差逆伝播 + skip connection U-net 大量のデータと（試行錯誤的な） アーキテクチャ，アルゴリズムの工夫により パラメータを最適化 𝐯𝐯 �𝐮𝐮 𝜃𝜃𝑞𝑞𝑖𝑖, 𝑘𝑘 は𝒇𝒇𝑖𝑖(⋅)のパラメータ
- 72. まとめ 線形代数と信号処理の関連について確認 スパース表現の信号復元における有用性を概説 畳み込みネットワークを利用したモデリングを紹介 参考文献 1. 村松正吾，「MATLABによる画像＆映像信号処理」，CQ出版 (2007/5) 2. 鈴木大慈，「確率的最適化」，講談社 (2015/8) 3. 冨岡亮太， 「スパース性に基づく機械学習」，講談社 (2015/12) 4. 金森敬文，鈴木大慈，竹内一郎，佐藤一誠， 「機械学習のための連続最適化」 ，講談社 (2016/12) 5. 永原正章，「スパースモデリング～基礎から動的システムへの応用～」 ，コロナ社 (2017/10) 6. Michael Elad（著），玉木徹（訳），「スパースモデリング：ℓ1/ℓ0ノルム最小化の基礎理論と画像処理への応用」，共立出版 (2016/4) 7. 小野峻佑，”コンピュータビジョンにおける凸最適化”，米谷竜，斎藤英雄（編），「コンピュータビジョンー広がる要素技術と応用ー」, pp.121-140, 共立出版 (2018/6) 8. K. Gregor and Y. LeCun, “Learning fast approximations of sparse coding,” in Proc. 27th Int. Conf. Machine Learning, pp. 399–406 (2010/6). 9. L. Condat, "A Primal-Dual Splitting Method for Convex Optimization Involving Lipschitzian, Proximable and Linear Composite Terms", in Journal of Optimization Theory and Applications, vol. 158, no.2, pp.460-479 (2013/8). 10. S. Muramatsu, "Structured dictionary learning with 2-D non-separable oversampled lapped transform," 2014 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 2624-2628 (2014/5). 11. N. Komodakis and J. Pesquet, "Playing with Duality: An overview of recent primal-dual approaches for solving large-scale optimization problems," in IEEE Signal Processing Magazine, vol. 32, no. 6, pp. 31-54 (2015/11). 12. S. Muramatsu, M. Ishii and Z. Chen, "Efficient parameter optimization for example-based design of nonseparable oversampled lapped transform," 2016 IEEE International Conference on Image Processing (ICIP), pp. 3618-3622 (2016/9). 13. S. Muramatsu, K. Furuya and N. Yuki, “Multidimensional nonseparable oversampled lapped transforms: theory and design,” in IEEE Transactions on Signal Processing, vol. 65, no. 5, pp. 1251-1264 (2017/3). 14. K. H. Jin, M. T. McCann, E. Froustey and M. Unser, "Deep Convolutional Neural Network for Inverse Problems in Imaging," in IEEE Transactions on Image Processing, vol. 26, no. 9, pp. 4509-4522 (2017/9). 15. M. T. McCann, K. H. Jin and M. Unser, "Convolutional Neural Networks for Inverse Problems in Imaging: A Review," in IEEE Signal Processing Magazine, vol. 34, no. 6, pp. 85-95 (2017/11). 16. A. Lucas, M. Iliadis, R. Molina and A. K. Katsaggelos, "Using Deep Neural Networks for Inverse Problems in Imaging: Beyond Analytical Methods," in IEEE Signal Processing Magazine, vol. 35, no. 1, pp. 20-36 (2018/1). 17. J. Sulam, V. Papyan, Y. Romano and M. Elad, "Multilayer Convolutional Sparse Modeling: Pursuit and Dictionary Learning," in IEEE Transactions on Signal Processing, vol. 66, no. 15, pp. 4090-4104, 1 (2018/8). 2019/1/17 秋田県立大学 画像信号処理 72