Empfohlen
Weitere ähnliche Inhalte
Empfohlen
Empfohlen (20)
Grl44 hotta
- 1. 部分空間法とパターン認識 ∼ 世界を部分空間で理解する∼ 堀田政二 ´東京農工大学µ ×¹ ÓØØ ºØ٠غ º Ô 第 回 ¾¼½ ÊÄ 浜松セミナー 年¾月¾ 日 ´½µ
- 2. 講演内容 Á 自己紹介と大学の仕事について Á 最近の研究内容（当日参加された方々のみ） Á メイク顔推定 Á マンガの解析 Á 部分空間法のお話し ※ スライドは難しく見えますが，デモも絡めて易しく喋ります Å ÌÄ や Ç Ø Ú ¸ Ë Ð を使っている人は下記も参照するとい いでしょう Á ØØÔ »»ÛÛÛºØ٠غ º Ô» ×¹ ÓØØ »Ê˾¼½¾» ØØÔ »»ÛÛÛºØ٠غ º Ô» ×¹ ÓØØ »××¾¼½¼» ØØÔ »»ÛÛÛºØ٠غ º Ô» ×¹ ÓØØ »××¾¼¼ » お知らせ ´¾µ
- 3. 自己紹介 詳しくはウェブで ØØÔ »»ÛÛÛºØ٠غ º Ô» ×¹ ÓØØ » ´¿µ
- 4. ´ µ A@98765 EDCEDC ¡ 0)(' B ¢£ ¢£¥ £¦ ¡ ©¨¤§ VU 432121 ¡ATSRQPIHGF %$# ¡©¨¤§ £¦ ¢£¥ ¢£ ¡ ! 大学の外と中
- 5. 大学教員の仕事 ´ µ
- 6. 鏡像を考慮した単峰ガウス分布と部分空間法 部分空間法 学習 驚きの小さい低次元の空間 ´部分空間µ をクラスごとに求める 認識 未知パターンを最も驚き ´誤差µ の小さいクラスへ分類する h ™˜—–•”“’‘ ƒ‚‰ˆ‡†…uts €yxwv„ ed ck1 + ck 2 + c jr = + ckr = vutˆsp ƒhˆsqr onhgf + cj2 lll lll gf c j1 5 i m ‚kj Á Á ´½ µ
- 7. エントロピー最小化と幾何学的解釈 Á 学習 クラス毎にエントロピーが最小となるような部分空間軸を求める Ñ Ò Ù Á Ô ½ ´Ù µ ÐÓ Ô ´Ù µ È 認識 次元削減 · 内積演算 Ö Û ´Ù ܵ¾ が最大となるクラスへ Ü を分類 ½ x u2 u1 UT x j −x ´½ µ
- 8. 本講演の要点と部分空間法の開発者 要点 ベイズ決定則と部分空間法との関係を示す² 統計的に拡張 È´ ܵ È ´ µÔ´Ü Դܵ µ Á ¼ 年以上誰も明文化できなかった² Á 理論的な改良・拡張が可能に 飯島泰蔵 ´½ ¾ ¹ µ 東京工業大学電気工学科卒 視覚パターン認識に関する統一的基礎理論の構築 超高性能 Ç Ê ËÈ Ì» ½ の研究開発 電総研 ² 東芝による国家プロジェクト ´通産省µ 北陸先端大大学院大学名誉教授等を歴任 Ï ½¾ Í Ü ½½ ¾ 年間の念願 渡辺慧 ´½ ½¼¹½ ¿µ 東京帝国大学理学部物理学科卒 ド・ブロイのもとでドクトル・デタ ´国家博士µ 取得 エントロピー概念の情報理論への応用 ´シャノンより先µ ルネサンス人の最後の一人 とも称される ハワイ大学名誉教授，国際時間学会会長等を歴任 ´½ µ
- 9. 部分空間法の誕生の経緯 Á 飯島先生 テンプレートマッチングの拡張 Á 渡辺先生 エントロピー最小化の枠組みから導出 部分空間法の問題点 Á ベイズ決定則との関連性が不明瞭 È´ ܵ È ´ µÔ´Ü Դܵ µ これが分かれば・ ・ ・ Á 部分空間法を深く理解可能に Á 統計的な側面からの拡張が可能に ´½ µ
- 11. 鏡像を考慮したガウス分布に対する最尤推定 における多次元ガウス分布 ½ ½ ¾ ´Ü Æ ´Ü ¦µ Á Á ¦ ½´Ü ¢ ½ の母平均 ¢ の母分散共分散行列 ¦ ´¾ µ ¾ ¦ ½ ¾ ÜÔ µ µ これらを与えられた訓練標本だけで最尤推定で推定すると部分空 間法は導出できない Ü · の零元に関する鏡像 Ü を含めて最尤推定 ´¾¼µ
- 13. 最尤推定の結果 ¼ ¦ Æ ´Ü ¦µ Ê ，ただし Ê ½ ´¾ µ ¾ Ê ½ ¾ ½ Ò ÜÔ ÈÒ ½ ÜÜ ½ ¾ Ü Ê ½Ü ´¾¾µ
- 14. 最大事後確率則から部分空間法を導く 以下をモデルとした最大事後確率則を考える Æ ´Ü ¦µ ½ ´¾ µ ¾ Ê ½ ¾ ÜÔ ½ ¾ Ü Ê ½Ü · 対数をとり事前確率が等しいと仮定した場合の識別関数 ´Üµ ただし Ê Í£Í £ ¾ Í Ü ¾ È ½ ½ ÐÒ で固有値は降順にソート ´¾¿µ
- 15. 自己相関行列の固有値について考える ´Üµ £ ¾ Í Ü ¾ È ½ ½ ÐÒ Á 固有値は対応する固有ベクトルに Ü と Ü を正射影したも のの分散 ´これまでに指摘されていないµ Á 普通の標本分散共分散行列の固有値よりも大きくなりがち Á 第二項は全クラスで固有値が等しければ省略可能 · 固有値の値は信頼しないで大小関係のみが重要であると仮定 ´統計の分野では良く用いられる仮定µ ´¾ µ
- 16. 固有値の代わりに Û½ ´Üµ Û¾ Û ¡¡¡ ¾ Ï ½ Í Ü È ¾ ¼ を導入 ½ ½ Û ´Ù ܵ¾ x x 0 u ji µ x − (uT x)2 ji 2 uT x ji µ 重みの小さな成分を重視 次元削減できない 醜い家鴨の仔の定理 重要な固有ベクトルに対して大きな価値 を与える ´¾ µ
- 17. ½ Û½ ½ Û ¾ ¡ ¡ ¡ ½ Û ¼ µ Û½ Û¾ ¡ ¡ ¡ Û ¼と ´特徴の持つ価値をµ 変更してマイナスを掛け， Û の大きい次元の みで分類すれば・ ・ ・ 部分空間法 識別関数 識別則 È Ö ¾ Ë ´Üµ Ï¾Í Ü ½ Û ´Ù ܵ Ë ´Üµ が最大となるクラスへ Ü を分類 ½ ¾ Û ここまでの議論で明らかになったことや予想できること Á 重みが小さい成分を無視できる Á 重みは非増加であれば何でも良い Á 零元 ´全クラス共通の原点µ 付近は誤分類が起きやすい ´¾ µ
- 18. 重みの決め方 Á Ä Á Û ½ ´ ½ Öµ Á 複合類似度 Û ½ Á 本発表 Û Ö · ½ ´ ½ Öµ weight value CLAFIC proposed multiple similarity dimensionality r ´¾ µ
- 19. なぜ直線でよいのか？ Ë ´Üµ Ö ½ ´Ö · ½µ´Ù Ö ´Ù Ö ½ ½ ܵ¾ ܵ¾ · ´Ö ½µ´Ù ¾Üµ¾ · ¡ ¡ ¡ · ´Ù Ö Üµ¾ ´Ù ܵ¾ · Ö ½ ½ ´Ù ܵ¾ · ¡ ¡ ¡ · ´Ù ½ ܵ¾ Á 重みの大きい成分の強調と重みの小さい成分の抑制 Á 部分空間の次元ごとの類似度の総和 Á テンプレートベースのアンサンブル学習 ´¾ µ
- 20. 手書き数字 ÅÆÁËÌ を用いた実験 98 mean class accuracy [%] linear subspace classifier 96 94 CLAFIC 92 multiple similarity 90 88 0 50 100 dimensionality 150 200 r Á 横軸が部分空間の次元数 Ö，縦軸がクラス平均認識率 Á 飯島・渡辺方式よりも認識率が高く Ö に敏感でない ´¾ µ
- 21. 零元付近の影響について target image (a) (b) (c) Á ¿¾ ¢ ¿¾ ピクセルの猫 ¡ 猫以外の画像をそれぞれ 枚準備 Á 特徴量は輝度値，各クラスで ¼ 次元の部分空間を構築 Á ´ µ 原点移動なし Á ´ µ ネガ画像に不変な原点移動 Á ´ µ 各クラスの平均の平均を原点にした場合 ´¿¼µ
- 23. 複合部分空間法 Á Á Á ´ Ë µ ベイズ決定則から部分空間法を導出できることから ベイズ決定則の拡張である複合決定問題からも部分空間法を導出でき その結果，複数の特徴量・複数の未知サンプルの分類が可能となる ÓÑÔÓÙÒ ËÙ ×Ô Ó Ò Ø ÓÒ ´ Ë µ È Á Á の導出 ´ µ È È Ð ×× ¬ Ö¸ Ó×ÑÓÔÓÐ Ø Ò Ë Ñ ´ µÔ´ µ È ´ µÔ´ µ Ò Ì Ö Û ½ ½ ½ ´ Ù Ü ÓÖ µ¾ 画像認識以外の問題にも適用可能な汎用的手法 ÅÙÐØ ÔÐ Ã ÖÒ Ð Ä ÖÒ Ò と同程度の認識率で高速に学習・認識が可能 ´¿¾µ
- 24. 複合決定問題 ´ ÓÑÔÓÙÒ È´ Ý× Ò µ ÈÈ È Ô ´ µ ´ × ÓÒ ÔÖÓ Ð Ñµ µ Ô ´ µ ´ µ Ü Ü¾ Á 連続して観測された Ò 個の標本 Á Ò 個の状態 ´ ÓÒØ Üص ´ ´½µ ´ ½ ¡¡¡ Ü Òµ Ò ´ µµ 各 Ü に対応する ´ µ を統計的独立性を仮定しないで決定する問題 yx w |{z |{z yx w 大阪府環境農林水産総合研究所 ´¿¿µ
- 25. 複合決定問題 ´ ÓÑÔÓÙÒ È´ µ Ý× Ò ÈÈ È Ô ´ µ ´ × ÓÒ ÔÖÓ Ð Ñµ Ô ´ µ ´ µ µ Á の組み合わせが Ò もある Á Ô´ µ の推定も困難 · 下記の仮定と鏡像を含むガウス分布を用いて三種類の Ë を導出 Á Ü が全て同じクラスに由来すると仮定 Á 一つの未知標本から Ì 個の特徴量を抽出した場合 Á 上記の組み合わせ ´¿ µ
- 26. 複数の未知標本を分類するための Ò 個の ܽ Ë ÜÒ が同じクラスに由来し， º º È´ µ È´ µ Ò È´ µ Ô´Ü ½ Ò ½ ½ º に従うと仮定 µ Ô´Ü µ クラス毎に鏡像を含めた単峰ガウス分布を用いれば 複数の同じクラスに由来する未知標本を分類するための部分空間法 Ë ´ µ Ò Ö ¾ Ð ´Ù Ð Ü µ Ò Û ½ Ð ½ ½ Ï ½¾ Í Ü ¾ Ò Ë ½ ´Ü µ ´¿ µ
- 27. 複数の特徴量に基づく Ë Ü から Ì 種類の特徴量が抽出された時 È´ µ È´ µ Ì È´ µ ½ Ô ´ ½ Ì Ü Ô ´ ½ µ Ü µ ¡ 特徴量 クラスごとに鏡像を含めた単峰ガウス分布を用いれば 複数の特徴量を用いて分類するための部分空間法 ´ 毎に正規化必要µ ´ µ Ö Ì Ð´ Û ½ Ð ½ ٠Рܵ¾ Ì ½ ½ Ͼ Í Ü ¾ Ì Ë ½ ´ ܵ ´¿ µ
- 28. Ë 複数標本 ¡ 特徴量に基づく Ò 個の未知標本 から Ì 種類の特徴量が抽出された時 È´ µ È´ µ Ì È´ µ Ò ½ Ô ´ ½ Ò ½ Ì Ô ´ ½ ½ Ü µ Ü µ ¡ 特徴量 クラスごとに鏡像を含めた単峰ガウス分布を用いれば 複数の未知標本を複数の特徴量を用いて分類するための部分空間法 ´ µ Ì Ò Ë ½ ½ ´ ܵ ´¿ µ
- 29. Á Á Á Á Á Á Á Á Á 未知画像は ½ 枚，訓練画像は ÁÅ ¿¼ まで 刻みで変化，ÊÇÁ，Ë Ä Á 有 ¿¾ ¢ ¿¾ ´Ô Ü Ð モノクロµ 画像の輝度値 ¿¾ ¢ ¿¾ 画像のエッジ強度 ÀÇ ½ ¼ ÀÇ ¿ ¼ ¢ ¢ ÈÀÇ ½ ¼ ½¾ ÈÀÇ ¿ ¼ ½¾ 画像の ½ ¼ 度 ÀÇ 画像の ¿ ¼ 度 ÀÇ ¢ ½¾ ¢ ½¾ 画像の ½ ¼ 度 ÈÀÇ ´平方根変換µ 画像の ¿ ¼ 度 ÈÀÇ ´平方根変換µ ËË ¿¾ ¢ ¿¾ 画像の × Ð ¹× Ñ Ð Ö ØÝ 特徴量 ÁËÌ ½¾ ¢ ½¾ 画像の ×Ø 特徴量 ´¿ µ
- 30. ~ } ~€ }€ ~ } ~ mean class accuracy [%] }}€ } }‚ }~ }ƒ }„ }… ½¼ ½ ¾¼ ¾ ¿¼ ŽŽˆ ŽŽ }}…ƒˆˆŒŒ‹‹ }}…ƒˆˆˆŒŒŠ‹‹‰ ˆ‡† 訓練画像数 ÅÃÄ ´主流µ ¦½½ ¾¦¼ ¼¦¼ ¼ ¦¼ ¿¦¼ ¦¼ # training samples Äȹ Ø ´世界最高µ ¦¼¾ ¾¦¼ ¦½¼ ¦¼¿ ¦¼ ¾½¦¼¿ Ë ´提案手法µ ¿¦¼ ¦¼ ½¦½ ½ ¦½¾ ¿ ¦¼ ¦¼ ´¿ µ
- 31. 100 CSC with 15 test images mean class accuracy [%] 95 90 85 80 75 70 CSC with 1 test image 65 60 55 5 10 15 20 25 30 # training samples 訓練画像数が ¾ のときの誤認識の内訳 Ó Ø Ò Ð ×× 誤認識の回数 ½¼ 試行 ÓÖÖ Ø Ð ×× × ×Ý × Û Ð Ø ÐÓØÙ× ×Ý × × Ð ÓÔ Ö × Û Ø Ö¹Ð ÐÐÝ ½¼ ½¼ ½¼ ½ ½¼ ´ ¼µ
- 32. 本講演の要点 本講演の要点 鏡像を含めた単峰ガウス分布をモデルとして用いることで，部分 空間法の理論的な側面を垣間見た Á 自己相関行列と共分散行列の固有値，固有ベクトルの意味は 異なる Á 部分空間法とベイズ決定則の関係を示す事は可能 Á 複数の標本 ¡ 特徴が与えられた場合の識別則の紹介 応用先 Á 動画像のクラス分類，画像認識，音声認識 Á 多重バイオメトリクス，行動履歴に基づく個人認証 ´ ½µ
- 33. お知らせ ÅÁÊ;¼½ ØØÔ× »»× Ø ×º ÓÓ Ð º ÓÑ»× Ø »Ñ ÖÙ¾¼½ Ó Ý Ñ » ÅÁÊ;¼½ で検索 ´ ¾µ