CHAIN公開セミナー20200817吉田発表資料

CHAINウェビナー第3回
日時：2020/8/17(月) 14:45～16:15
視覚サリエンスとはなにか？
神経科学、情報科学、人文知
からの解明
北海道大学
人間知・脳・AI研究教育センター
特任准教授吉田正俊

1996-2003 東京大学医学部・生理学研究所 (プレドク)
「長期記憶についての神経科学 (ニホンザル) 」
2003 学位取得：博士(医学)
2003-2019 生理学研究所 (助教)
「意識、注意についての神経科学
(ニホンザル、マーモセット、ヒト) 」
(2010年南カリフォルニア大学工学部訪問研究者)
2020- 北海道大学 (特任准教授)
「意識の解明に向けた
学際的研究プロジェクト
(マーモセット、ヒト) 」
Masatoshi Yoshida (吉田正俊)

私のストラテジー：神経現象学
Varela, F. J. (1999) The specious present: A neurophenomenology of time
consciousness in Naturalizing phenomenology: Issues in Contemporary
Phenomenology and Cognitive Science. pp 266–329
Varela, F. J. (1996) Neurophenomenology: a methodological remedy for the
hard problem. Journal of Consciousness Studies 3, 330–349.
神経生物学
的な基盤
力学系による形式化
経験の構造についての
現象学的説明
相互に拘束条件を与える
意識経験を一人称的かつ誰でも同意できる形で説明する
にはどうすればよいか?

観察と介入
形式化と予測
経験の構造
機械学習(AI)
=> 自由エネルギー原理
科学と親和性のある
現在の現象学
操作脳科学
ヒト(fMRI,TMS)、動物(光遺伝学)
現在の水準にアップデートした神経現象学

観察と介入
形式化と予測
経験の構造
吉田正俊
島崎秀昭
宮原克典

視覚サリエンス
観察と介入
形式化と予測
経験の構造
CHAIN的な融合の題材としての視覚サリエンス

目次
1. 神経生物学的アプローチ
1-1. 視覚サリエンスとは？
1-2. 計算アルゴリズム
1-3. 視覚サリエンスと脳
2. データ駆動型アプローチ
2-1. DNNによるend-to-endなモデル
3. 情報理論的アプローチ
3-1. ベイジアン・サプライズ
3-2. 自由エネルギー原理との関連

夜の月は目立つ (salient)。

昼の月は目立たない(less salient).

視覚サリエンス視野内の物体が周りと比べて突出して
我々の注意を誘引する心理的、知覚特性
Laurent Itti (2007), Scholarpedia, 2(9):3327.
http://www.scholarpedia.org/article/Visual_salience
<=> 動機サリエンス (自分にとって意味がある、価値がある)
「サリエンス(顕著性)」の定義

選択的注意 Selective attention
持続的注意 Sustained attention
注意の分類
覚醒度、集中力
一定の場所、特徴へ向けた注意
注意の源は何か
• Bottom-up, stimulus-driven (pre-attentive, pop-out)
• (Experience-dependent)
• Top-down, goal-directed (context-dependent)
何が選択されるか
• Position: spatial attention
• Feature: feature-based attention
視覚サリエンスとは、選択的注意のうちbottom-up性注意が、
個々の場所に向けられる度合い

視覚サリエンスはどのように処理されている？
簡単 -
「色」または「方位」
で周りよりも目立つ
難しい -
「色」「方位」の
組み合わせを探索
問題：ほかと違う要素を見つけてください
=>色、方位といった視覚特徴は平行して処理される

視覚特徴は脳内で並行処理される
Kandel ER, Schwartz JH, Jessell TM 2000. Principles
of Neural Science, 4th ed. McGraw-Hill, New York
Image removed

Itti L, Koch C. Nat Rev Neurosci. 2001 Mar;2(3):194-203
Itti-kochのサリエンシー・マップ
はじめての実用的な計算論的モデル
Image removed

サリエンシー・マップは
「どこが目立つか」「どこに目が向くか」を予測できる
視覚刺激
サリエンシーマップ

応用1: 視線分布の予測
サリエンシーマップは視線分布(fixation map)
を予測できている
Borji, Ali and Itti, Laurent (2015) "CAT2000: A Large Scale Fixation
Dataset for Boosting Saliency Research" CVPR 2015; arXiv:1505.03581
Fixation
map
Saliency
map
Image
フリービューイング中の視線データ
から分布(fixation map)を作成
Image removed Image removed

応用2: SEO、広告
https://multimedia.3m.com/mws/media/1575985O/3m-visual-attention-software-vas.pdf
3M社でのwebサービスの例

応用3: 産業での応用
COI感性イノベーション拠点による(株)マツダとの共同研究
https://www.mazda.co.jp/experience/stories/2020summer/featured/04_02/
自動車工場で視覚サリエンスをモニター
することで作業環境の改善に貢献

Image
(1) 特徴検出輝度色傾き動き
(2) 特徴マップ
feature-dependent
(3) サリエンシー・マップ
feature-independent
parallel processing
サリエンシー・マップの計算アルゴリズム

側抑制 (Center-surround inhibition)
大脳皮質の側抑制
Itti L, Koch C.
Vision Res. 2000;40(10-12):1489-506.
DoGフィルタによるエッジ検出
DoGフィルタ + 整流の繰り返し
Image removed
Image removed

Target detection using saliency-based attention
Itti, L. and Koch, C. (1999)
Proc. RTO/SCI-12 Workshop on Search and Target Acquisition (NATO Unclassified) .
ノイズ混じりの画像で
サリエンシーが高いものがある場合
サリエンシーの
高いところが生き残る
ノイズ混じりの画像で
サリエンシーが高いものがない場合
互いに打ち
消し合う
DoG + 整流の繰り返し
Image removedImage removed

Itti L, Koch C. Vision Res. 2000;40(10-12):1489-506.
ガウシアンピラミッドの利用
人間の視覚特性に合わせたスケールでのサリエンス検出を実現
Image removed

Image
(2) 特徴マップ
feature-dependent
feature-independent
center-surround inhibition
sum across features
parallel processing
サリエンシー・マップの計算アルゴリズム

視覚サリエンスは脳のどこにある？
網膜
視床
上丘
頭頂葉
第一次
視覚野
前頭葉
Veale, R., Hafed, Z. M., & Yoshida, M. (2017).
Phil Trans Roy Soc B, 372(1714), 20160113.
特徴
マップ
特徴 + 注意ガイダンス
注意ガイダンス
特徴検出
注意ガイダンス
サリエンシー
大脳と上丘で
別々にサリエンス計算?

哺乳類以外の脊椎動物では, 視蓋(=上丘)が視覚の中枢
Image removed

Fig.1.3 in The Neuroethology of Predation and Escape,
First Edition. Keith T. Sillar, Laurence D. Picton and
William J. Heitler. 2016 John Wiley & Sons, Ltd.
A bullfrog responds to moving stimuli
Image removed

上丘はサリエンス検出器？
上丘
汎方向性細胞
Goldberg ME, Wurtz RH.
J Neurophysiol. 1972 Jul;35(4):542-59.
向きに依らずに
「動いているもの」を検出
上丘はサリエンスに特化？大脳のサリエンスは副産物？
視覚皮質(MT野)
方向選択性細胞
Dubner R, Zeki SM.
Brain Res. 1971 Dec 24;35(2):528-32.
「方向」という特徴を抽出
Image removedImage removed

Normal vision 盲視
Conscious vision
「なにかあるかんじ」
= サリエンス
Saliency map
視覚的意識とサリエンスはべつもの？
Inspired by: Yoshida M et. al. (2012) “Residual attention guidance in blindsight
monkeys watching complex natural scenes.” Curr Biol. 22(15):1429-34

神経生物学的
アプローチ
データ駆動型
アプローチ
視覚サリエンスの計算の3つのアプローチ
神経科学的に、心理学的に妥当
であることが優先したモデル
画像と視線分布の対のデータで学習して
新しい画像での視線分布を予測
情報理論的
アプローチ
「目立つ」とはどういうことか、
ベイズ的に捉える

Deep neural net (DNN)とは
M. Kümmerer, L. Theis, and M. Bethge
Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet
ICLR Workshop, 2015
HintonのImageNet
Imageから名前(“orange”)を決める分類器を学習
End-to-end(明示的に特徴抽出しない)でCNNを学習させる
CNN: convolutional NN (空間的近接での畳込み)
Image removed

DNNによるデータ駆動型サリエンシー
End-to-end Convolutional Network for Saliency Prediction
Pan, Junting; Giró-i-Nieto, Xavier eprint arXiv:1507.01422 07/2015
https://www.slideshare.net/xavigiro/saliency-prediction-using-deep-learning-techniques
ImageからFixation mapを予測するsaliency mapを学習
End-to-end(明示的に特徴抽出しない)でCNNを学習させる
サリエンシー・マップでの側抑制と
CNNでの空間的近接での畳込みは似たことをやってる
Image removed

ベンチマークテスト： CAT 2000
Borji, Ali and Itti, Laurent (2015) "CAT2000: A Large Scale Fixation
Dataset for Boosting Saliency Research" CVPR 2015; arXiv:1505.03581
Training (n=2000) Test (n=2000)
画像4000枚 (20カテゴリー)で24人分の視線分布を計測

https://saliency.tuebingen.ai/results.html
Z Bylinskii, T Judd, A Oliva, A Torralba, F Durand What do different evaluation
metrics tell us about saliency models? arXiv preprint arXiv:1604.03605, 2016
ベンチマークテスト： CAT 2000 成績

Image removed
2020年段階でのstate-of-art
Contextual encoder-decoder network for visual saliency prediction.
Kroner A, Senden M, Driessens K, Goebel R.
Neural Netw. 2020 Sep;129:261-270.
Itti-Kochサリエンシーと比べるとずっと好成績
Fixation map Kroner 2020 Itti-Koch 1998

Image
(2) 特徴マップ
feature-dependent
feature-independent
center-surround inhibition
sum across features
winner-take-all
parallel processing
そもそもサリエンシー・マップとは何だったか
Action
(Saccade)
視野内の物体が周りと比べて
突出して我々の注意を誘引す
る心理的、知覚特性
Covert attention
Overt attention

Koehler K, Guo F, Zhang S, Eckstein MP.
J Vis. 2014 Mar 11;14(3):14.
サリエンシーをどう測るべき？
一番目立つ
場所はどこ？
視線計測
｀
フリー
ビューイング(FV)
一番目立つ場所
は左右どっちに
ある？
マウスでクリック
｀
Itti-Kochサリエンシー・マップとの相関
高い低い
根本的問題: Ground truthにfixation mapを使うのは妥当か？
Image removed

感度マップ (≠ サリエンシー・マップ)
”SmoothGrad: removing noise by adding noise” Smilkov, D., Thorat, N., Kim,
B., Viégas, F., & Wattenberg, M. (2017). https://arxiv.org/abs/1706.03825
https://pair-code.github.io/saliency/
SmoothGrad
DNNが画像認識をしたときに、その根拠となったピクセルを表示
Label: tricycle
Label: cheetah
画像にノイズを加えて、
判別への影響を評価
画像の中で
どこがinformativeなのか
を表している
Image removed
Image removed

神経生物学的
アプローチ
データ駆動型
アプローチ
神経科学的に、心理学的に妥当
であることが優先したモデル
情報理論的
アプローチ
画像と視線分布の対のデータで学習して
新しい画像での視線分布を予測
「目立つ」とはどういうことか、
ベイズ的に捉える

サリエンスとサプライズを統一的に評価する枠組み:
=> ベイジアン・サプライズ
視覚サリエンスとは
空間的な外れ値検出
時間的な外れ値検出が
サプライズ
Itti, L. & Baldi, P. Bayesian surprise attracts human
attention. Vision Research 49, 1295–1306 (2009)
そもそも視覚サリエンスとはなんだ？
両者とも「予想から外れる」ということが本質。
=> ベイズ的枠組みが有効。

砂嵐そのものがサプライズなわけではない。
- 砂嵐を見続けていれば退屈になる。
ニュース画面から砂嵐への変化がサプライズ。
-「いま私はニュースを見ている」
という信念が崩れたことがサプライズ。
なぜ私たちは砂嵐になったら驚くのだろう?

感覚入力s
(観測値)
外界の状態x
(潜在変数)
外界の状態x
の推測
生成過程
物理法則
¯p(x, s)
生成モデル
p(x, s)
p(x|s)
外界についての知識
Agent外界
p(x|s) =
p(s|x)p(x)
p(s)
ベイズ脳仮説
ベイズ脳仮説: Agentは外界の状態x (潜在変数)を
感覚入力s (観測値)を元にして、
事後分布として確率的に推定する
MTV
CNN
BBC
Snow
MTV
CNN
BBC
Snow
prior
posterior
likelihood

事後分布
に大きな変化なし
これまでの感覚入力s
新しい感覚入力s
「外界にあるものはCNNニュースだ」という推測
P(x)
P(x|s)
x
x
現在の外界の状態
についての推測 p(x)

事後分布に大きな変化あり
= サプライズ
「CNNニュースだ」という推測が外れる = サプライズ
P(x)
P(x|s)
x
x

世界は再び退屈なものになる
P(x|s)
P(x|s)
x
x
事後分布
に大きな変化なし

時間的サプライズ空間的サプライズ
ベイズ更新過程を用いて
時間的・空間的に目立つ部分をそれぞれ別に計算
動画のベイジアン・サプライズの計算

視線位置の予測において、ベイジアン・サプライズは
Itti-Kochサリエンシーよりも高成績
動画での視線予測の成績
Image removed

左下に視線があるとき、
右上にあるものは
ぼんやりしていて
なんだかわからない。
視線を右上に向けると、
これが蝶であること
がより確かになった。
自由エネルギー原理FEP

感覚入力s
(観測値)
行動a
右上見る
左下見る
蝶がいる
外界の状態x
(潜在変数)
蛾がいる
外界の状態x
の推測
蝶がいる
蛾がいる
生成過程
物理法則
¯p(x, s)
生成モデル
p(x, s)
q(x)
外界についての知識
Agent外界
F(q, s) =
∑
x
{q(x)ln
q(x)
p(x, s)
}
変分自由エネルギーF
1) 知覚: 推測q(x)を変える
2) 行動: 行動aで感覚入力sを変える
知覚と行動を統一的に説明
自由エネルギー原理FEP

変分自由エネルギーF
F(q) = 𝔼q(x)[ln q(x) − ln p(x, s)]
Tschantz A, Seth AK, Buckley CL. (2020) Learning action-oriented
models through active inference. PLoS Comput Biol. 16(4):e1007805.
FEPの中でのベイジアン・サプライズ
知覚: 現在の自由エネルギーが最小化するq(x)に更新
xの期待値を計算
ベイジアンサプライズを最大化する行動aを選ぶと
情報量MI最大化を実現し、自由エネルギーGの最小化を実現。
期待自由エネルギーG
G(a) = 𝔼q′a(x,s)[ln q′a(x) − ln pa(x, s)]
行動: 未来の自由エネルギーの期待値が最小化する行動aを選択
xだけでなくsの期待値を計算
≈ 𝔼q′a(x,s)[ln q′a(x) − ln q′a(x|s) − ln p(s)]
= 𝔼q′a(x,s)[ln q′a(x) − ln pa(x|s) − ln p(s)]
= − 𝔼q′a(s) [DKL(q′a(x|s)∥q′a(x))] − 𝔼q′a(x,s)[ln p(s)]
MIa(x′; s′)
Instrumental value
仮定: 最適な知覚
q′a(x|s) ≈ pa(x|s)
Bayesian surprise=
相互情報量トップダウンのゴール
=

FEPの中での視覚サリエンス
s = 1 s = 2 s = 3
実際に行動してみないと、観測されるsはわからない。
しかし、あるactionでとりうるsの期待値から、
そのactionで期待される相互情報量MIが計算できる。
将来: 右上を見たときに
観測されるsの予測
現在: 左下を見ている。
s=1を観測している。
a1 (右上を見る)という行動をした
ときに期待されるMI(a1)
「サリエンスが高い」
= 「そこを見る行動選択をすれば、平均的には情報が増える」
Friston K, Adams RA, Perrinet L, Breakspear M. (2012) Perceptions
as hypotheses: saccades as experiments. Front Psychol. 3:151.
現在のこの部分の
視覚サリエンス =

FEPの中での視覚サリエンス
視覚サリエンスは、
画像の各ピクセルごとの特性というよりは、
いま注視していない場所についての
agentが可能な行動についての特性。
=> エナクティブな見方 / 反実仮想的予測
視覚サリエンスは、agentの生成モデルに依存している。
生成モデルとは、発達と進化の過程で獲得したもの。
よって視覚サリエンスには、生態学的価値が含まれている。
中心視と周辺視に視力の差がない生き物では
サリエンシーの概念は不要。
=> 知覚的サリエンスと動機サリエンスの統一的説明
顔が「目立つ」のは生存に役立つから。
輝度コントラストが「目立つ」のも同じ。

神経生物学的
アプローチ
データ駆動型
アプローチ
情報理論的
アプローチ
サリエンスとはなにか、
どう定量化するか、
という問いの深化

観察と介入
形式化と予測
経験の構造
CHAIN的な融合の一例としての視覚サリエンス
• 神経生物学的アプローチ
• データ駆動型アプローチ
• 情報理論的アプローチ
• サリエンスの変容経験

目次
1. 神経生物学的アプローチ
1-1. 視覚サリエンスとは？
1-2. 計算アルゴリズム
1-3. 視覚サリエンスと脳
2. データ駆動型アプローチ
2-1. DNNによるend-to-endなモデル
3. 情報理論的アプローチ
3-1. ベイジアン・サプライズ
3-2. 自由エネルギー原理との関連
4. 今後の目標: サリエンスの変容経験

フッサールの受動的綜合とサリエンス
赤い円筒と青い円筒が現れたら、それらは形の点では互いに結び
つくが、色の点ではコントラストを成す。これは「受動的綜合」
とよばれる原初的なはたらきに属する「連合」の現象
谷徹 (2009) 「現象学と間文化性」現代思想 2009年12月臨時増刊 37(16) p.131
感覚的なもの(…)は同質的な物同士がまとまり、異質的なものと
のコントラストを生み出して(…)「際立って」くる。この際立ち
が「私」を「触発」する(…)その触発が十分強ければ、「私」が
いわば目覚めて、「感覚的なもの」を「意味」へと仕上げる
田口茂 (2014) 「現象学という思考」筑摩書房 p.112
無意識的(先反省的)なサリエンスの形成過程の分析。
知覚サリエンスと動機サリエンスとの繋がりを示唆。

外的刺激や内的意味
のサリエンスを
過大評価することが
妄想、幻覚の
引き金となる
Howes OD, Murray RM.
Lancet (2014) を元に作成
陽性症状(妄想、幻覚)のaberrant salience仮説
サリエンスの変容経験: 統合失調症の場合
「全てのことになにか圧倒的なまでに意味深いものがあるように思えるの
です」「私が入院をした頃には、窓枠の光や空の青さがあまりに重要な意
味を持つ…そんな覚醒状態にまで到達していました」
"Psychedelic" experiences in acute psychoses.
Bowers MB Jr, Freedman DX. Arch Gen Psychiatry. 1966 Sep;15(3):240-8.
知覚および動機サリエンスの変容経験が陽性症状の本質かも。
Image removed

観察と介入
形式化と予測
経験の構造
CHAIN的な融合の題材としての視覚サリエンス
• 神経生物学的アプローチ
• データ駆動型アプローチ
• 情報理論的アプローチ
• サリエンスと意識経験
• 知覚サリエンスと動機サリエンス
• サリエンスの変容経験:
統合失調症、離人症

CHAIN公開セミナー20200817吉田発表資料

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie CHAIN公開セミナー20200817吉田発表資料

Ähnlich wie CHAIN公開セミナー20200817吉田発表資料 (20)

Mehr von Masatoshi Yoshida

Mehr von Masatoshi Yoshida (20)

CHAIN公開セミナー20200817吉田発表資料