1. 1
「脳を理解するとはどういうことか？」
「どうすれば脳を理解できるのか？」
● Jonas, Eric, and Konrad Paul Kording. "Could a neuroscientist understand a microprocessor?." PLoS computational biology 13.1 (2017): e1005268.
● Timothy P. Lillicrap, Konrad P. Kording(2019) “What does it mean to understand a neural network?”
● Buzsáki, György. The Brain from Inside Out. Oxford University Press, 2019.
● Krakauer, John W., et al. "Neuroscience needs behavior: correcting a reductionist bias." Neuron 93.3 (2017): 480-490.
● Saxe, A., Nelli, S., & Summerfield, C. (2020). “If deep learning is the answer, what is the question?”. Nature Reviews Neuroscience, 1-13.
● Hasson, Uri, Samuel A. Nastase, and Ariel Goldstein. "Direct fit to nature: An evolutionary perspective on biological and artificial neural networks." Neuron
105.3 (2020): 416-434.
一見、漠然としてナイーブな問いに思えるが、神経科学者たちは真剣に議論している。
たとえば、以下のようなオピニオン論文・本が相次いで書かれている。
どのように脳を「理解」していけばいいのか、神経科学者たち自身が模索している。
本発表では、そこで何が議論されているのか、駆け足で見ていく。
最終更新 28.1.2021 by 丸山隆一（@rmaruy）
この資料は専門家のレビューを受けていません。引用の際は原論文に当たっていただくようお願いします。コメント歓迎です！
6. 私（丸山）が話した複数の神経科学者は、この見解に強く反発した。 Jonas & Kordingは神経科学を戯画化しすぎ。結
論ありきのデモンストレーション。実際の神経科学はもっと戦略的。そのとおりだろう 。
6
「私たちの用いている解析手法が単純なプロセッサにすら対応できないのだとしたら、
どうしてそれが私たち自身の脳でうまくいくと期待できるだろうか？」
“Unless our methods can deal with a simple processor, how could we expect it to work on our own brain?”
「神経科学者がマイクロプロセッサを理解できなかったことが問題なのではない。
問題は、神経科学の今のアプローチではマイクロプロセッサを理解できないであろう、ということだ。」
“Ultimately, the problem is not that neuroscientists could not understand a microprocessor, the problem is that they would not understand it given the approaches they are currently taking.”
Jonas and Kording. (2017) "Could a neuroscientist understand a microprocessor?."
PLoS computational biologyhttps://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268
今回の「実験」は、プロセッサの動作原理について何かを教えてくれるようには思えない。まして、実際の脳はマ
イクロプロセッサに比べてはるかに複雑だ。著者らは言う：
7. 7
脳領域 A の損傷が機能 B を
阻害する
脳活動 A と B が
相関する
Jonas and Kording (2017) の教訓？
...これらの「事実」を積み上げる「だけ」では脳の理解はおぼつかない。
それでも、脳を理解することの難しさの一面を言い当てているように思う。「 AとBの（因果的・相関的）関係をカ
タログしていく」式の方法の足りなさ。
では、ほかに何が必要なのか ？
13. Lillicrap & Kording (2019) “What does it mean to understand a neural network? ” https://arxiv.org/abs/1907.06374
unreviewed interpretation of Lillicrap & Kording (2019) by @rmaruy
深層ニューラルネット（ DNN）は脳のモデルの有力候補だ。しかし、「脳を DNNとして理解する」 にはまず
「DNNを理解する方法」を考えなければならなそうだ。 Lillicrap & Kording (2019) は学習済みの DNNの動作
を理解することは難しいと主張。その難しさを以下のように説明する。
（丸山の理解に基づく図解）
3目並べの必勝法はコンパクトな記述が可能
囲碁は不可能
理解には記述のコンパクトさ（compactness）、圧縮
性（compressibility）が必要。
学習済みNNの動作理解は困難
必勝法
学習済みの ニューラルネット の動作は囲碁に近い。DNNは何十万個ものパラメタをもち、現
状ではその動作を人間が理解できるほどコンパクトに記述することは難しい。
≈
14. Lillicrap & Kording (2019) “What does it mean to understand a neural network? ” https://arxiv.org/abs/1907.06374
input output
学習済みDNNのコンパクトな
記述はできない
「問うべきは『脳はどうはたらくのか』ではなく、
『脳がどのようにそのはたらきを学習するのか』なのだ。」
“Instead of asking how the brain works we should, arguably, ask how it learns to work. “
unreviewed interpretation of Lillicrap & Kording (2019) by @rmaruy
��
training
data
アーキテクチャ、目的関数、学
習則はコンパクトに記述可能
→理解可能
error
feedback
DNNにもコンパクトに記述できる部分がある。アーキテクチャ
（architectures）、損失関数（ loss functions）、学習則（learning rule）な
どを指定すれば、その DNNがどんなものかを伝達することができる
（＝論文に書くことができる）。
同様に、脳についても学習と発
達の理解を目指すべき
脳もまた圧縮した記述が難しい。現状では「解剖学的な特徴づ
け」や、遺伝情報がどう脳をつくるかという「発生」の問題、そして
脳内での「学習のプロセス」を当座の理解の対象とすべきではな
いか。Lillicrapらはそう提案。
14
15. Saxe, Nelli, & Summerfield, C. (2020). “If deep learning is the answer, what is the question?”.
Nature Reviews Neuroscience https://arxiv.org/ftp/arxiv/papers/2004/2004.07580.pdf
��
unreviewed interpretation by @rmaruy
理想化されたモデルにより、
DNN自体を解釈可能に
(deep linear network etc.)
一方、Lillicrapらと異なり、ニューラルネットの動作自体の理解を
あきらめない立場もある。 Saxe et al. (2020) はDNNを脳のモデ
ル（理論）として使っていくための「ロードマップ」を議論している。
主な主張は、 DNNをやみくもにつかうのではなく、「反証可能な予
測 “falsifiable predictions”」を生み出す方法で使うこと。また、モ
デルとしての DNNはそれ自体が解釈可能 “interpretable”でなけ
ればならないとし、そのために DNN を理想化したモデル (eg.
“deep linear neural networks”)を使うことを提案している。
脳のモデルとしての
DNNは
反証可能な予測を生むように使うべき
15
17. Hasson, Nastase, and Goldstein.(2020) "Direct fit to nature: An evolutionary perspective on biological
and artificial neural networks." Neuron https://www.biorxiv.org/content/10.1101/764258v3
unreviewed interpretation
by @rmaruy
Hassonらは、ここから脳についての違う見方を提起する。私たち
は、脳の本質が「汎化」、少ないデータからの外挿にあると思って
きた。しかし、実は脳がやっているのも、外界からの大量のデー
タに基づく“mindless direct fitting” なのではないか。 (Hasson氏
はインタビューにて、人間の脳の 80％がこれかも、と話している
https://braininspired.co/podcast/63/). もちろんMindlessな内挿
がすべてではないが、より高度な認知機能を調べる際にもここを
出発点とすべき。
direct fit
脳がやっていることの
80%は“mindless”な “direct-fit”?
脳と外界を ecological （生態学的）に捉える
「認知神経科学・計算論的神経科学は、脳が外挿や（少数パラメタの）理想的なフィッティ
ングをしているはずだという誤った規準を課してきたのだと思う …人間の知的能力は背伸
びをしたくなるものだが、それはシステム 1に属する何十億もの盲目的な direct-fitしたパ
ラメタに支えられているのだ。」
“We think that cognitive and computational neuroscience has erred in imposing extrapolation criteria and ideal-fit models wholesale on the brain.
… While the human mind inspires us to touch the stars, it is grounded in the mindless billions of direct-fit parameters of System 1. ”
「世界の構造と、脳の構造の間の密接なリンク」を強調するこの
見方は、脳の中の情報処理に着目する Marr のアプローチとは対
照的。丸山所感：「 DNNとしての脳」というアナロジーが新たな脳
の見方をもたらし、研究パラダイムまでも変えうることの好例では
ないだろうか。
17
19. 19
Buzsaki 2019 “The Brain from Inside out” Oxford University Press
「Marr氏には同意しかねる。」
“I respectfully disagree with Marr.” (p.10)
脳を理解するには、脳のモデルを考える前に、まずは脳をよく見なければいけない。海馬の研究や脳のリズ
ムの研究で有名な György Buzsáki（ユーリ／ジェルジ・ブザーキ）は、そんな態度をとる。 2019年の著書に
て、「コンピュータとしての脳」のメタファーは、深層学習のメタファーも含めて、ミスリーディングだと指摘する。
「メタファーは、アイディアを伝えるための強力な道具だ。
…しかし、ミスリーディングでもありうる。新奇な現象について、その仕組みがまだ分
かっていないのに、理解したという間違った感覚を生んでしまうことがあるからだ。」
“A metaphor is a powerful tool .... However, metaphors can also be misleading because they may give a false
sense of understanding a novel phenomenon before it is actually known how the thing works. ” (p.12)
Buzsakiは Marr のアプローチに反対する。
20. 20
感覚入力 運動出力
観測者
このニューロンは何
をコードしている？
ニューロン
発火時系列
Buzsaki 2019 “The Brain from Inside out”
「outside-in」アプローチ
● 目標： 外的な変数から神経活動をデコードすること
／ 時代遅れの心理学概念 (“James’ list”)に対応す
る神経活動を見つけること
● 計算機メタファーの不適当な利用
Marrの3レベルの前提は、脳が「情報処理」をしているということだった。しかし、脳はどんな「情報」を処理しているというのか。計算機ならば、
情報は外から定義できる。人間のエンジニアが設計したものだから。一方脳では、科学者は神経動を測定し、入力刺激や出力としての運動と
比較することで神経活動に「表現（ represent）」されたものを「解読／復号（ decode）」しようとする。こうしたアプローチを Buzsakiは「外から内へ
（outside-in）」と呼ぶ。
しかし、我々は「コードブック」を持っていない。 out-side方式で、意味のある情報表
現を脳に見つけることはできるのか。 Buzsakiは懐疑的。
unreviewed interpretation of Buzsaki (2019) “The Brain from Inside out” by @rmaruy
心理学概念 X
（注意、記憶、意思決定
etc.）
どの神経活動が
「X」を実現してい
る？
外的な変数（入力・出力・心理学
概念）と神経活動を比較すること
で、その神経活動が担う「情報」
ないし「表現」が定まる
21. 21
sensory
input
motor
output
feedback from motor area
“corollary discharge”
upstream neurons
“cell assembly”
~200 neurons
“reader” neuron
spike train
neuron’s output feeds back to
subsequent input
Buzsaki 2019 “The Brain from Inside out”
「神経活動Aが「計算B」をしている」「神経活動 Aが「表現（表象） B」をもつ」といったような、脳の観察に基づかない外から持ってきた概念「 B」を想定す
るのは「outside-in戦略」。しかし本来、脳を研究するまでは、 Bが何かを知ることはできないはず。だから、神経活動 Aの「意味」は、科学者が勝手に考
えた概念を当てはめるのではなく、その神経活動から新たにつくっていかなければならない。これを、ブザーキは「読み手中心の視点（ reader-centric
view）」、あるいは「内から外へ」戦略と呼ぶ。
見知らぬ言語の文章を解読するときのように、まずは脳の「文法」を調べなければな
らない。
“Our working hypothesis is that in brain networks, especially those
serving cognitive functions, the packaging and segmentation of neural
information is supported by the numerous self-organized rhythms the
brain generates.” (https://buzsakilab.com/wp/research/).
たとえば、海馬では 150-300個のニューロンの活動が一つの単位＝「文字」をなし、
シータ波やシャープ・ウェイブリップルといった脳波がそれらの文字を「文」にまとめ
あげるのではないか、といった仮説を提唱している。 Buzsakiは自身のアプローチを
「脳の統語則の探求 “Search for a neural syntax” 」と呼ぶ。
unreviewed interpretation of Buzsaki (2019) “The Brain from Inside out” by @rmaruy
「inside-out」アプローチ
● 目標：脳の統語則（neural sytax）を見つけること
神経的な「文字」（＝セル・アセンブリ）、「文」（脳のリズム）
例：海馬の場所細胞、シャープウェイブ・リプル
ニューロン活動の意味は、ニューロンの視
点での出力 -入力関係から生まれる
22. 22
Buzsaki への反論
Buzsakiは恣意的な心理学概念（注意、記憶、意思決定など）を使うのをやめて、ボトムアップに神経活動の「意味」をつくっていけ、という。私（丸山）も、 Buzsakiに共
感する部分がある。なぜなら、まだまだ脳のモデルをつくるため重要なピース（神経現象についての知識）を欠いているかもしれないと思うから。一方で、 Buzsakiの
「内から外へ」宣言を貫徹するのは無理だという気もする。 Poeppel and Adolfi (2020) はBuzsaki著（本と論文）に対して、批判するコメンタリー論文を書いている。
Poeppel and Adolfi. (2020)“Against the Epistemological Primacy of the Hardware: The Brain from Inside Out,
Turned Upside Down.” ENeuro 7, no. 4 . https://doi.org/10.1523/ENEURO.0215-20.2020
Buzsakiの理想
“inside out”：
実際には
こう：
ハードウェア実装の研
究
素朴心理学や哲学にとらわれない
新しい脳の記述・理解が見
つかる
脳機能の記述・理解の
アップデート
心理学／行動学／計算論的な
事前知識・想定
unreviewed interpretation of Poeppel and Adolfi (2020) by @rmaruy
“implementation sandwich” by Poeppel and Adolfi (2020)
ハードウェア実装の研
究
Poeppelらは、Buzsaki自身も心理学用語を多用していることを指
摘し、ハードウェアとしての脳を研究する上で、心理学・行動学・
計算論的な事前知識や想定（ assumption）を用いないことは不
可能だし、目指すべきでもないと主張する。 Buzsakiが自身のア
プローチを理想化しすぎている部分を言い当てていると思う。
24. 脳の理解の目指し方についての多様な見解
脳のモデルとして DNNを使うか？
必ずしも使わない
使う
“Brain from
Inside-out”
by Buzsaki 2019
“Neuroscience
needs behavior”
by Krakauer et al.
2017 **
DNNの解釈性は必要か？
必要ない
“Direct-fit to nature”
by Hasson et al. 2020
「DNNとしての脳」 から得るべき教訓
は？
必要
理想化などで実現
学習と発生を理解の
ターゲットとすべき
脳のよりよい理論をつくるために、
最も必要／足りないのはどの分野の知識・ボ
キャブラリーか？
神経生物学 心理学・行動学
“What does it mean
to understand a
neural network?”
by Lillicrap &
Kording 2019
“If deep learning is the
answer, then what is
the question?”
by Saxe et al. 2020
Ver 1.2
Under construction, 1.22.2021
by @rmaruy
Open to comments.
“Resynthesizing
behavior through
phylogenetic
refinement”
by Cisek 2019 **
進化学・
系統発生学
DNN: deep neural network
24
脳内プロセスは
盲目的な内挿である
**: 本発表では取り上げなかった
もちろんこれは恣意的な整理にすぎない。これ以外のマッピング
の仕方もあるはず。ここでは多様性を見てもらうのが目的。
