20230912JSSST大会基調講演_丸山.pdf
•0 gefällt mir•204 views
Downloaden Sie, um offline zu lesen
Melden
Where does Computer Science go? (in Japanese)
Recomendados
Más contenido relacionado
Was ist angesagt?
Was ist angesagt?(20)
Más de Hiroshi Maruyama
Más de Hiroshi Maruyama(15)
Último
Último(11)
20230912JSSST大会基調講演_丸山.pdf
- 3. 過去の計算機械の例 微分解析機：円盤回転角で表現 東京理科大近代科学資料館 日立ポータブルアナコン： 電圧・電流で表現 日立評論 Vol. 39, No. 2 (1957) 計算尺：スライドする目盛りの場所で 表現 3
- 4. 学問としての “Computer Science” の到来 Thomas J. Watson Scientific Computing Laboratory, Feb. 1945 出典: Columbia大学, http://www.columbia.edu/cu/computinghistory/612w116.html フォン・ノイマン形式のデジ タルコンピュータ
- 5. 私が最初に学んだ計算機（紙上で、ですが…） 出典： intel 8080 Microcomputer Systems User’s Manual, Sept. 1975
- 6. 1974-1977年に東工大情報科学科で習ったコンピュータ・サイエンス ● 計算の理論：原始帰納関数帰納関数・ チューリングマシン・オートマトン・形式言語理論 ● 集合・位相空間論 ● 情報理論 ● 計算量の理論 ● 計算機アーキテクチャ ● プログラミング言語 ● コンパイラ ● アルゴリズム・データ構造 ● 数理計画法 ● 確率・統計 ● 数値解析法 ● ： ソフトウェア工学、オペレーティ ングシステム、コンピュータ・ ネットワーク、並列処理、セ キュリティ、人工知能などの授 業は無かった（と思う）
- 8. 計算とは何か -- ここでは「関数」と考える 計算 入力 x 出力 y y = f(x) という関数
- 9. そもそも世の中はどのくらい複雑なのか？ 自然数上での計算（デジタルな計算）はどのくらいあるか？ ● 自然数 1, 2, 3, … ● １つの自然数を0 か1に対応付ける関数（計算）を考えてみよう ○ （「自然数を２つに仕分けする関数」と考えてもよい） 計算 1, 2, ... 0か1 例：偶数だったら 0 奇数だったら 1 このような計算はいくつあるだろうか？ 9
- 10. 準備：集合の濃度 ● 集合 A の大きさ（要素数）を |A|と書く （これを濃度と呼びます） ○ 空集合 | Φ | = 0 ○ 要素数がnの集合 | {1, 2, …, n} | = n ○ 自然数全体（無限集合） | {1, 2, …} | = ℵ0 (「アレフ・ゼロ」と読みます） ● 可算集合（濃度がℵ0 である集合）とは ○ すべての要素に番号付けをすることができる ○ 自然数の場合： 1, 2, …, n, .... 要素nは、n番目と番号付けすればよい ● 知られていること ○ 無限集合の中で一番小さい集合が可算集合 ○ 可算集合よりも、濃度が大きい集合がいくらでも存在する 10
- 11. 自然数上での計算はいくつあるか？ ● 自然数 N → {0, 1} への写像の全体は、非可算（番号付けができない！） ● （有限の）プログラムの全体は？ ○ 26文字からなるアルファベットを並べたものを「プログラム」とする ○ このようなすべてのプログラムに番号付けが可能 ■ 1文字からなるプログラム： 1番 ~ 26番 ■ 2文字からなるプログラム：27番 ~ 702番 （702=26 + 26 * 26） ■ ： ○ つまり、プログラムは高々可算個しかない 「計算」には有限のプログラムで書けないものがある！ 11
- 12. の全体が非可算であることの証明 12 これらの 0, 1 を引っ くり返したものを g(n) とする (カントールの対角線論法 )
- 15. 「自然言語は文脈自由」という仮説 ● 1970年代-1980年代によく見られた議論 ● 人間は苦もなく自然言語を操る ⇒ 自然言語の認識は効率よく行えるはずだ ∴ 自然言語は文脈自由に違いない
- 16. どちらのほうが認識しやすいですか？ L1={wwT | w ∈ ∑*} … 回文 “てふまののまふて” L2= {ww| w ∈ ∑*} ... 繰り返し文 “てふまのてふまの” 文脈自由 文脈依存！
- 18. 丸山の結論：「Chomskyは偉すぎた」 コンピュータ・ソフトウェア, Vol.7, No.3, 1989. ● 生成規則ではなく、係り受けの制約で文を規 定する形式言語理論 ● 制約伝播アルゴリズムによる効率的な構文解 析 ● 文脈自由文法を超える弱生成力
- 19. 深層学習のインパクト 19
- 20. 普通の(演繹的な)関数の作り方: 例 摂氏から華氏への変換 double c2f(double c) { return 1.8*c + 32.0; } 入力: C 出力: F ただし、FはCを華氏で表したもの 要求 アルゴリズム F = 1.8 * C + 32 モデル 人が持つ 先験的知 識 モデルが既知／計算機構（アルゴリズム）が構成可能である必要 20
- 22. 深層学習によるプログラミング ● 仕様ではなく、訓練データセットを与える ● テストオラクルがない ● すべてが絡み合うCACE特性 -- “Change Anything Changes Everything” ● プログラム検証における、invariant が定義できない ● 形式的な仕様が書けない問題も（なんとなく）解ける ● 入力に関わらず、計算時間はほぼ一定 ● 品質に関してはプロセスではなく、プロダクトメトリックが得ら れる 従来のプログラミングとは異なる ⇒ 機械学習工学 ISBN-13 : 978-4065285862
- 26. 自動デバッグ（Automatic Program Repair） https://cacm.acm.org/magazines/2019/12/241055-automat ed-program-repair/fulltext 仕様Sを満たすプログラムたち 探索 ｘ ｘ 26
- 27. 線形回帰をプログラミングと見ると… 入力 出力 y = fθ (x) ｘ ｙ ● fθ は線形な関数族の元 ○ fθ (x) = a*x + b ○ <a, b>がパラメタθ、これを求めることが、 プログラミングに相当 L(T,θ)を最小化するθを効率よく計算する方法（最小二乗法）がある！ ● 入出力例の集合を訓練データ Tとする ● 仕様を命題Sの代わりに、誤差Lで与える ○ L(T, θ) -- テストデータに対する誤差 27
- 28. 探すプログラミングとは何か – パラメタの探索 y = fθ (x) x y fは (パラメトリックな) 関数族 • f がCプログラムの全体 • f が線形： Y = Ax + B • fは深層ニューラルネット f() 全体の空間（θの空間） 仕様を満たすθの部分空間 探索 プログラム ｘ ｘ 28
- 29. 仕様（＝誤差L(T, θ)）をどのように与えるか ● 教師あり学習 ● 外部プログラムによる仕様 ○ 逆問題の解法 ○ 強化学習 29 自動運転のためのセグメンテーション https://www.youtube.com/watch?v=lGOjchGdVQs CESにおける自動運転デモ、深層強化学習による訓練を行ったもの
- 30. 忘れてはいけない最適化 30
- 31. 人工知能のもう１つの流れ -- 解の探索 大西洋の戦い 1942-1943 1942/10-12： コンボイ SC107 - 商船37隻＋護衛6隻 vs Uボート16隻 - 商船15隻喪失、Uボート2隻撃沈 … … … オペレーションズ・リサーチ生みの親 物理学者 ブラケット男爵 出典：Wikipedia Uボートの攻撃成功 率は、コンボイ周囲 長における護衛艦 密度によって決まる n n2 “被害を最小にするコンボイの構成は何か？” 所与の条件： ● 各商船の出発地・目的地・積荷・速度 ● 各護衛艦の兵力・速力・他の作戦目的 ● Uボートの攻撃成功率に関する仮説 1943/5： コンボイ SC130 - 商船37隻＋護衛9+4隻 vs Uボート25隻 - 商船喪失なし、Uボート3隻撃沈 Uボートの攻撃成功率に関する仮説 数理モデル化・ 最適化
- 32. 線形条件の下での解の探索 -- 線形計画法 出典: 小暮仁 Web教材「ＯＲ（オペレー ションズ・リサーチ）」 実行可能空間が 線形不等式で表 される。 効用関数が線形 式で表される。 “緑色の (x, y) 空間の中で、3x + 2y を最大にする x, y を求めよ” 各商船・護衛艦の出発地・目的 地・積荷・速度… Uボートの攻撃成功確率に関す る仮説 見つかった 最適解
- 33. 離散領域における解の探索 ● 定義域が離散の制約充足問題 ○ ３充足問題など ● 定義域が離散の最適化問題 ○ 巡回セールスマン問題 ○ ナップザック問題 これらはいずれもNP完全問題として知られ、最悪の場合は2n の時間がかかる 現在では経験的に効率のよいアルゴリズムがあり、ほとんどの現実問題は効率よく解ける 33
- 34. 効用関数が事前にわからない問題設定 -- ブラックボックス最適化 効用関数 μ(x) の全体像はわからないが、ある点x が与えられたとき μ(x) の値を返す 手続き（オラクル）が先験知識として与えられている 34 - 多腕バンディット問題 - 実験計画法 - 進化計算 - 強化学習 - ベイズ最適化 - ： 期待値 μ(x1 ) μ(x2 ) μ(xn ) “期待値の不明なスロットマシンが n 台ある。 儲けを最大にするにはどうしたらよいか？ ” （ μ(xi ) が事前にわかっていれば簡単！） 探索（exploration）と活用（exploitation）のバランスの取れた組み合わせが必要！
- 36. シミュレータにより、出力の望ましさ（報酬）を計算 36 X: センサ入力 Y: アクチュエータ 出力 Y = f(X, θ) u(S, Y): 報酬関数（効用関数） シミュレータ S: 現在の状態
- 37. 自身の行動により効用関数が変化する最適化 -- ゲーム理論 37 期待値 μ(x1 ) μ(x2 ) μ(xn ) ユーザーの行動に基づいて期待値 を調整し売上を増大させる 相手の戦略を想定して戦略を考える 複数主体がそれぞれの利得最大化を目指して行動する状況における最適化
- 40. 上流の水量に関わらず、水を常に7.415 (根方): 38.471(川 崎) : 2.702 (溝口): 1.675(小杉)の割合で分けるには？ 出典：川崎市ホームページ http://www.city.kawasaki.jp/530/page/0000018473.html 古典計算でない計算 (1)：久地円筒分水 40
- 41. 古典計算でない計算 (2)：東大「タコの足」計算 https://twitter.com/sina_lana/status/1135419503519469569 出典：Nakajima, K., Hauser, H., Li, T. et al. Information processing via physical soft body. Sci Rep 5, 10487 (2015). https://doi.org/10.1038/srep10487 41
- 42. 古典計算でない計算 (3)：波動計算 出典: Y. Katayama, Wave-Based Neuromorphic Computing Framework for Brain-Like Energy Efficiency and Integration, IEEE Trans. on Nanotechonology, Vol. 15, No. 5, 2016. 42
- 43. 古典計算でない計算 (4)：Wisconsin大学 ナノフォトニック計算 出典：E. Khoram, et. al, “Nanophotonic Media for Artificial Neural Inference”, arXiv:1810.07815v4 43
- 44. 古典計算でない計算 (その他） ● 量子計算 ● アナログ計算 ● 分子計算 ● ： いずれもチューリング機械抽象ではなさそう…
- 45. 「計算」の再分類：私案 45
- 47. 計算をどのように指定するか(1): 古典計算 ● 計算の手順を指定する (プログラムを書く-- 普段やっているプログラミング) ● 離散空間上、チューリング機械抽象 ソートする計算の手順 出典： ChatGPT
- 48. 計算をどのように指定するか(2): モデル化可能計算 ● 入出力の厳密に数学的な関係を与えるが、計算手順は問わない ● 結果は近似かもしれない SQL文(ある従業員の年間の支払額） ライブラリを使った計算(ソートする) 最適化((x-2)^2を最小化するxを求める） 出典： ChatGPT 出典： Optuna
- 49. 計算をどのように指定するか(3): 部分再現可能計算 ● 特定の入出力事例(訓練データセット)で指定する ● 入力が事例の近傍にあれば、その近似(内挿)を出力する ○ 例： 帰納バイアス（汎化）を使って「良きに計らえ」 ○ 非可算の計算を近似している可能性も … ● 入力が事例の近傍になければ、出力はあてにならない 内挿 外挿 ??
- 51. 51 そもそも要求は「事前に」定義できるか -- 人工知能の未解決問題 ● IJCAI 2017 Keynote by Stuart Russell, “Provably Beneficial AI” ○ 人：「コーヒーをとってきて」 ○ ロボット： スタバへ行き、列に並んでいる他の客を殺してコーヒーをとって くる ○ 人の指示は常に不完全 多くの要求事項は、「後だしジャンケン」 人工知能研究での未解決問題：「フレーム問題」
- 53. 要求の不確実性に対するソフトウェア工学の叡智：アジャイル開発 1. プロセスやツールよりも 個人と対話を。 2. 包括的なドキュメントよりも 動くソフトウェアを。 3. 契約交渉よりも顧客との協調を。 4. 計画に従うことよりも 変化への対応を。 アジャイル・マニフェスト (2001) https://agilemanifesto.org/ 短い(1週-1月)サイ クルの「スプリント」 常に動く（完成形 の）ソフトウェア 優先順位付けされ た顧客要件（バック ログ） スプリント毎に顧客との 対話によりバックログを アップデート 変化を事前に予測するのではなく、 変化の事後に機敏に対応する 出典：https://backlog.com/ja/blog/what-is-agile-and-waterfall/ *QCD: Quality(品質), Cost, Delivery(納期) スプリント毎に顧客 の要求を再確認
- 54. 計算をどのように指定するか(4): 事後評価可能計算 ● 計算をやってみせないと、それが正しいかどうか言えない ● 安定した事後評価者をループに取り込めれば、ブラックボックス最適 化問題(モデル化可能計算)に帰着できる 報酬モデル RLHF(人間のフィードバックによる強化学習 )の例 安定した事後評価者 事後評価者を模倣 ブラックボックス最 適化
- 55. 仕様の与え方による「計算」の階層 ● 各階層は、より下層の計算では直接表現できないが、エミュレートすることは(たぶん)できる ● それぞれの階層によってツール・テクニックが異なる ○ 古典計算 -- アルゴリズム・データ構造・… ○ モデル化可能計算 -- 数学・論理学・ソルバー・… ○ 部分再現可能計算 -- 統計・機械学習工学・… ○ 事後評価可能計算 -- 社会学・アジャイル・… ● １つのシステムは、上記4種の「計算」の組み合わせ ○ 「問題のどの部分をどの計算として表現するか」がソフトウェア工学の課題に 55
- 57. ● 社会の中で、コンピュータサイエンスが貢献できる領域はどんどん広がっています ○ マイナンバーカードの問題： 認証と認可 ○ ものづくりにおけるDevOps ○ 科学における新しい方法論「高次元科学」 ○ 公平性に関する新しい知見 ○ ： ● 専門領域に閉じないで、新しいチャレンジを取り込んでください ● 自分の知見の、思わぬ利用方法が見つかるかもしれません ● それが、「巨人の肩」の本質だと思います
- 58. Thank You @maruyama on twitter ISBN-13 : 978-4764906068 58