スマートシティ、ゲームエンジン、人工知能

三宅陽一郎 @miyayou
2021.8.27
「スマートシティ、
ゲームエンジン、人工知能」
https://www.facebook.com/youichiro.miyake
http://www.slideshare.net/youichiromiyake
y.m.4160@gmail.com
miyayou.com

My Works (2004-2020)
AI for Game Titles
Books

電子レンジを作るのと、
人工知能を作るのは、
どんなふうに違うんだろう？

外側：宇宙の果て
内側：人間の根源
この２つはつながっている

http://static.flickr.com/5051/5525304279_65012a492c_s.jpg
？
http://flopdesign.com/download/Human_S/pages/B50.html
？

外側：宇宙＝見えない法則がある
内側：人間＝見えない法則がある
知能にも法則がある＝人工知能

知能の原理ってなんだろう？
≈ ≈
どんな動物でも、知能は同じ原理で働いているだろうか？
人間
https://toyokeizai.net/articles/-/166201
https://www.fujisafari.co.jp/news/baby/1449/

人工知能の研究
＝いろんな生物を観察して、
知能の原理を理解して、
コンピューターやロボットで実現する

人工知能を探求することは、
人間を探求すること。
哲学によって深く探求し、
エンジニアリングによって証明する

アプローチ
そこから構築
（エンジニアリング）
そして何ができるのか？
知能とは何か？
（哲学、サイエンス）

人工知能のための哲学塾
未来社会篇（2018-2019年）
第0夜概観
第一夜人と人工知能はわかりあえるか？
第二夜人工知能はどのような社会を築くのか？
第三夜人工知能は文化を形成するか？
第四夜人と人工知能は愛し合えるか？
第五夜人工知能にとって幸福とは何か？
第0夜概観
第一夜荘子と人工知能の解体
第二夜井筒俊彦と内面の人工知能
第三夜仏教と人工知能
第四夜龍樹とインド哲学と人工知能
第五夜禅と人工知能
第0夜概観
第一夜フッサールの現象学
第二夜ユクスキュルと環世界
第三夜デカルトと機械論
第四夜デリダ、差延、感覚
第五夜メルロ=ポンティと知覚論
人間の内面を頼りに
人工知能の内面へ深く迫る（作る）ことが目標
人間の社会を頼りに
人工知能の社会へ深く迫る（作る）ことが目標
http://www.bnn.co.jp/books/8210/
http://www.bnn.co.jp/books/9172/
https://miyayou.com/2017/11/11/philosophyeast/ http://www.bnn.co.jp/books/10544/

学問としての
人工知能
（アカデミック）
理想の人工知能像
（鉄腕アトム
など）
学問としての人工知能の進む道
技術（機能）が徐々に集積される
人々が求める人工知能像
から逆算して技術を求める
ポップ
カルチャー
（ＳＦ，アニメ、
ゲーム）
学問
立ち現れるものとして
の
人工知能
機能とアーキテクチャ
から
ビルドアップされる
人工知能
現在のところを二つを結ぶ細い架け橋
（ここを太くすればお互いが相互作用的に進化する）

要素を集めて積み重ね、構築的に
人工知能を作る＝西欧的人工知能
人工知能
混沌の海から人工知能を見つけ掘り出す
＝東洋的人工知能
積み重
ねる
積み重
ねる
人工知能
混沌の海
掘り
出す
掘り
出す
足し算による人工知能の作り方
（組み上げて調和を得る）
引き算による人工知能の作り方
（混沌から引き算する）
デカルト的構築ベルクソン的引き算

人間とフレームとＡＩ

時間（イメージ）
空間（論理）
殆どの人工知能は与えられたフレーム（問題設定）の
外に出ることはできない。
人間は柔軟にフレーム（問題設定）を創造し
変化させることができる。
人間と人工知能の違い

時間（イメージ）
空間（論理）
殆どの人工知能は与えられたフレーム（問題設定）の
外に出ることはできない。
人間は柔軟にフレーム（問題設定）を創造し
変化させることができる。
人間と人工知能の違い
人工知能は自問題を作り出すことはない。
人工知能は人間が与えた問題を解くことしかできない。
似たような問題さえ解けない。

人と人工知能の非対称性
経験
（人間）
人工知能
人間

人
フレーム
フレーム
フレーム
フレーム（小）
＝人工知能の役割
自分の延長とし
ての人工知能
（フレームが
つなぐ）

人
フレーム
フレーム
フレーム
自分の延長とし
ての人工知能
（フレームが
つなぐ）
これは協調ではない。
＝一体となることが協調ではない
＝他者でありながら、協調する

デジタル世界のエコシステム（AI, IA, A）
自律型人工知能（汎用型人工知能）
＝自分で感じて、判断して、自分で行動する
エージェント（小型人工知能）
＝自分で感じて、判断して、自分で行動する（ただし単機能）
機能特化型人工知能（専門型人工知能）
＝ある問題のために作られた人工知能
知的アプリケーション（IA）
＝知的機能を実現したアプリケーション
アプリケーション（A）
ほぼ同義
自律性
全体
埋め込み
性

自律型人工知能（汎用型人工知能）
＝自分で感じて、判断して、自分で行動する
エージェント（小型人工知能）
＝自分で感じて、判断して、自分で行動する（ただし単機能）
機能特化型人工知能（専門型人工知能）
＝ある問題のために作られた人工知能
知的アプリケーション（IA）
＝知的機能を実現したアプリケーション
アプリケーション（A）
ほぼ同義
自律性
全体
埋め込み
性
人間

人間
知的アプリケーション（IA） IA IA
アプリケーション（A）アプリケーション（A）アプリケーション（A）
自律型人工知能自律型人工知能
IA
エージェント
エージェント
エージェント

人工
知能
人
社会
人
社会
構造
変化

社会
人工
知能
人工
知能
人工
知能
人工
知能
人工
知能
場
人工知能が用意した立場に人がエントリーする
人
場
人工知能が用意した立場にエージェントがエントリーする
エー
ジェン
ト

人
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
社会
人

人工知能と社会
ロボッ
ト
世代
人口
人工
知能
少子高齢化社会
ロボットと人工知能で
少子高齢化社会を支える
人間と人工知能の関係はどうあるべきか

実世界
メタバース
（ゲーム
エンジン
物理法則
化学法則
経済法則
社会法則
生物法則
知能の法則
抽出実装
物理シミュレーション
化学シミュレーション
経済シミュレーション
社会シミュレーション
生物シミュレーション
知能シミュレーション
シミュレーション化
イエンス・エンジニアリング情報処理
物・運動データ構造・プログラム

現実世界
デジタル
ツイン
(ゲーム
エンジン)
相互作用
ミラーワールド
スマートシティ
センシング
AIによる干渉

風
頂点
ポリゴン
頂点
移動計算
移動計算
メモリ
CPU or
GPU
変
更
アーティスト
エンジニア
ロード
（格納)
実行

ゲームエンジンの時代
• ゲームエンジンは古くからある（80年代、ナムコのタスクシステム）
• ゲームの規模が小さいうちは効果が大きくない
• 90年代（ほとんどない。ソースコードレベル）
• 00年代（黎明期）
• ゲームエンジン群雄割拠時代（2010-2020）
• 市販のエンジンに加えて、それぞれのゲーム会社でゲームエンジンが作られた
• 現代では、ゲームエンジンなしで大型ゲームは作れない
• ゲームエンジン＝ゲームの質に直結、ゲーム開発の技術を集積する場所
• Unreal Engine（Epic)とUnity3Dが生き残った
• Unreal Engine アメリカ巨漢大砲主義の思想
• Unity 3D デンマーク（北欧）Do it yourself の思想

ジョブ・コントローラー（ナムコ、ゼビウスなど）
三宅陽一郎「タスクシステムの起源について」 2016年年次大会予稿集

大型ゲームエンジン一覧（他にもたくさん）
タイトルゲームエンジン名会社
Far Cry 3,4 DUNIA ENGINE 2 Ubisoft Montreal
THE DIVISION snow drop engine Ubisoft (massive)
Assassin’s creed: syndicate AnvilNext 2.0 game engine Ubisoft Montreal
For Honor AnvilNext 2.0 game engine Ubisoft Montreal
Rise of Tomb Raider Foundation engine Crystal Dynamics
The Witcher 3 RED ENGINE CD PROJEKT
Dragon Age : Inquisition frostbite engine EA DICE
ゲームエンジン名会社
汎用型 Unity3D Unity Technologies （デンマーク）
汎用型 UNREAL ENGINE 4 Epic Games （米）
汎用型 CryEngine CryTech （独）
汎用型 Lumberyard Amazon
汎用型 Stingray Autodesk

メタバース
物・運動
データ構造・プログラム
現実世界
ツールで
アーティスト・
デザイナーが
作成
エンジニアが
プログラミング
存在法則

原子
分子＝原子＋力
物質＝分子と力
現象＝物質と力
データ
オブジェクト
＝データ＋プロ
エンティティ
＝オブジェクト
現象
＝エンティティ＋
現実世界メタバース

データ処理
オブジェクト
＝データ＋プログラム
エンティティ
＝オブジェクトとプログラム
現象
＝エンティティ＋プログラム
メタバース
情報処理基礎
（プログラミング基礎）
オブジェクト指向
大規模システム
シミュレーション

https://www.moguravr.com/virtual-shibuya-8/

https://www.youtube.com/watch?v=1FOz5dMxn3s

ビックデータｘディープラーニング
から
シミュレーションｘディープラーニング
へ

ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術
ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

レベル
キャラクターAI
レベルを認識し、
自律的な判断を行い、
身体を動かす．
敵・味方
キャラクタ－
プレイヤー
情報獲得
スパーシャルAI
空間全般に関する思考
メタAI, キャラクターAIの為に
空間認識のためのデータを準備
ナビゲーション・データの管理
パス検索戦術位置解析オブジェクト認識
メタAI
エージェントを動的に配置
レベル状況を監視
エージェントに指示
ゲームの流れを作る
Order
Ask &
Report
ゲーム全体をコントロール
Support
query
query
頭脳として機能
MCS-AI動的
連携モデル

人工知能全域
機械学習
ディープ
ラーニング
統計
学習
コネクショニズム
シンボリズム
デジタルゲームAI
ゲームAIはシンボリックAIから機械学習へ
今後10年かけて徐々にシフトする
現在、社内でも研究中。

人工知能全域
機械学習
ディープ
ラーニング
統計
学習
コネクショニズム
シンボリズム
デジタルゲームAI
機械学習の導入には土台となるシミュレーション
（物理、仕組み）が必要
シミュレーション技術

技術の変わり目
ビックデータｘディープラーニング
シミュレーションｘディープラーニング
データが貯まるところでディープラーニングを行い特徴抽出を行う
シミュレーションでデータを貯めてディープラーニングを行う

Google 「サッカーシミュレーター」による
強化学習の研究
https://automaton-media.com/articles/newsjp/20190613-95002/
現実
機械学習
（ディープ
ラーニン
グ）
https://ai.googleblog.com/2019/06/introducing-google-research-football.html

現実
機械学習
（ディープ
ラーニン
グ）
DeepMind社「Capture the flag」による
ディープラーニング学習
https://deepmind.com/blog/article/capture-the-flag-science

AnyLogic「シミュレーションｘ機械学習」
サービス
現実
機械学習
（ディープ
ラーニン
グ）
https://www.anylogic.com/warehouse-operations/

Microsoft 「AirSim」による強化学習の研究
現実
機械学習
（ディープ
ラーニン
グ）
https://microsoft.github.io/AirSim/

Nvidia「ドライビングシミュレーター」によ
る強化学習の研究
現実
機械学習
（ディープ
ラーニン
グ）
https://www.nvidia.com/en-us/self-driving-cars/drive-constellation

シミュレー
ション
これからの人工知能のフレームワーク
現実
機械学習
（ディープ
ラーニン
グ）
この２つの技術の結びつきが、現実においても、仮想
空間においても、これからの協力な技術コアとなる。

現実世界
デジタル
ツイン相互作用
センシング
AIによる干渉
With
ディープラーニング

現実世界
デジタル
センシング
AIによる干渉
With
ディープラーニング
コモングラウンド

現実世界
デジタルツイン
（３次元モデル）

https://free-materials.com/%E3%82%B7%E3%83%A7%E3%83%83%E3%83%94%E3%83%B3%E3%82%B0%E3%83%A2%E3%83%BC%E3%83%AB%E3%81%AE%E9%A2%A8%E6%99%AF03/
現実世界
フォトグラメトリー

現実世界
あるショッピングモールがプロモーションをしたい
ショッピングモールそっくりのデジタルツインを構築する
各商店が自分のお店の商品のデジタルツインを構築する
それと eコマースを連動させる
デジタルアバター（AIキャラクター）による解説がつく

人工知能と人に住み良い街とは何か？
機能性＝便利（AIだけのルート）
デザイン性＝機械が溶け合っている
自然性＝自然と溶け合っている
情報性＝情報化された世界

https://cgworld.jp/feature/201703-cgw223T1-avatta.html

現実世界
https://www.note.lespace.co.jp/n/n7df1b9c2a020

AIアバター
北海道産
です

現実世界
街全体のデジタルツイン
ビル全体のデジタルツイン
各商店のデジタルツイン
各商品のデジタルツイン
店員のデジタルツイン
https://www.note.lespace.co.jp/n/n7df1b9c2a020

Enhancing Game Experiences with Character AI
Andrew Moran, Jordan Carlton(Magic Leap, Magic Leap/Weta Workshop)
https://gdcvault.com/play/1025829/Magic-Leap-Enhancing-Game-Experiences

Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research
https://arxiv.org/abs/1911.05063

現実世界
デジタル
センシング
AIによる干渉

ＡＩの分化
ゲームシステム
メタＡＩ
キャラクターＡＩナビゲーションＡＩ
ナビゲーションＡＩのイメージをつかめただろうか？
では、最後のメタＡＩについて説明する。

メタＡＩの歴史
1980 1990
メタＡＩというのは、ゲームそのものに埋め込まれたＡＩ。
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展

メタＡＩの歴史
1980 1990 2000
古典的メタAI
現代のメタＡＩ
キャラクターＡＩ技術の発展
その歴史は古く、1980年代にまでさかのぼる。
その時代と現代のメタＡＩは、異なる点も多いので、
古典的メタＡＩ、現代のメタＡＩと名づけて区別することにしよう。

（例）「ゼビウス」（ナムコ、1983）
敵出現テーブル巻き戻し
敵0
敵１
敵2
敵3
敵4
敵5
『あと面白い機能なんですけれど、ゼビウスには非常に簡単なAIが組み込まれています。
「プレイヤーがどれくらいの腕か」というのを判断して、出てくる敵が強くなるんです。
強いと思った相手には強い敵が出てきて、弱いと思った相手には弱い敵が出てきます。そういっ
たプログラムが組み込まれています。ゲームの難易度というのは「初心者には難しくて、上級者
には簡単だ」ということが、ひとつの難易度で(調整を)やっていくと起きてしまうので、その辺を何
とか改善したいな、ということでそういったことを始めてみたのですけれど、お陰で割合にあまり上
手くない人でも比較的長くプレイできる、うまい人でも最後のほうに行くまで結構ドラマチックに楽
しめる、そういった感じになっています。』
－遠藤雅伸（出演）、1987、「糸井重里の電視遊戯大展覧会」『遠藤雅伸ゼビウスセミナー』フジテレビ－

現代のメタAI
より積極的にゲームに干渉する。
メタAI
敵配位敵スパウニングストーリー
レベル
動的生成
ユーザー

メタＡＩ Left 4 Dead の事例
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and
Interactive Digital Entertainment Conference at Stanford.
http://www.valvesoftware.com/publications.html
今回は Left 4 Dead の事例を見てみる。

メタAI(=AI Director)によるユーザーのリラックス度に応じた敵出現度
ユーザーの緊張度
実際の敵出現数
計算によって
求められた
理想的な敵出現数
Build Up …プレイヤーの緊張度が目標値を超えるまで
敵を出現させ続ける。
Sustain Peak … 緊張度のピークを3-5秒維持するために、
敵の数を維持する。
Peak Fade … 敵の数を最小限へ減少していく。
Relax … プレイヤーたちが安全な領域へ行くまで、30-45秒間、
敵の出現を最小限に維持する。
Michael Booth, "The AI Systems of Left 4 Dead," Artificial Intelligence and Interactive Digital Entertainment Conference at Stanford.
より具体的なアルゴリズム

安全な領域までの道のり(Flow Distance)
メタＡＩはプレイヤー群の経路を
トレースし予測する。
- どこへ来るか
- どこが背面になるか
- どこに向かうか

プレイヤーからの可視領域
可視領域（プレイヤーから見えている
部屋）では、敵のスパウニング（発生）
はできない。

敵出現領域
背後前方
前方と背後のプレイヤー群から見えてない部屋に、
モンスターを発生させる。

Procedural Generation in WarFrame
• Warframe ではダンジョンが自動生成される。
Daniel Brewer, AI Postmortems: Assassin's Creed III, XCOM: Enemy Unknown, and Warframe (GDC2015)
http://www.gdcvault.com/play/1018223/AI-Postmortems-Assassin-s-Creed

Black Combination in WarFrame
• ブロックを組み合わる
• 完全に零からの生成
ではない。
このような生成のことを
Semi-procedural と言う。

WarFrame における自動生成マップの
自動解析による自動骨格抽出
• 自動生成するだけでなく、自動生成したダンジョンを、自動解
析します。ここでは、トポロジー（形状）検出を行います。

WarFrame における自動生成マップの
自動解析によるナビゲーションデータ作成
抽出した骨格に沿って
自動的にナビゲーション・データを作成します。

スタートポイント、出口、目的地の
自動生成

ヒートマップ（影響マップ）を用いて
ゲーム中にプレイヤーの周囲を自動解析
ヒートマップ（影響マップ）とは、対象（ここではプレイヤー）を中心に、位置に温度（影響度）を
与える方法です。距離に応じて減衰します。また時間が経つと、周囲に熱が拡散します。

Tactical Map の例 (影響マップ)
（例）敵と自分の勢力をリアルタイムに計算する。
4 6 8 8 8 8 6 4 2 0 -1 -2 -4 -4 -4 -2
4 6 8 8 8 8 4 2 1 0 -2 -4 -4 -2
4 6 8 8 8 6 3 1 0 -2 -4 -4 -4 -2
4 6 8 8 8 6 6 4 1 0 -2 -4 -4 -2
2 4 6 8 6 6 4 4 0 -1 -2 -4 -4 -4 -2
1 2 4 6 6 4 2 2 -4 -5 -3 -3 -4 -4 -2 -1
3 3 3 3 4 2 2 0 -4 -5 -5 -8 -8 -6 -4 -2
3 3 2 2 2 0 -2 -4 -8 -10 -10 -8 -4 -2
3 3 3 2 2 1 0 -4 -8 -10 -10 -8 -8 -4 -2
2 2 2 2 1 1 0 -3 -8 -10 -10 -8 -8 -4 -2
1 1 1 1 0 0 -2 -4 -8 -8 -8 -8 -8 -8 -8 -8
0 0 0 0 0 -1 -1 -2 -5 -6 -6 -6 -8 -8 -8
0 0 0 0 -1 -2 -2 -2 -4 -4 -4 -6 -8 -8 -8 -8
0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2
0 0 0 0 -1 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2 -2
0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1

ヒートマップ（影響マップ）を用いて
ゲーム中にプレイヤーの周囲を自動解析
「ヒートが増加する＝プレイヤーが近づく点」
「ヒートが減少する＝プレイヤーが遠ざかる点」

アクティブ・エリアセット（Active Are Set）
アクティブ・エリアセットは、プレイヤーの周囲の領域で、
リアルタイムにメタAIがゲームを調整する領域

メタAIがアクティブ・エリアセット内で
ゲームを調整する
「ヒートが増加する＝プレイヤーが近づく点」なので、モンスターを生成する。
「ヒートが減少する＝プレイヤーが遠ざかる点」なので、モンスターを停止する。

メタAI （AI Director,）による
動的ペース調整

メタＡＩ（自動適応ペーシング）
メタAI （AI Director,）による
動的ペース調整

メタAIによる出会うモンスターの数の大域調整
プレイヤーのスタート地点から出口までの道のりで、
コンスタントにモンスターと出会うようにする。

FarCry 4 の事例
Julien Varnier, Far Cry's AI: A Manifesto for Systemic Gameplay
http://archives.nucl.ai/recording/far-crys-ai-a-manifesto-for-systemic-gameplay/

これからのゲームの作り方
オープンワールド
プロシージャル（自動生成）
適応型的AI
（自動AI配置、自動ミッション生成）

まとめ
メタＡＩは、ゲームの流れを動的に作るＡＩで、キャラクターＡＩ、イベントなどに
は命令だけを出す。これは明確に、メタＡＩと他のモジュールが独立した関
係にあるから可能なこと。

人工知能の発展の方向

新しい現実空間
現実世界
（～1995）
人工知能による新しい空間
パソコン
現実がデジタル空間を内包していたはずが、
内包したデジタル空間が現実を変化させて行く。

ゲームエンジン
クラウド
現実世界
（～1995）
インターネット
パソコン
現実がデジタル空間を内包していたはずが、
内包したデジタル空間が現実を変化させて行く。

クラウド
現実世界
（～1995）
パソコン
さらに、キーワードは「実世界指向」
ソフトウェアは身体を持って現実に出る。
それは現実世界を変貌させて行く。
「現実世界 2.0」

IT技術による新しい現実空間のサービス（新規）
ネット空間
現実空間
クラウド/人工知能
進出・
浸食
ロボット
実空間
センシング
ドローン
IoT
現在起こっていること～ネット空間から現実空間への回帰
ゲーム空間
人工知能
https://www.ingress.com
ゲームエンジン

情報空間の拡大
～人工知能の舞台が広がる
http://www.s-hoshino.com

• やがて街全体が情報空間になる。

• やがて街全体を制御する人工知能が出現する。

ゲームＡＩの特徴
リアルタイム
インタラクティブ
身体を持つ
ゲーム
VR/AR ロボット・
自動運転
デジタルサイネージ
ドローン
エージェント・サービス

スマートシティ構想
• もともとは、ガス、電気など、エネルギーを、
知的に融通するシステムのことを指していた。
スマートグリッド構想
• 現在は、情報を加えて、街全体が、インテリ
ジェンスを持つ構想のことを言う。
• スマートシティ構想

• やがて街全体を制御する人工知能が出現する。
• その時、人工知能は社会インフラとなる。新し
く大きな市場。
スマートシティ構想
• 街全体を人工知能があらゆるカメラ、センサーを通して監視する。
• ドローン、ロボット、デジタルビジョンを通して街に力を行使する。
• 街全体の中枢の知能を作る。

スマートシティ＝都市自体が持つ知能
• 自律型AI 『ドラえもん』
• 人間拡張『009』
• スマートシティ『アップルシード』のオリュンポス

アップルシード（士郎正宗）
オリュンポスは人類がついに建設した理想郷とされているうえ、
人口の半分を占める人為的にコントロールされて生まれた人間・
バイオロイドが人間同士の無用な衝突を避ける緩衝剤として機
能しており、人間とバイオロイドの関係性が精妙に描かれている
• https://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%83%E3%83%97%E3%83%AB%E3%82%B7%E3%83%BC%E3%83%89
アップルシードコレクターズBOX＜初回生産限定版＞ http://appleseed13.jp/

人工知能は人間には見えないものを見て、人間に
はできないことをする
• 人の流れ
• 犯罪の早期発見
• 事故現場の発見
• 店内の人の流れ
• その人が注目した商品の共通項
• 紛れ込んだ犯罪者の場所特定
・・・そしてこれらの予測。

ビックデータ
インフラ
としてのAI

西洋の街、東洋の街
https://zkg10.com/posts/bba83e8c

Law （社会法律）と Law （自然法則）
• 台湾のＩＴ推進大臣、オードリー・タン氏は、イスラエルの歴史
学者ユヴァル・ノア・ハラリ氏との対談の中で「コードはLaw で
す。Law といっても、法律ではなく、法則のようなものです」と
述べています。自然な「法則」と言うところに、はっきりとした
東洋的な捉え方が表れています。西欧の立場ではあれば、社会は
人工物でありますから社会的な法律、と言ったことでしょう。数
年前までは、これはネット社会に限定された議論でした。しかし、
デジタルとリアルが重なる現代においては、いまや現実の社会全
体に対する議論になりつつあります。
（本書、P.139）

シドミード
• 人工知能学会 2019年3月号の表紙
• アーティクル表紙解説シド・ミード「SILVER
COACH」─クライアントは未来です
• https://www.jstage.jst.go.jp/article/jjsai/34/2/
34_273/_article/-char/ja/

都市全体を監視・制御するAI
交通全般を制御するAI
各エリアを監視・制御するAI
各ビルを監視・制御するAI 道路を監視・制御す
るAI
各広場を監視・制御す
るAI
人の流れを監
視・制御するAI
抑止・委任報告抑止・委任報告
抑止・委任報告
都市
監視
制御
監視
制御
人ドローンロボット
デジタル
アバター
報告
命令
人
監視
制御
監視
制御

ユーザー体験を作る
ユーザー
Navigation AI が作る世界
メタAI が作る世界
エージェントAI が作る世界
「ナビゲーションAI」「メタAI」「エージェントAI」の多層的な仕組みでユーザー経験を作る。

空間スケール
時間スケール
0 時空間スケールによる体験の段階的形成

るAI
るAI
人の流れを監
都市
監視
制御
監視
制御
デジタル
アバター
報告
命令
人
監視
制御
監視
制御
スマートシティへの応用
ス
パ
｜
シ
ャ
ル
A
I
メタAI

人工知能は二種類ある。
社会インフラとなる人工知能。
個人をアシストする人工知能。
二つともこれからのビジネス。

インフラとしての
人工知能
人間とペアを
組む人工知能
社会
インフラ
パーソナル・
サービス
人間の心
人と人の間
/モバイル
システム
/ビックデータ

デジタルゲームAIは
ゲームの世界から
現実世界へ
実世界指向ＡＩ＆スマートシティ
現実に出て行く人工知能と
現実のデジタル（DX）化

歴史的事情 2001-2010
IT＝デジタル世界と現実世界
デジタル世界
（コンピューター、
インターネット）
現実世界

歴史的事情 2001-2010
IT＝デジタル世界と現実世界
デジタル世界
インターネット、
人工知能）
現実世界

歴史的事情 2011-2020
デジタル世界
人工知能）
現実世界
DX＝デジタル世界と現実世界の融合

歴史的事情 2011-2020
デジタル世界
人工知能）
現実世界
現実世界とデジタル世界を結びつける力
＝GPS, IoT, デジタリゼーション

都市全体を監視・制御するAI（メタAI）
るAI
るAI
人の流れを監
都市
監視
制御
監視
制御
デジタル
アバター
報告
命令
人
監視
制御
監視
制御
ナ
ビ
ゲ
｜
シ
ョ
ン
Ａ
Ｉ

人
エージェント
人
人と人の間に入れるには人工知能だけ
＝世間を変える
＝社会を変える
＝世界を変える

人
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
エー
ジェン
ト
社会
人
図9.13

社会
人工
知能
人工
知能
人工
知能
人工
知能
人工
知能
場
人工知能が用意した立場に人がエントリーする
人
場
人工知能が用意した立場にエージェントがエントリーする
エー
ジェン
ト
図9.12

るAI
るAI
人の流れを監視・制御
するAI
都市
監視
制御
監視
制御
デジタル
アバター

５Gで新しくなるポイント① 技術的変
化
• 予測処理など回線が間に合わないタイミングは、クライアント
側で予測が入っている。或いは、サーバー上で調整する。
これまで
ある程度のフェイクなしに、サーバー側でコントロールできる。
これから

街全体が新しいゲームの
プラットフォームになる

現実世界
デジタルワール
ド
ARG
デジタルゲー
ム
都市を舞台にした
ゲーム

５Gで新しくなるポイント④位置ゲームの
革新
• ゲームクライアント上でそれぞれの体験
これまで
大規模な街をまたいだ現象を共有
これから

街を舞台にした人工知能を用いた
物語自動生成デジタルゲーム
位置ゲームから物語ゲームへ

街を舞台にした人工知能を用いた物語自動生成
デジタルゲーム
•内容：それぞれの職場や出発点から、グループに対して東京を舞台
にした物語ゲームを、人工知能が自動生成する。それぞれの場所に
応じたクエストを生成し、役割を与え、最後に一つの場所で落ち
合ってラストバトルを戦う。
•（例）１９時に仕事が終わったサラリーマンなど３人が同じアプリ
を立ち上げると、それぞれの場所を入力とする物語が自動生成され
る。たとえば、池袋の人は盾、新宿の人は剣、品川の人は鎧を集め
て、東京タワーでラストバトルを行う。

プロシージャル技術
ゲームAI技術
AI技術
プロシージャル
技術
コンテンツ自動生成技術
（PCG, Procedural Contents Generation ）

プロシージャル技術（自動生成技術）
ゲーム内の自動生成技術は、メタAIに属する技術

スパーシャルAI
メタAI
適応型動的ペーシング
難易度自動調整
仲間を協調させる演技
キャラクターAIへの命令の様式
プロシージャル技術
影響マップを用いた敵キャラクター生成
影響マップ

ブラウン運動
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95

ブラウン運動から地形生成
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
宮田一乗「プロシージャル技術の動向」（CEDEC 2008）

ブラウン運動から地形生成
http://www.kenmusgrave.com

フラクタルの思想
自然のパターンというのは、
同じ模様がスケールを変えてくり返されている
同じ模様をスケールを変えて重ねれば
自然のオブジェクトに見えるはずだ
http://wwwitblpg.kansai.jaea.go.jp/itblpg/resource/Fractal/topics/fractal_topics01.html

地形自動生成
Jacob Olsen, Realtime Procedural Terrain Generation
http://oddlabs.com/download/terrain_generation.pdf
２次元中点変位法ボロノイ図
ノイズ法（濃い＝低い、白い＝高い）
＋＝

Ken Musgrave
http://www.kenmusgrave.com/

Terragen(Planetside Software)
風景、自動生成生成ソフト
http://www.planetside.co.uk/terragen/
海外のゲームや映画の背景として利用されている

Age of Empires III における地形自動生成
西川善司, 「3DゲームファンのためのAGE OF EMPIRESエンジン講座(後編)こだわりの影生成と算術合成
されるディテール、次回作はXbox2?」, GAME Watch, 2005

L-system による街の自動生成
City Engine(central pictures)
Yoav I H Parish, Pascal Müller
http://www.centralpictures.com/ce/tp/paper.pdf
http://www.centralpictures.com/ce/
George Kelly, Hugh McCabe,
A Survey of Procedural Techniques for City Generation
http://www.gamesitb.com/SurveyProcedural.pdf

ゲームを自律化する
（ゲームAI技術、プロシージャル技術）
• ゲームAI技術
• プロシージャル技術）

https://www.youtube.com/watch?v=NfizT369g60

https://www.youtube.com/watch?v=FzoY062kY1s

環境
人工知能とは？
身体
人工知能＝人工的な存在（＝身体）を環境の中で活動させる
入力（センサー）行動（アウトプット）
知能

知能の内部世界
環境世界
エフェクター・
身体
センサー・
身体

思考
環境世界
身体
センサー・
身体
記憶

環境世界
認識の
形成
記憶
センサー・
身体
記憶体
情報処理過程
情報
統合
記憶

環境世界
認識の
形成
記憶
意思の
決定
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
情報処理過程
情報
統合
記憶

環境世界
認識の
形成
記憶
意思の
決定
身体
制御
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
記憶体
情報処理過程運動創出過程
身体部分
情報
統合
運動
統合
記憶

知能の世界
環境世界
認識の
形成
記憶
意思の
決定
身体
制御
身体
運動の
構成
センサー・
身体
意思決定
モジュール
意思決定
モジュール
意思決定
モジュール
対象・
現象
情報の流れ（インフォメーション・フロー）
影響を与える
影響を受ける
記憶

意思決定モデル
ステート（状態）ベースAI
ゴール（目標）ベースAI
ルール（規則）ベースAI
ビヘイビア（振る舞い）ベースAI
意思決定というものは非常に高度で複雑なプロセスです。
でも、ゲームで用いるいくつかの簡易モデルが存在します。
シミュレーションベース AI
ユーティリティ（効用）ベース AI
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
「○○-based AI」とは、○○をAIを構築する基本単位として採用したＡＩということ。
タスク（仕事）ベース AI
Task-based AI
意思決定
Simulation-based AI

ルールベース意思決定
Rule-based decision making
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
Task-based AI
Simulation-based AI

(例) ルール制御
ID 0 : IF …. THEN …
ID 3 : IF …. THEN ….
ID .. :
Priority: 3
Priority: 1
Priority: 4
Priority: 5
Priority: 2
或いは、状況判断思考によってルールを振り分ける。
戦略思考、キャラクターの挙動などでよく使われる。
Priority: -
制御
思考
ルール＝ IF （行動条件文） then （動作命令文）

応用可能性例
http://gomibako.symphonic-net.com/vote.cgi?genre=act_b&rating=9
ID 0 : IF （敵確認） THEN （逆方向）
ID 1 : IF （誰もいない） THEN （ランダムウォーク）
ID 2 : IF （フルーツ発見） THEN （フルーツゲット）
ID 3 : IF （パワー発見） THEN （パワーゲット）
ID 0 : IF （敵強い） THEN （サンダガ）
ID 1 : IF （自分弱い） THEN （弱い敵に攻撃）
ID 2 : IF （HP<20） THEN （ケアル）
ID 3 : IF （パワー発見） THEN （パワーゲット）
こうなっているというのではなく、こういうふうに応用できる例
パックマンなど
RPGなど

The Sims 3 における応用
街全体をソーシャルにシミュレーションして人との関係を楽しむゲーム。
たくさんのＡＩを「人間らしく」制御しなければならない。
特徴付けにプロダクションルールを採用。
Richard Evans, "Modeling Individual Personalities in The Sims 3", GDC 2011
http://www.gdcvault.com/play/1012450/Modeling-Individual-Personalities-in-The

ルール制御
ID 3 : IF …. THEN ….
ID .. :
Priority: 3
Priority: 1
Priority: 4
Priority: 5
Priority: 2
ルールに固定、あるいは変動プライオリティ（優先度）をつけて制御を行う。
あるいはランダムにルールをピックアップする場合もある。戦略思考、キャラク
ターの挙動などでよく使われる。
Priority: -
制御
ルール＝ IF （行動条件文） then （動作命令文）

キャラクターＡＩ：意思決定
ステートマシン入門

ステートベース
ステート自分の行動を記述する。
ステートステート
遷移条件
世界と自己の変化を記述する。

ステート・マシン
ステート
ステートステート
ステートマシン（有限状態マシン）
ステートに自分への命令、遷移条件に世界と自分の状況の変化を書く。
ループ構造により、フィードバック構造はない。

ステート・マシン
ステートマシン（有限状態マシン）
ステートに自分への命令、遷移条件に世界と自分の状況の変化を書く。
ループ構造により、フィードバック構造はない。
待機
攻撃パトロール

警戒
追跡
追いかける
攻撃する
威嚇攻撃
味方に指示
出口をかためる
味方を呼ぶ
味方がいない
かつ
戦闘範囲外
味方と合流
味方と合流
味方がいる
見失う
見える
見失う見つける
巡回する
１０秒経つ
物音を
聴く
応答がきた
階層型ステート・マシン

(例) Quake HFSM
状態遷移図を用いる
http://ai-depot.com/FiniteStateMachines/FSM-Practical.html

ユーティリティ・ベース
• ユーティリティ・ベースは高度に抽象的な戦術決定の方法。
• 世界をモデル化し、評価すべき行動群の効用（ユーティリティ）
を数値に還元する。

The Sims シリーズのＡＩの作り方
人をダイナミクス（力学系、動的な数値の仕組み）として動かす。
世界を動かす PeerAI(=キャラクターＡＩ) を構築。
Sub
Peer
Meta
Meta
Peer
Sub
[原則] 周囲の対象に対する、あらゆる可能な行動から、
ムード（幸せ）係数を最大化する行動を選択する。
Sims (not under direct player control) choose what to do by selecting, from all of the
possible behaviors in all of the objects, the behavior that maximizes their current happiness.
Will Wright, AI: A Design Perspective (AIIDE 2005)
http://www.aaai.org/Papers/AIIDE/2005/AIIDE05-041.ppt
Kenneth Forbus, Will Wright, “Some notes on programming objects in The Sims – Example”
http://www.qrg.cs.northwestern.edu/papers/Files/Programming_Objects_in_The_Sims.pdf

The Sims における「モチーフ・エンジン」
Ken Forbus, “Simulation and Modeling: Under the hood of The Sims” (NorthWerstern University)
http://www.cs.northwestern.edu/%7Eforbus/c95-gd/lectures/The_Sims_Under_the_Hood_files/frame.htm
Data
- Needs
- Personality
- Skills
- Relationships Sloppy - Neat
Shy - Outgoing
Serious - Playful
Lazy - Active
Mean - Nice
Physical
- Hunger
- Comfort
- Hygiene
- Bladder
Mental
- Energy
- Fun
- Social
- Room
Motive Engine
Cooking
Mechanical
Logic
Body
Etc.
AIの人格モデル

最適（＝最大効用）な行動を選択する
Hunger +20
Comfort -12
Hygiene -30
Bladder -75
Energy +80
Fun +40
Social +10
Room - 60
Mood +18
Toilet
- Urinate (+40 Bladder)
- Clean (+30 Room)
- Unclog (+40 Room)
Mood +26
Bathtub
- Take Bath (+40 Hygiene)
(+30 Comfort)
- Clean (+20 Room)
Mood +20
[原則] 周囲の対象に対する、あらゆる可能な行動から、
総合的な効用（＝Mood）を最大化する行動を選択する。

ムードの計算方法と各パラメーターのウェイトグラフ
Mood = W_Hunger(X_Hunger) * X_Hunger + W_Engergy(X_Energy) * X_Energy + …
-100 0 100 -100 0 100
-100 0 100 -100 0 100
-100 0 100 -100 0 100
-100 0 100 -100 0 100
W_Hunger W_Energy
W_Comfort W_Fun
W_Hygiene
W_Social
W_Bladder W_Room

効用(Utility)の計算の仕方
W_Hunger
X_Hunger
W_Hunger(-80)
-80 60
W_Hunger(60)

効用(Utility)の計算の仕方
W_Hunger
X_Hunger
W_Hunger(-80)
-80 60
W_Hunger(60)
Hunger degree at -80 ＝ W_Hunger(-80)*(-80)
Hunger degree at 60 ＝ W_Hunger(60)*(60)
Δ ＝ W_Hunger(60)*(60) - W_Hunger(-80)*(-80)
Utility for hunger

限界効用逓減の法則
X_Hunger
W_Hunger(-80)
-80 60
W_Hunger(60)
Δ（-80 → 60）＝W_Hunger(60)*(60) - W_Hunger(-80)*(-80)
Δ (60→90）＝W_Hunger(90)*(90) - W_Hunger(60)*(60)
90
W_Hunger(90)
Δ（-80 → 60） is much larger than Δ(60→90）
ある程度満たされたものを満たすより、
満たされないものをある程度満たす方が大きな満足をもたらす
Utility for hunger
ビールは一杯目が一番おいしい

The Sims 3 では、多くのムードや欲求が準備される。
行動対象
GDC09 資料 http://www.gdcvault.com/play/1452/(307)-Breaking-the-Cookie-Cutter

アフォーダンスとユーティリティ
並木幸介
[CEDEC]ぽかぽかアイルー村における、アフォーダンス指向のAI事例。AIに多様な振
る舞いをさせる手法 http://cedil.cesa.or.jp/session/detail/697

参考文献
三宅陽一郎
「ディジタルゲームにおける
人工知能技術の応用の現在」
(19ページ)
（人工知能学会誌、2015）
※ＰＤＦをダウンロードできます。
http://id.nii.ac.jp/1004/00000517/

意思決定モデル
意思決定というものは非常に高度で複雑なプロセスです。
でも、ゲームで用いるいくつかの簡易モデルが存在します。
Rule-based AI
State-based AI
Behavior-based AI
Goal-based AI
Utility-based AI
「○○-based AI」とは、○○をAIを構築する基本単位として採用したＡＩということ。
Task-based AI
意思決定
Simulation-based AI

キャラクターＡＩ：意思決定
ビヘイビアツリー入門

root
バトル
撤退
休憩
攻撃
隠れる
逃走する
足止めする
立ち止まる
回復する
トラップ
眠る
回復薬を飲む
弓を放つ
剣を振る
森に潜む
穴を掘る
建物に隠れる
攻撃魔法
氷系
風系
プライオリティ
シークエンス
シークエンス
ランダム
ランダム
ランダム
ビヘイビア
（末端ノード）
層
層
選択ルール
選択ルール

root
バトル
撤退
休憩
攻撃
隠れる
逃走する
足止めする
立ち止まる
回復する
トラップ
眠る
回復薬を飲む
弓を放つ
剣を振る
森に潜む
穴を掘る
建物に隠れる
攻撃魔法
氷系
風系
シークエンス
シークエンス
ランダム
ランダム
ランダム
ビヘイビア
層
層
選択ルール
選択ルール
この層の中で実行可能なうち、
最も優先度の高いノードを実行する

root
バトル
撤退
休憩
攻撃
隠れる
逃走する
足止めする
立ち止まる
回復する
トラップ
眠る
回復薬を飲む
弓を放つ
剣を振る
森に潜む
穴を掘る
建物に隠れる
攻撃魔法
氷系
風系
シークエンス
シークエンス
ランダム
ランダム
ランダム
ビヘイビア
層
層
選択ルール
選択ルール
この層の中で実行可能なノードを
順番に実行する。

root
バトル
撤退
休憩
攻撃
隠れる
逃走する
足止めする
立ち止まる
回復する
トラップ
眠る
回復薬を飲む
弓を放つ
剣を振る
森に潜む
穴を掘る
建物に隠れる
攻撃魔法
氷系
風系
シークエンス
シークエンス
ランダム
ランダム
ランダム
ビヘイビア
層
層
選択ルール
選択ルール
この層の中で実行可能なノードを
ランダムに一つ実行する。

(例) スペースインベーダー(1978)
プレイヤーの動きに関係なく、決められた動きをする
（スペースインベーダー、タイトー、1978年）

（例）プリンス・オブ・ペルシャ
「プリンス・オブ・ペルシャ」など、
スプライトアニメーションを用意する必要がある場合、
必然的にこういった制御となる。
（プリンスオブペルシャ、1989年）

３Ｄゲームの中のＡＩ
Halo
（ＨＡＬＯ、バンジー、2001年）デバッグ画面
The Illusion of Intelligence - Bungie.net Downloads
http://downloads.bungie.net/presentations/gdc02_jaime_griesemer.ppt

Early in the learning process … … after 15 minutes of learning
Reward for decrease in Wulong Goth’s health

Early in the learning process … … after 15 minutes of learning
Punishment for decrease in either player’s health

キャラクターの人工知能
＝キャラクターに煩悩を与える

人工知能
人間
仏教と人工知能
• 仏教＝煩悩から解脱する
• 人工知能＝むしろ煩悩を与えたい（執着）
煩悩煩悩
解脱執着
人工知能＝どのようにして煩悩を与えることができるか？
人工知能
（人工知性）
禅

唯識論
世界は識から成り立つとする理論。
眼識
耳識
鼻識
舌識
身識
意識
阿頼耶識
（一切種子識）
末那識
感覚
（五識）
思考
自我執着心
根本心
表層心
深層心
言葉なしで対象を直接
に把握する。それぞれ
固有の対象を持つ。
五識と共に働いて感覚を
鮮明にする。五識の後に
言葉を用いて対象を概念的
に把握する
常に阿頼耶識を対象として
「我」と執する。
眼識ないし末那識を生じる。
身体を生じて生理的に維持している。
自然をつくり出し、それを維持し続けている。
一切を生じる種子を有する。
（横山紘一「唯識の思想」、講談社学術文庫、P.60 ）
阿頼耶識から生まれた
ものが、人間にさまざま
なものを見せる。
＝煩悩

存在の混沌
生態による分節化
知能による分節化
言語的世界
社会による分節化
認
識
の
生
成
図８.５

年企業テーマ Open
2003 Microsoft 「Teo Feng」における強化学習
2005 Microsoft 「Forzamotor Sports」における強化学習
2013 DeepMind AtariのゲームをDQNで学習
2015 DeepMind 囲碁 AlphaGO
2017 AnyLogic 倉庫・機械などモデルのシミュレーション
Microsoft 「パックマン」多報酬学習
Hybrid Reward Architecture for Reinforcement Learning
2019 Google 「サッカーシミュレーター」による強化学習の研究〇
DeepMind 「Capture the flag」によるディープラーニング学習
Microsoft 「AirSim」ドローンシミュレーター〇
Nvidia 「ドライビングシミュレーター」
Mircrosoft 「TextWorld」アドベンチャーゲームを題材に言語学習〇
facebook 「CraftAssist」マインクラフト内で会話研究〇
CarMelon カーネギーメロン大学「MineRL」マインクラフトを使ったAIコンテスト〇
facebook 「LIGHT」ファンタジーワールドを構築してクラウドワーカーで会話研究〇
OpenAI 「Dota2」OpenAIによる「OpenAIFive」〇
DeepMind 「StarCraft2」AlphaStar 〇
DeepMind 「Capture the Flag」QuakeIII エンジン〇
2020 Nvidia GameGAN「ディープラーニングによるパックマンの目コピー」〇
DeepMind 「Agent57」AtariのほとんどのゲームをDQN+LSTMなどで学習〇
OpenAI 「HIDE AND SEEK」かくれんぼを用いたマルチエージェントのカリキュラム学習〇

Dota2における人工知能
（OpenAI, 2019）
テーブルトークRPGを用いた対話学習

日本におけるゲームセンターの対戦文化の流れ（1980年代～）
アメリカを中心とするFPS対戦の流れ（2000年前後～）
韓国におけるeスポーツ文化の流れ（1997年～）
世界的なMOBAスタイルの
チーム対戦の流れ（2010年～）
1985 1990 1995 2007
ⅬＡＮ
ゲームセンターの
対戦台インターネット高速インターネット・動画配信
実際の現場でギャラリー観戦テレビなどで観戦インターネットで観戦
ゲーム聴衆
の誕生

Dota2 eSportsで大人気
OpenAI Five: Dota Gameplay https://www.youtube.com/watch?v=UZHTNBMAfAA
解説：『Dota 2』における人間側のチャンピオンチームとAIチームの戦い https://alienwarezone.jp/post/2316

HERO
ベクター
認識過程
認識情報
ベクター
HERO
ベクター
HERO
ベクター
HERO
ベクター
各HERO
埋め込み
バリュー・
ファンクション
LSTM
アクション
Tied Weight

ゲーム（Dota2）
コントローラー
Forward Pass GPU
(512GPUs)
新しいパラメータを
配布
ロールアウトワーカー
57600ワーカー
51200CPUs （Python）
アクション
各ワーカーから0.25秒
おきに監視
Exp. Buffer
各ワーカーから1分おきに
256サンプルを送信
GPU
1分（オプティマイザーで言えば32ステップ）
ごとに新しいパラメータを渡す
2秒ごとに
1920サンプル
オプティマイザー（512GPUs）
2秒おきに
NCCL（Nvidia）のAllreduceの
ライブラリによる全GPUの
Gradientの平均化

時系列
空間
ストラテジーゲームの時空間
自発的なプラン
状況的に展開せざる得ないプラン
状況的に展開せざる得ないプラン
ある
ゲーム
状況
ある
ゲーム
状況
時間

StarCraft~StarCraft2における
人工知能
（DeepMind, 2019）

StarCraftのAI
• Santiago Ontañon, Gabriel Synnaeve, Alberto Uriarte, Florian
Richoux, David Churchill, et al..
• “A Survey of Real-Time Strategy Game AI Research and
Competition in StarCraft”. IEEE Transactions on
Computational Intelligence and AI in games, IEEE
Computational Intelligence Society, 2013, 5(4), pp.1-19. hal-
00871001
• https://hal.archives-ouvertes.fr/hal-00871001

StarCraftの7つのアーキテクチャ (2010-2020)

戦略思考
ハイレベル、抽象的
３分～
知識収集と
学習
敵のモデル化
戦略決定
部隊形成
命令プランの構築
戦術思考
中間レベル
30秒～1分
スカウティング
戦闘タイミングと
位置
ユニットと建築物
の配置
反射コントロール
低レベル、物理的
～1秒
小ユニット
マルチエージェン
パス検索
StarCraft 一般的なアーキテクチャ

戦闘
ゴール
マネージャー
ユニットグループ
ベイジアン・ネット
BroodWarBotQ
仲介モジュール
知能
マップ
マネージャー
技術推定
ユニット
フィルター
資源管理
ワーカー
マネージャー
基地
マネージャー
生産
マネージャー
建築
マネージャー
StarCraft BroodWarQ Bot アーキテクチャ

知能
建築命令マネージャー
スカウト
マネージャー
資源
マネージャー
マクロ
マネージャー
拡張
マネージャー
供給
マネージャー
部隊
マネージャー
封鎖経路
マネージャー
戦略
戦術
タスクマネージャー
建築設置
モジュール
タスク n
StarCraft SkyNet Bot アーキテクチャ

資源管理
戦闘
部隊マネージャー
防御マネージャー
戦闘マネージャー
AIUR
ムード
マネージャー
知能
仲介モジュール
スカウト
マネー
ジャー
情報マネージャー
ワーカー
マネージャー
基地
マネージャー
生産
マネージャー
建築
マネージャー
スパイ
マネー
ジャー
消費
マネージャー
StarCraft AIUR Bot アーキテクチャ

StarCraft II API
StarCraft II バイナリー
PySC2
エージェント
アクション select_rect(p1, p2) or build_supply(p3) or …
観察
資源
可能なアクション
建築命令
スクリーン
（ゲーム情報）
ミニマップ
（特定の情報）
報酬
-1/0/+1
SC2LE

評価値
Value
Network
Baseline features
アクション・タイプディレイユニット選択
命令発行ターゲット選択
Residual MLP MLP MLP Pointer
Network
Attention D
分散表現
MLP
分散表現
MLP
分散表現
MLP
Embedding
MLP
コア
Deep LSTM
スカラー
エンコーダー
MLP
エンティティ
エンコーダー
トランス
フォーマー
空間
エンコーダー
ResNet
ゲーム
パラメーター群
エンティティミニマップ

https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii

DeepMind社「Capture the flag」
によるディープラーニング学習
(2019年)

現実
機械学習
（ディープ
ラーニン
グ）

π
ゲーム画像ゲーム画像ゲーム画像ゲーム画像ゲーム画像
サンプルされた
潜在変数
アクション
内部報酬
ｗ
勝敗判定
方針
ゲーム
ポイント
ゆっくりとしたRNN
高速なRNN
Xt
𝑄𝑡 𝑄𝑡+1

赤チーム陣地
青チーム陣地赤フラグを青チーム陣地に
持ち帰る青エージェント
赤フラグが赤チーム陣地に
再び自動返却されるタイミング
を待つ青エージェント
赤エージェント

OpenAI「HIDE AND SEEK」による学習
(2019年)

「かくれんぼ」によってマルチエージェ
ントを学習させる
• オブジェクトがあって、動かしたり固
定したりできる。
• オブジェクトは直方体、傾斜台、長い
板がある。
• 一度固定したオブジェトは動かせない
• エージェントは次第にオブジェクトを
利用してかくれんぼをするようになる
• ６種類の戦術を順番に発見・学習して
いく
https://openai.com/blog/emergent-tool-use/

Emergent Tool Use From Multi-Agent Autocurricula (2019)
Bowen Baker, Ingmar Kanitscheider, Todor Markov, Yi Wu, Glenn Powell, Bob McGrew, Igor Mordatch
https://arxiv.org/abs/1909.07528

自分の座標
周囲の状況
（LIDARによる）
他のエージェ
ントの座標
ボックスの
座標、速度
傾斜台の
座標、速度
全結合
全結合
全結合
自分
コンボリューション
円方位ID 全結合
エージェント
埋め込みベクトル
ボックス
ボックス
マスクされた平均プーリング
エンティティ間のアテンション
マスクされた要素
（壁などで見えない）
LSTM
移動
アクション
つかむ
アクション
ロック
アクション
自分
エージェントボックス
傾斜台
メモリーステート

ネットワーク上のグラフ検索法
ダイクストラ法
M
F
L
B
A
Ｓ
O
P
D
C
G
S
V
H
Q
X
K
N
J
R
T
W
E
I
U
Z
Y
Ｇ
5
4
6 3
7 2
3
B C
3
G
D E
3
2 2
4
L
3
3
5
5
J
F
出発点（S）を中心に、最も短い経路
を形成して行く。Gにたどり着いたら終。
各ノードの評価距離＝出発点からの経路

ネットワーク上のグラフ検索法
A*法
M
F
L
B
A
Ｓ
O
P
D
C
G
S
V
H
Q
X
K
N
J
R
T
W
E
I
U
Z
Y
Ｇ
5
4
6 3
7 2
3
B C
3
3
2 2
4 3
5
5
出発点（Ｓ）を中心に、
そのノードまでの
最も短い経路を
形成して行く。
Gにたどり着いたら終了。
ゴール地点がわかっている場合、現在のノードとゴール
との推定距離（ヒューリスティック距離）を想定して、
トータル距離を取り、それが最少のノードを探索して行く
各ノードの評価距離＝出発点からの経路＋ヒューリスティック距離
ヒューリスティック距離
(普通ユークリッド距離を取る)
3+14.2 3+13.8
G H
3
5+10.5 6+8.4

パス検索とは
現在の地点から指定したポイントへの経路を、
リアルタイムで計算して導く技術。
RTS - Pathfinding A*
https://www.youtube.com/watch?v=95aHGzzNCY8

Counter Strike: Path Following (デモ)
The Official Counter-Strike Bot
http://aigamedev.com/insider/presentation/official-counter-strike-bot/

スマートシティ、ゲームエンジン、人工知能

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie スマートシティ、ゲームエンジン、人工知能

Ähnlich wie スマートシティ、ゲームエンジン、人工知能 (20)

Mehr von Youichiro Miyake

Mehr von Youichiro Miyake (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

スマートシティ、ゲームエンジン、人工知能