人工知能とゲーム（後篇）

人工知能とゲーム（後篇）
三宅陽一郎
三宅陽一郎@miyayou
2020.9
https://www.facebook.com/youichiro.miyake
http://www.slideshare.net/youichiromiyake
y.m.4160@gmail.com

コンテンツ
• 第一章人工知能とは
• 第二章ゲームAIとは
• 第三章ゲームAIとは②
• 第四章開発者の心持ち
• 第五章ゲームの知能化
• 第六章ナビゲーションAI
• 第七章キャラクターAI
• 第八章プロシージャル
• 第九章キャラクターAI（学習）
• 第十章協調するAI

第八章プロシージャル

プロシージャル技術
ゲームAI技術
AI技術
プロシージャル
技術
コンテンツ自動生成技術
（PCG, Procedural Contents Generation ）

（例）① GA Racer遺伝的アルゴリズムによって、遠くまで到達できるレーサーを作成する。
最初はここまでしか
たどり着けないけど…
だんだんと遠くまで、
たどりつけるようにする。
Mat Buckland, "Building Better Genetic Algorithm", 11.4., AI Game Programming Wisdom 2
（CD-ROMにソースコードと実行ファイルがあります）
最初の世代新世代（１００～世代後）

（例）③ムーンランディング
（月着陸）
３世代２０世代３５世代
落下法則（物理法則）のもとで降下ポイントから台座に垂直に着陸する操作を見出す
最初は全く見当違い。だんだんと近付いて来る。
Mat Buckland, Andre Lamothe, “Moon Landings Made Easy ”, chapter.6.,
AI techniques for game programming, Premier Press (2002)
着陸地点
降下開始ポイント降下開始ポイント降下開始ポイント

Neural Networks in Supreme Commander 2 (GDC 2012)
Michael Robbins (Gas Powered Games)
http://www.gdcvault.com/play/1015406/Off-the-Beaten-Path-Non
http://www.gdcvault.com/play/1015667/Off-the-Beaten-Path-Non
ニューラルネットワークの応用

Black & White （Lionhead,2000）
クリーチャーを育てていくゲーム。
クリーチャーは自律的に行動するが、
訓練によって学習させることができる。
http://www.youtube.com/watch?v=2t9ULyYGN-s
http://www.lionhead.com/games/black-white/

Belief – Desire – Intention モデル
Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Intention
Overall Plan
(Goal, Main Object)
Attack enemy town
Specific Plan
(Goal, Object List)
Throw stone at house
Primitive Action List
Walk towards stone,
Pick it up,
Walk towards house,
Aim at house,
Throw stone at house
Richard Evans, “Varieties of Learning”, 11.2, AI Programming Wisdom

Belief – Desire – Intention モデル
Desire
(Perceptrons)
Opinions
(Decision Trees)
Beliefs
(Attribute List)
Richard Evans, “Varieties of Learning”, 11.2, AI Programming Wisdom
Low Energy
Source =0.2
Weight =0.8
Value =
Source*Weight =
0.16
Tasty Food
Source =0.4
Weight =0.2
Value =
Source*Weight =
0.08
Unhappiness
Source =0.7
Weight =0.2
Value =
Source*Weight =
0.14
∑
0.16+0.08+0.14
Threshold
（0～1の値に
変換）
hunger
Desire（お腹すいた度）欲求を決定する
対象を決定する
それぞれの対象の
固有の情報
他にも
いろいろな
欲求を計算
Hunger
Compassion
Attack（戦いたい）
Help

機械学習
• 機械学習を導入できるところ＝くり返される状況がある
• （例）格闘ゲーム、レースゲーム
• 使いどころ＝人間が調整できないほど多くて複雑な数値調
整が必要な場所
（例）場合分けがあまりにも多い、ターゲット選択

機械学習
• 微調整はできない。
• 学習をすべてやり直すしかない
（例）特にニューラルネットワーク
ゲームデザイナーの要望に応える場所では難しい。
ゲームデザイナーが気にしない場所で使うのが良い。
（例）たくさんのパターンを生成するなど
ゲーム産業はいかに機械学習を調整するか、
という課題に直面している。

生成系ニューラルネットワーク

目次
• 第一節ニューラルネットワーク基礎
• 第二節生成系ニューラルネットワーク
• 第三節プロシージャル技術入門
• 第四節ニューラルネットの歴史

第一節
ニューラルネットワーク基礎

神経素子（ニューロン）とは？
入力
入力
入力
出力
入力
この中にはイオン（電解,Na+,K+）
溶液が入っていて、入力によって電圧が
高まると出力する仕組みになっています。
100mVぐらい
ニューラルネットワーク内シグナル伝達スピード 100(m/sec) … 案外遅い
http://www.brain.riken.go.jp/jp/aware/neurons.html

ニューラルネットを理解しよう② 基本原理
http://www.pri.kyoto-u.ac.jp/brain/brain/11/index-11.html
医学的知識
http://www.biwako.shiga-u.ac.jp/sensei/mnaka/ut/sozai/ai.html
モデル化
数学的モデル
ニューロン人工ニューロン
入出力関係のグラフ入出力関係の関数（シグモイド関数）

ニューラルネットを理解しよう② 数学的原理
http://www.pri.kyoto-u.ac.jp/brain/brain/11/index-11.html
医学的知識
http://www.biwako.shiga-u.ac.jp/sensei/mnaka/ut/sozai/ai.html
モデル化
数学的モデル
ニューロン
人工ニューロン
入出力関係のグラフ入出力関係の関数（シグモイド関数）
ニューラルネットワーク
（ニューロンをつなげたもの）
道具はこれで全て。これで何ができるだろう？

ニューラルネットを理解しよう③ 数学的原理
数学的モデル
入力信号
＝繋がっている
ニューロンからやっ
て来ます
ウエイト（重み）
＝各ニューロン間の結合の強さ
「入力信号ｘ重み」＋「バイアス」（初期電位、適当な小さな値）
出力信号
(0~1の間)
バイアスをうまく調整して、
このセンシティブな領域に入力が集中するように
調整しよう！（ニューラルネットの技術的なコツ）

ニューラルネットを理解しよう③ 数学的原理
数学的モデル階層型ニューラルネットワーク
… 一方向にニューロンをつなげたもの
入力層隠れ層出力層
重み重み
最初に定義するもの＝ウエイト（重み）、バイアス
とりあえず全ての結合を定義しておく（ニューロン間の重みを０にすれば切れる）
数値の組み
が入ります
数値の組み
が出ます
これは３層の例だけど、
何層つなげてもよい
一旦定義してから変えることができないもの…全体の構造
変えることができるもの…ウエイト（重み）

目次
• 第一章ニューラルネットワーク基礎
• 第二節生成系ニューラルネットワーク
• 第三節プロシージャル技術入門
• 第四節ニューラルネットの歴史

第二節
生成系ニューラルネットワーク

生成系ニューラルネットワーク技術
GAN （一般敵対的ネット）
（ディープラーニング）
ニューロエヴォリューション
（進化的ニューラルネット）
逆伝播法

数学的モデル
数値の組み
が入ります
階層型ニューラルネットで学習とは、ある入力に対して特定の出
力（学習信号）になるようにウエイトを変化させることを言います。
学習信号
実際の信号
誤差信号
① 手動で少しずつ勘を頼りに変えて行く。まず無理
② えらい人が考えた方法を使ってみる。誤差伝播法
伝播する
誤差信号
伝播する
誤差信号
どうやって？
ニューラルネットを理解しよう逆伝播法学習

数学的モデル
数値の組み
が入ります
教師信号と実際の出力の差を、ウエイトを調整する
ことで、縮めて行く。
学習信号
実際の信号
誤差信号
伝播する
誤差信号
伝播する
誤差信号
ニューラルネットの出力側から、誤差分を、後ろ側に分担して
負担するように、後ろのニューロンへ、そのニューロンが
詰める大きさを含んだ情報を伝播して行く。
誤差伝播法（Back Propagation Method）

数学的モデル教師信号と実際の出力の差を、ウエイトを調整する
ことで、縮めて行く。
伝播する
誤差信号
伝播する
誤差信号
ニューラルネットの出力側から、誤差分を、後ろ側に分担して
負担するように、後ろのニューロンへ、そのニューロンが
詰める大きさを含んだ情報を伝播して行く。
誤差伝播法（Back Propagation Method）
信号絵
画家: ジャスパー・フランシス・クロプシー
Painter: Jasper Francis Cropsey
タイトル: ポンプトン・プレインズ

⑤ニューラルネットワークの構造が進化させる
「NEAT」の技術
Mat Buckland, Chapter 11, AI techniques for game programming, Premier Press, 2002
(実行ファイルとソースコードがCD-ROMにあります)
これまでニューラルネットは、最初に構造を定義した後は変化しなかった。
動的にニューラルネットの構造を変化させる技術
Neuron Evoluation of Augmenting Topologies (NEAT)

Neuro Evolution
を詳しく解説

NEAT
回路の構成を遺伝子コードで表現する。
Weight: 1.2
From: 1
To: 3
Enabled: Y
Recurrent: N
Innovation: 1
Weight: -3
From: 1
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 0.7
From: 2
To: 4
Enabled: Y
Recurrent: N
Innovation: 2
Weight: -2.1
From: 3
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 1.1
From: 3
To: 5
Enabled: N
Recurrent: N
Innovation: 3
Weight: 0.8
From: 4
To: 5
Enabled: Y
Recurrent: N
Innovation: 4
Weight: -1
From: 5
To: 3
Enabled: Y
Recurrent: Y
Innovation: 7
ID: 1
Type: Input
ID: 2
Type: Input
ID: 3
Type: hidden
ID: 4
Type: hidden
ID: 5
Type: Output
2
1
4
3
5
つなぎ方を定義する遺伝子
ニューロンを定義する遺伝子
入力出力

NEAT
回路の構成を遺伝子コードで表現する。
Weight: 1.2
From: 1
To: 3
Enabled: Y
Recurrent: N
Innovation: 1
Weight: -3
From: 1
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 0.7
From: 2
To: 4
Enabled: Y
Recurrent: N
Innovation: 2
Weight: -2.1
From: 3
To: 4
Enabled: Y
Recurrent: N
Innovation: 6
Weight: 1.1
From: 3
To: 5
Enabled: N
Recurrent: N
Innovation: 3
Weight: 0.8
From: 4
To: 5
Enabled: Y
Recurrent: N
Innovation: 4
Weight: -1
From: 5
To: 3
Enabled: Y
Recurrent: Y
Innovation: 7
ID: 1
Type: Input
ID: 2
Type: Input
ID: 3
Type: hidden
ID: 4
Type: hidden
ID: 5
Type: Output
2
1
4
3
5
リンク（つなぎ方）を定義する遺伝子
ニューロンを定義する遺伝子
Innovation ID によってリンク、ニュー
ロンを全遺伝子共通の管理する。
無効
入力出力

NEATにおける交叉
親１
2
1
7
3
4
1
1->4
2
2->4
3
3->4
6
3->7
7
7->4
12
1->7
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
親２
2
1
3
95 4
Innovation ID
ID順に並べます。
1
1->4
2
2->4
3
3->4
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
6
3->7
7
7->4
8
5->9
9
9->4
12
1->7
15
3->9
交
叉
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
1
1->4
2
2->4
3
3->4

NEATにおける交叉
親１
2
1
7
3
4
1
1->4
2
2->4
3
3->4
6
3->7
7
7->4
12
1->7
1
1->4
2
2->4
3
3->4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
親２
2
1
3
95 4
Innovation ID
交
叉
2
1
3
95 4
4
2->5
5
5->4
8
5->9
9
9->4
15
3->9
1
1->4
2
2->4
3
3->4
子供＝新しいニューラルネットワーク

エージェント・アーキテクチャー
身体
センサーエフェクター
ＮＰＣの知能部分
ゲーム世界
相互作用
時間
時間
知覚する行動する
機体
制御
交配の中で発展して行く

第３世代
第９２９世代
第１３６８世代
左は俯瞰図（赤は衝突してしまってい
る）
右は適応度ベスト４のニューラルネット

https://arxiv.org/pdf/1410.7326.pdf

弾幕自動生成
• Applying Evolutionary Algorithms to the Galactic Arms Race
• http://aigamedev.com/open/interviews/galactic-arms-race/
https://www.youtube.com/watch?v=N8q2uOwWcFc

はじめのGAN
https://elix-tech.github.io/ja/2017/02/06/gan.html

https://arxiv.org/abs/1406.2661

生成用
ニューラルネット
判定用
ニューラルネット
データ
ベクトル生成画像
真＝ 1
偽＝ 0

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
Alec Radford, Luke Metz, Soumith Chintala
(Submitted on 19 Nov 2015 (v1), last revised 7 Jan 2016 (this version, v2))
https://arxiv.org/abs/1511.06434

第三節
プロシージャル技術入門

ゲームエンジンにおける自動生成
（例 DUNIA ENGINE）
• 各開発会社のゲームエンジンには、自動生成技術が組み込まれ
ている。
• https://www.youtube.com/watch?v=FI3oR6vqn1Q

次世代ゲームにおける自動生成技術
（2007年12月、三宅陽一郎）
• https://www.slideshare.net/youichiromiyake/ss-51549802

GPU-BASED PROCEDURAL PLACEMENT
IN HORIZON ZERO DAWN
• https://www.guerrilla-games.com/read/gpu-based-
procedural-placement-in-horizon-zero-dawn
• データからプロシージャルにマップなど、ゲームに必要なデー
タを生成

Rogue (1980)のレベル生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

Rogue (1980)のダンジョン生成法
Rect[0] Rect[0] Rect[1]
Rect[0]
Rect[1]
Rect[2] Rect[3]
このようにアセット（ゲームのデータ）をツールなどを通して製作するのではなく、
プログラムで作ることを「プロシージャル・コンテンツ・ジェネレーション」（PCG）と言う。
http://racanhack.sourceforge.jp/rhdoc/intromaze.html

迷路の自動的な作り方
• 穴掘り法
• 棒倒し法
• 壁伸ばし法

WarFrame における自動生成マップの
自動解析による自動骨格抽出
• 自動生成するだけでなく、自動生成したダンジョンを、自動解
析します。ここでは、トポロジー（形状）検出を行います。

アーロンのアルゴリズム
• 知識ベースの人工知能
＝閉曲線で描くことを学ぶ。
1981

(左) 学んだ知識から描く
（右）架空のものを学んだものから描く
19851983

前後関係を取れるようにする。
1986

ブラウン運動
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
http://ja.wikipedia.org/wiki/%E3%83%96%E3%83%A9%E3%82%A6%E3%83%B3%E9%81%8B%E5%8B%95

ブラウン運動から地形生成
ロバート・ブラウン博士によって、１８２７年に発見された現象。
微粒が媒質（液体）の中で行う不規則な運動。
アインシュタイン博士によって、熱運動する媒質の不規則な
衝突によって引き起こされると説明された。
宮田一乗「プロシージャル技術の動向」（CEDEC 2008）

https://www.youtube.com/watch?v=m4JDNzwFZFI

http://www.kenmusgrave.com

NO MAN’S SKY (Hello Games, 2016)
http://www.no-mans-sky.com/
宇宙、星系、太陽系、惑星を自動生成する。

FarCry2 におけるプロシージャル技術
50km四方のマップを作る
オブジェクト（草木）＆アニメーションデータを自動生成

FarCry2 (Dunia Engine ) デモ
草原自動生成時間システム
樹木自動生成動的天候システム
動的天候システム
http://www.farcry2-hq.com/downloads,18,dunia-engine-nr1.htm

第９章キャラクターAI（学習）

キャラクターにおける様々な学習・進化
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用
(4) 遺伝的アルゴリズムの応用

クリーチャーを育てていくゲーム。
クリーチャーは自律的に行動するが、
訓練によって学習させることができる。
http://www.youtube.com/watch?v=2t9ULyYGN-s
http://www.lionhead.com/games/black-white/
14:20-

機械学習
（例）FORZA MOTORSPORT におけるドライビング学習
Ralf Herbrich, Thore Graepel, Joaquin Quiñonero Candela Applied Games Group,Microsoft Research Cambridge
"Forza, Halo, Xbox Live The Magic of Research in Microsoft Products"
http://research.microsoft.com/en-us/projects/drivatar/ukstudentday.pptx

機械学習

機械学習
• 揺らぎ
• ライン – コーナーやそのコンビネーションに対し
て、どれぐらいスムーズに車をガイドするか
• コーナーへの突入スピードとブレーキを踏むタイ
ミングと。保守的か過激か。
• コーナーの頂点にどれぐらい近づくか、どれぐら
いの速度でそこを抜けるか？
• コーナーを抜ける時のスピードとコーナーを回る
時のスピード。
Drivatar がプレイヤーのコントロールから学習するもの
Microsoft Research
Drivatar™ in Forza Motorsport
http://research.microsoft.com/en-us/projects/drivatar/forza.aspx

機械学習
プレイヤーの特性を解析する
特徴となる数値をドライブモデルに渡す

機械学習
レーシングラインを事前に構築する。生成というよるテーブルから組み合わせる。

機械学習
レーシングラインに沿わせるのではなく、理想とする位置とスピードから
コントローラーの制御を計算して、物理制御によって車を運転する。

機械学習
（例） Halo®3におけるオンライン・マッチング・システム

• TrusSkill ＝プレイヤーの強さを正規分布の中央値と標準偏差
として扱う。
機械学習
μ : 中央値
σ: 標準偏差

• TrusSkill ＝プレイヤーの強さを正規分布の中央値と標準偏差
として扱う。
機械学習
μ : 中央値
σ: 標準偏差
その人の強さを表す
その人の強さの正確さを示す。
１００回やってこのランクの人と
１０００回やってこのランクの人では
１０００回の人の方が正確
＝標準偏差が小さい

• スキル 𝜇 𝐴, 𝜎𝐴 のプレイヤーと、スキル 𝜇 𝐵, 𝜎 𝐵
のプレイヤーが
マッチングする確率は、
機械学習
μ : 中央値
σ: 標準偏差
𝑒
−
(𝜇 𝐴−𝜇 𝐵)2
2𝐶2
𝑑 (𝑑 =
2𝛽2
𝑐
)

機械学習
2人が対戦して勝ったとき、負けた時の中央値、標準偏差の変化
知能と情報 : 日本知能情報ファジィ学会誌 : journal of Japan Society for Fuzzy Theory and Intelligent Informatics 22(6), 745-756, 2010-12-15
日本知能情報ファジィ学会「オンラインゲームにおける人工知能・. プロシージャル技術の応用」
http://igda.sakura.ne.jp/sblo_files/ai-igdajp/image/JSFTII_22-6_online20game_Miyake.pdf

キャラクターにおける様々な学習
(1) ニューラルネットワークの応用
(2) 機械学習の応用
(3) 強化学習の応用
(4) 言語学習

強化学習とは？
行動選択
＝ポリシー
（π）
環境(Env)
行動（a）
状態（Ｓ）
報酬
報酬
関数
環境のモデルはよくわからない。
でも、行動をして、それに対する結果（＝報酬）が環境から返って来る。
その報酬から、現在の状態と行動の評価を見直して、
行動選択の方針を変えて行くことを強化学習という。

強化学習
（例）マルチバンディッド問題
スロット
マシン
ルーレット
マシン
フラッシュ
マシン
ＡＩ

強化学習（例）
スロット
マシン
ルーレット
マシン
フラッシュ
マシン
ＡＩ
π : どのマシンで賭けをするか？
a_0：アクション a_1：アクション a_2：アクション
R_0 : 報酬 R_1：報酬 R_2：報酬
強化学習

スロット
マシン
ルーレット
マシン
フラッシュ
マシン
ＡＩ
最初から、どのマシンに賭けていいか、わからない。
少しずつ賭けつつ、どのマシンからの報酬が良いかを判断しながら、
賭けを続ける。
＝強化学習
環境と自分のアクションのインタラクションを見ながら、
随時、行動を決定する基準を変えて行くこと。
強化学習

スロット
マシン
ルーレット
マシン
フラッシュ
マシン
ＡＩ
π : 最初はどのマシンにも同じ確率 1/3 で賭ける。
でも、最初100ドルずつ賭けた時の報酬が、50ドル、20ドル、30ドル
だったとしたら？
π : どのように変化させるか？例えば、 5:2:3 など。
強化学習

強化学習
（例）格闘ゲーム
キック
パン
チ
波動
R_0 : 報酬＝ダメージ

強化学習
（例）格闘ゲームTaoFeng におけるキャラクター学習

強化学習
実際は、ＡＩの状態（距離など）に対してアクションが学習されます。
多くの技（攻撃20種類、防御１０種類ほど）が強化学習される。

世界
五感
身体
言語
知識表
現型
知識
生成
Knowledge
Making
意思決定
Decision
Making
身体
運動
生成
Motion
Making
インフォメーション・フロー（情報回廊）
記憶
キャラクターにおける学習の原理
行動の表現結果の表現意思決定

強化学習
（例）格闘ゲーム
キック
パン
チ
波動
R_0 : 報酬＝ダメージ
http://piposozai.blog76.fc2.com/
http://dear-croa.d.dooo.jp/download/illust.html

強化学習
Microsoft Research Playing Machines: Machine Learning Applications in Computer Games
http://research.microsoft.com/en-us/projects/mlgames2008/
Video Games and Artificial Intelligence
http://research.microsoft.com/en-us/projects/ijcaiigames/

遺伝的アルゴリズムの応用
集団を一定の方向に進化させる方法
…
世代を経て進化させる
1つの世代が次の世代を交配によって産み出す

遺伝的アルゴリズムの仕組み
遺伝子
遺伝子
次世代
親①
親②
母集団から優秀な親を
２体ピックアップ
遺伝子を掛け合わせる次世代の子供を産み出す
(selection) (crossover) (production)
現世代
このサイクルをくり返すことで世代を進めて、望ましい集団を産み出す
遺伝子
遺伝子

（例）① GA Racer
遺伝的アルゴリズムによって、遠くまで到達できるレーサーを作成する。
最初はここまでしか
たどり着けないが…
だんだんと遠くまで、
たどりつけるようにする。
Mat Buckland, "Building Better Genetic Algorithm", 11.4., AI Game Programming Wisdom 2

森川幸人,
「テレビゲームへの人工知能技術の利用」,
人工知能学会誌vol.14 No.2 1999-3
http://www.ai-gakkai.or.jp/jsai/whatsai/PDF/article-iapp-7.pdf
http://www.1101.com/morikawa/1999-04-10.html
に準拠します。
以下の解説は
詳細は以下の資料へ

（例）④アストロノーカ
最初はすぐに罠にかかるが、だんだんと罠にかからないようになる
MuuMuu, PlayStation®用ソフト「アストロノーカ」（Enix, 1998）
http://dlgames.square-enix.com/jp/psga/2008/astronoka/
http://www.muumuu.com/product.html
新世代（５～世代後）最初の世代野菜
食べたい
世界最高峰の遺伝的アルゴリズムを使ったゲーム
（ＡＩをどうゲームに使うか、という手本のようなゲーム）

全体の流れトラップを配置する
１日の始まり
トラップバトル開始
トラップバトル終了
トラップ成績算出
各個体の成績算出
順位を決定
下位２体を削除
適応度に応じて親を選択
子供２体を生成
新しい世代を生成
規定世代に達した？
１日の終了
世代交代数を修正
突然変異率を修正

４－① 初期の個体集合を生成
個体を多数（GAにはある程度の母数が必要）用意し、
各NPCに遺伝子コードを設定し、初期値を設定する。
５６ｘ８＝４４８ビット
遺伝子身長耐性_快光線腕力脚力耐性_かかし体重
1.87 6.85 16.25 25.03 25.03 16.25 6.85 1.87
0 1 2 3 4 5 6 7
[各ビットの重み]
[バブーの属性（総計５６）]

ゲームシステムとしての工夫
全体の適応度の平均値
１日の適応度の伸び
世代交代数
工夫その① 遺伝的アルゴリズムは集団に対するアルゴリズム
一体のトラップバトルの裏で他の２０体も同じトラップバトルをして、
全体として世代交代をさせている。
工夫その②
遺伝的アルゴリズムは進化のスピードがプレイヤーに体感させるには遅い
プレイヤーには「１世代の変化」と言っているが、
実はだいたい１日５世代分進化させている。
工夫その③
プレイヤーから見て
毎日、同じ適応度の
上昇になるように、
世代交代数を調整している

CCP における
協調配置システムの研究

CADIA Populs
http://populus.cs.ru.is/node/116
「EveOnline」を作っているCCPは、レイキャビク大学と共同で
エージェントたちの自然な振る舞いを研究した。

Humanoid Agent
in Social Game Environment (HASGE)
Cladio Pedica - Spontaneous Avatar Behaviour for Social Territoriality Reykjavik University.
http://www.ru.is/~hannes/publications/JAAI2010.pdf

HASGE Project
(Reykjavik Univ, CCP)
http://cadia.ru.is/wiki/public:socialgame:main

F-formation (Kendon, 1984)
• 人と人が向い合うときに、形成する立ち位置。
Paul Marshall,Yvonne Rogers,Nadia Pantidi
Using F-formations to analyse spatial patterns of interaction in physical environments
http://mcs.open.ac.uk/pervasive/pdfs/MarshallCSCW2011.pdf

いろいろな F-formation パターン
Paul Marshall,Yvonne Rogers,Nadia Pantidi
Using F-formations to analyse spatial patterns of interaction in physical environments
http://mcs.open.ac.uk/pervasive/pdfs/MarshallCSCW2011.pdf

EVE ONLINE

テリトリーとインフルエンス
• テリトリー（Territory） … 個人を中心とする対人
距離。
• ビヘイビア・インフルエンス
（behavioural influence）
そのビヘイビアが人を引き込む範囲。
- Social place
- Social situation

ソーシャル・ダイナミクス
Social Dynamics
= Social Behavior influence
(社会的な振る舞いが)
at Social place (社会的な場において)
makes Social Situation （シチュエーションを作る）

F-formation
Transactional Segment ＝交流場

共有される場
（入ってはいけない！）
会話参加者の立つリング
この円内に入ったものは、
会話参加者が目をやる・
この円内に入ったものは、
会話参加者がより注意深く見る。
F-formation

社会的ビヘイビアが
伝えられる距離
会話に参加していると
言える距離４人が形成するテリトリー
F-formation

共有される情報

『Reckoning』における
ターゲット協調システム

ターゲッティング問題とは
複数のＡＩが一人（か少数）の敵を攻撃する場合、
誰がどのターゲットを攻撃するか、という問題
（袋叩きにしてはバランスが取れない）

ベルギアンAI
Grid capacity, Attack Capacity
Attack Weight = 4
１２
Grid Capacity = グリッドに入れるモンスターの数
各モンスターはそれぞれ Attack Weight (整数値)を持つ
Attack Capacity = キャラクターの周りのグリッドに入るモンスターの
Attack weight の総和の最大

ベルギアンAI（例）
Attack Weight = 4
Stage
Manager
Grid Capacity = 5 … 五体まで入っていい。
Attack Capacity = 12 総和が12まで
１２
RequestAssign
モンスターから
Stage Manager にリクエストして
条件に合えばアサインして、
一番近いスロットに
スロットの占有権を与える。
モンスターは攻撃したら、
占有権を速やかに
Stage Manager に返却する。

Attack Weight = 4
Stage
Manager Grid Capacity = 5 … 五体まで入っていい。
８

Attack Weight = 4
Stage
０

Attack Weight = 4
Stage
２
Attack Weight = 6

Attack Weight = 4
Stage
２
Attack Weight = 6
（通常攻撃）
Attack Weight = 10
（特殊攻撃）

モンスターから
Stage Manager にリクエストして
条件に合えばアサインして、
スロットの占有権を与える。
モンスターは攻撃したら、
占有権を速やかに
Stage Manager に返却する。
Stage
Manager

モンスターは、自分の
スロットを覚えない。
常に、Stage Manager が
フルコントロールする。
Stage
Manager

攻撃を開始したモンスターは
自分をロックできる。
Stage
Manager

Reckoning におけるターゲットシステム
GDC 2012 AI Postmortems:
Kingdoms of Amalur: Reckoning, Darkness II and Skulls of the Shogun
Michael Dawe,
http://www.gdcvault.com/play/1015380/AI-Postmortems-Kingdoms-of-Amalur

考察
• ゲームにおいては、あまりエージェント同志のコミュニケーショ
ンを使うことはない。
• むしろ場や、中央制御によって簡単で操作しやすい制御を実
現することが多い。

分散人工知能
複数の知的機能を組み合わせて、
一つの大きな知能を組み立てようとする知能。
複数の人工知能を組み合わせる。
石田亨 ,片桐恭弘,桑原和宏, 「分散人工知能」, コロナ社, 1996
「シンプルな機能」を組み合わせて一つの知能を作る方法。

黒板モデル
(ブラックボード・アーキテクチャ)
「シンプルな機能」を組み合わせて一つの知能を作る方法。
知識源（ナレッジソース、Knowledge Source、以下KS）
＝
特定の専門的な操作をできる専門的な機能モジュール。
黒板上にあるデータに対して特定の操作を施すことができる。
KS

ブラックボード・アーキテクチャ(Blackboard Architecture)
ブラックボード
KS
KS
KS
KS
KS
KS

ブラックボードを用いた
協調ターゲッティング

集団の協調
AI
Ａ
Ｂ
Ｃ
1
2
3
4 5
Players

集団の協調
AI
Ａ
Ｂ
Ｃ
1
2
3
4 5
Players
混乱かつ制御不能

集団の協調
1
2 3
4 5
KS
Ａ
Ｂ
Ｃ
Enemy B Slot 2
Enemy C Slot 1
Enemy A
Slot 2
Enemy B
Slot 1
Enemy C
Slot 2

集団の協調
1
2 3
4 5
KS
Ａ
Ｂ
Ｃ
Enemy B Slot 2
Enemy C Slot 1
Enemy A
Slot 2
Enemy B
Slot 1
Enemy A
Slot 2
Entry
Accept!

集団の協調
1
2 3
4 5
KS
Ａ
Ｂ
Ｃ
Enemy B Slot 2
Enemy C Slot 1
Enemy A
Slot 2
Enemy B
Slot 1
Enemy A
Slot 2
Entry
Reject!

集団の協調
1
2 3
4 5
KS
Ａ
Ｂ
Ｃ
Enemy B Slot 2
Enemy C Slot 1
Enemy A
Slot 2
Enemy B
Slot 1
Enemy A
Slot 2

デジタルゲームの調整・デバッグ・品質管理
における人工知能技術の応用
他社事例まとめ
三宅陽一郎
2020.9.7

ゲームの中、ゲームの外
ゲーム周辺AI
（外＝開発、現実）
ゲームAI
（中＝コンテンツ）
メタAI
キャラクター
AI
ナビゲーション
AI
開発支援
AI
QA-AI
自動バランス
AI
インターフェース
上のAI
データ
マイニング
シミュレーショ
ン技術ゲーム
可視化
ユーザーの
生体信号
プロシー
ジャルAI

テスターをAIに置き換える
AI
https://www.irasutoya.com

ゲームAI
（中＝コンテンツ）
ゲーム周辺AI
（外＝開発、現実）
AI技術
人力
AI技術
人力

品質保証のための人工知能事例

• https://www.ea.com/seed/news/self-learning-agents-play-
bf1
https://www.ea.com/seed/news/seed-imitation-learning-concurrent-actions
https://www.ea.com/seed/news/self-learning-agents-play-bf1

Deep Mind社
• https://deepmind.com/blog/
capture-the-flag/
• マルチエージェント学習
（チームとして学習）
• 画像から学習

THE COMMIT-ASSISTANT (Ubisoft)
• https://www.youtube.com/watch?time_continue=81&v=I5C4FUvDyCc

品質保証におけるAI⑦
HALO4 TELEMETRY
Tom Mathews Making "Big Data" Work for 'Halo': A Case Study
http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

Gameplay Data Analysis: Asking the Right Questions
Ian Thomas (Epic Games) http://www.gdcvault.com/play/1015482/Gameplay-Data-Analysis-Asking-the

Tom Mathews Making "Big Data" Work for 'Halo': A Case Study
http://ai-wiki/wiki/images/d/d8/AI_Seminar_177th.pdf

EA SEED - Deep Learning
IMITATION LEARNING WITH CONCURRENT ACTIONS IN 3D GAMES

• https://www.ea.com/seed/news/self-learning-agents-play-bf1
https://www.ea.com/seed/news/self-learning-agents-play-bf1
EA SEED - Deep Learning
IMITATION LEARNING WITH CONCURRENT ACTIONS IN 3D GAMES

The Alchemy and Science of Machine Learning for Games (GDC 2019)
https://www.gdcvault.com/play/1025653/The-Alchemy-and-Science-of

Deep Mind
• https://deepmind.com/blog
/capture-the-flag/
• Multi agnet learning
Deep Mind: Capture the Flag: the emergence of complex cooperative agents
https://deepmind.com/blog/article/capture-the-flag-science

Two Agent Cooperation by DeepMind
Deep Mind: Capture the Flag: the emergence of complex cooperative agents
https://deepmind.com/blog/article/capture-the-flag-science

QA-AI（品質管理AI）の事例

スクリプトによるテスト

Test Strategy Goals
• Adaptable to new iterations
• Scalable with unexpected factors
• Relevant to new methodologies
• Efficient with a small team

Session-based exploratory testing

Not just testing
• QA as playtesters
• Qualitative feedback
• Competitor research
• QA reviews
• Seeker Team

Examples of debug views and
tools

Apollo – Autonomous Automated Autobots

Trophy Unlocked!
• 45 hours of play time (average)
• 57 quests
• ~500 unique combat encounters
– Spawning almost 1500 combat scenarios
• 44 unique enemies
• 10 hours of cinematic sequences
• Over 480 000 words of dialogue

Battlefield V 自動デバッグ
スクリプトだった。。。

ブロックチェインゲーム

Blockchain技術とは？
生成の記録が記録される

Blockchain技術とは？
交換の記録が記録される

• https://crypto-games.de/crypto-games-liste/
ドイツ語サイト

Ubisoft blockchain 主任のインタビュー
• https://blockchaingamer.net/exclusive-interview-with-mr-
nicolas-pouard-blockchain-initiative-manager-at-ubisoft/
• https://www.blockchaingamer.biz/news/5026/video-ubisoft-
blockchain-games/

自動生成して、
それを自動管理できる

ユーザーが作り出したものを公開すると、
それは他のユーザーのネットワーク上で
記録される。
それはUbiでさえ消去できない財産となる。
しかも、そういうことにUbiは
報酬を出す

ユーザーによる
ユーザー自身のための
ユーザーが所有する
世界を作り出すことができる

• https://www.youtube.com/watch?v=tdrrC6fhyRk
• 35分ぐらいから

Ubisoft主催第一回 BC Gaming Summit
http://blockchaingamesummit.com/

• Ubi のブロックチェインがエーム『Hash Craft』
• Robert Falce & Pierre Armand Nicq - Ubisoft - Blockchain Game Summit - Hash Craft
• https://www.youtube.com/watch?v=Dz_fWHJeLY0
• Blockchain game summit
• http://blockchaingamesummit.com/
• Blockchain game summit 動画
• https://www.youtube.com/channel/UCGlS2iVA29yBw81W75H7t2A/videos
• Ubisoft reveals HashCraft, a secret new blockchain game
• https://www.finder.com.au/hashcraft-ubisoft-blockchain-game

人工知能とゲーム（後篇）

人工知能とゲーム（後篇）

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 人工知能とゲーム（後篇）

Ähnlich wie 人工知能とゲーム（後篇） (20)

Mehr von Youichiro Miyake

Mehr von Youichiro Miyake (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (7)

人工知能とゲーム（後篇）