Inteligencia Artificial
para Videojuegos
Decisión
Probabilidad y utilidad

● Los seres humanos casi
nunca estamos seguros
de conocer la verdad
● Sabemos “algo”
pero no todo… nos
enfrentamos a la
incertidumbre
Probabilidad y utilidad 2
Motivación
“Si un ‘juego’ no tiene incertidumbre, no es un juego, es un guión”
- Teale Fristoe, diseñador de juegos

● Aunque los personajes de los
videojuegos pueden acceder a
información privilegiada... es
posible que en algún momento
deban gestionar la incertidumbre
○ Para teorizar sobre la toma de decisiones “incierta”
usamos conceptos de probabilidad y utilidad
Probabilidad y utilidad 3
Motivación

● Warhammer: Dark Omen (1998) tenía
modelos emocionales para los soldados del
campo de batalla, para variar su reacción
● Black and White (2001) analizaba acciones y
según ellas montaba IA a varios niveles
○ Con comportamiento emergente y aprendizaje
● F.E.A.R. (2005) además de GOAP también
usaba IA basada en utilidad para los bots
● Forza Motosport 2 (2007) ya tenía agentes
que conducían con redes neuronales
Probabilidad y utilidad 4
Hitos históricos

● La incertidumbre aparece en entornos no
deterministas y/o parcialmente observables
● Una forma de “modelar”
la incertidumbre es con
probabilidad
○ ¡Hoy día los algoritmos que
razonan eficientemente
sobre probabilidades han ocasionado algunos de los
mayores avances en IA de la Historia!
■ Ej. Bioinformática, Recuperación de
Información, Análisis de Riesgos Económicos...
Probabilidad y utilidad 5
Probabilidad

● En los 70 la IA ignoraba
la “incertidumbre”, y
cuando se empezó a usar a finales de los 80
¡el razonamiento probabilista parecía
imposible de escalar con muchas variables!
○ En los 90 surgió la Inteligencia Computacional para
tratar con lo impreciso, lo
aproximado, lo parcial, lo
ambiguo, lo ignorado…
■ Razonamiento por defecto, Computación evolutiva, Redes
neuronales artificiales, Inteligencia de enjambre… e incluso
la llamada “lógica difusa”
Probabilidad y utilidad 6
Probabilidad
COMPUTATIONAL INTELLIGENCE /
SOFT COMPUTING

● Lo racional es elegir dependiendo de la
preferencia de tus opciones y del grado de
probabilidad (0..1) de que estas funcionen
○ Ej. SI DisparoEnemigo ENTONCES MuerteEnemigo
es muy simplista… ¡deberíamos considerarlo todo!
Ej. SI DisparoEnemigo Y EnemigoHerido Y EnemigoSinEscudo …
ENTONCES MuerteEnemigo O FinOleada O AlertaActivada ...
○ Por pereza o ignorancia, al final esto no tiene
sentido modelarlo con lógica sino con probabilidad
Ej. Disparar al enemigo lo mata con un 0.74 de probabilidad
Probabilidad y utilidad 7
Teoría de la probabilidad
“La Teoría de la Probabilidad no es nada más que
sentido común reducido a cálculos” - Pierre Laplace

● Para decidir racionalmente, el agente
necesita conocer la preferencia de estados
resultantes de una acción, y su probabilidad
○ Para maximizar su rendimiento debe elegir la
acción con los mejores estados resultantes y los
más probables
■ Ej. Considerando la realización de la acción Disparo...
Probabilidad y utilidad 8
Teoría de la probabilidad
Acción (probabilidad) Estado resultante (Puntos)
Disparo (0.7) Yo sobrevivo, el enemigo muere (+100)
Disparo (0.25) Yo sobrevivo, el enemigo también (-1)
Disparo (0.04) Ambos morimos (-400)
Disparo (0.01) Yo muero, el enemigo sobrevive (-501)
* En este ejemplo,
son Puntos

● La Teoría de la Probabilidad resulta útil
para modelar la incertidumbre…
● … ¿cómo podemos aprovechar
esta teoría para crear un
agente basado
en utilidad?
Probabilidad y utilidad 9
Utilidad
* Siendo esta la preferencia de
unos estados frente a otros, a
menudo por estimación
heurística de cuál será nuestra
satisfacción global (cambios
esperados en la insistencia de
nuestros objetivos)
* Algo de esto hablamos cuando
los entornos inteligentes...

● Asumimos que el entorno, además de no
determinista y/o parcialmente observable,
es episódico
○ Por tanto
el agente
preferirá una
acción en
función de
lo deseable
de sus
efectos
inmediatos
Probabilidad y utilidad 10
Utilidad
* Las situaciones que se plantean
son independientes entre sí

● La Teoría de la Utilidad es un campo de la
Economía, en el
que el dinero
suele ser un valor
seguro de utilidad
○ ¡Aunque no siempre
es directamente
proporcional, por
nuestra psicología!
Probabilidad y utilidad 11
Teoría de la Utilidad
* Estudio de Grayson de 1960 sobre interés
inversor en explotaciones petrolíferas
(¡es casi logarítmico!)
Preferimos premios ALTOS en las
apuestas, ganar
un primer millón de
dólares lo percibimos mucho
más útil que el segundo, etc.

● El principio de esta teoría es elegir para
maximizar la utilidad esperada
○ Trabajando con la probabilidad de que la acción a
conduzca de la evidencia e al estado s’
○ ¡Cualquier agente racional sigue
este principio! (lo difícil es
calcular dichos valores de
probabilidad y utilidad)
Probabilidad y utilidad 12
Teoría de la Decisión
EXPECTED
UTILITY (EU)
UTILITY (U)
* El rendimiento es un criterio externo y
global, pero la utilidad es uno interno y local

● Aquella basada en la Teoría de la Decisión
○ Teoría de la Utilidad + Teoría de la Probabilidad
○ El agente trata de maximizar su rendimiento con la
acción que en promedio lleve al estado más útil
■ Ej. ¿Disparo o lanzo una granada?
Probabilidad y utilidad 13
IA basada en utilidad
Acción posible (probabilidad) Estado resultante (utilidad) Acción posible (probabilidad)
Disparo (0.7) → Yo sobrevivo, el enemigo muere (+100) ← Granada (0.8)
Disparo (0.25) → Yo sobrevivo, el enemigo también (-1) ← Granada (0.05)
Disparo (0.04) → Ambos morimos (-400) ← Granada (0.1)
Disparo (0.01) → Yo muero, el enemigo sobrevive (-501) ← Granada (0.05)
EU(Disparo) = 100*(0.7) -1*(0.25) - 400*(0.04) - 501*(0.01) = 48.74
EU(Granada) = 100*(0.8) -1*(0.05) - 400*(0.1) - 501*(0.05) = 14.9
¡Mucho mejor disparar!
UTILITY AI

● La Teoría de la Decisión se aplicó a muchos
problemas reales en los años 50 y 60
○ Ej. Gobierno, Negocios, Ejército, Salud Pública...
○ Había un tomador de decisiones que establecía las
preferencias y un analista de decisiones que hacía
los cálculos para identificar la mejor acción posible
■ En los 80, el analista pasó a ser una máquina
● Se crearon sistemas expertos, IAs capaz de
emular la decisión de un experto
○ Sistemas basados en reglas + Teoría de la Decisión
Probabilidad y utilidad 14
Sistema experto

● Millington sugiere usar lógica difusa, pero
reconoce que es mejor razonar con
probabilidad como se hace formalmente
● Podemos considerar la
incertidumbre hasta en
máquinas de estados finitos
○ Ya sea en las transiciones o en los
estados (ej. entendiéndolo como
tener múltiples estados activos)
○ O también usando probabilidades,
incluso considerando su evolución
en el tiempo Probabilidad y utilidad 15
Integrar la incertidumbre

● ¿Qué apuesta es mejor al tirar un dado D6?
A. 5€ si no sale el 1
B. 10€ si sale impar
C. 50€ si sale el 1
D. 150€ si sale el 1 dos veces seguidas
● Desarrolla tu respuesta (en texto libre)
Probabilidad y utilidad 16
Participación

* Excepto el contenido multimedia de terceros autores
Federico Peinado (2019-2022)
www.federicopeinado.es
Críticas, dudas, sugerencias...