Creación de coaliciones de agentes. Teoría de Juegos

1. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Coaliciones de agentes y negociación
Miguel Rebollo Pedruelo
Dept. Sistemas Informáticos y Computación
Univ. Politécnica de Valencia
Agentes de Información y Web Semántica
Master IARFID
M. Rebollo Coaliciones de agentes y negociación

2. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Contenidos
1 Middle-agents. Agentes intermediarios
2 Introducción a la teoría de juegos
3 Juegos colaborativos
4 Creación de coaliciones
M. Rebollo Coaliciones de agentes y negociación

3. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Contenidos
1 Middle-agents. Agentes intermediarios
2 Introducción a la teoría de juegos
3 Juegos colaborativos
4 Creación de coaliciones
M. Rebollo Coaliciones de agentes y negociación

4. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Módulos de un AdI básico
M. Rebollo Coaliciones de agentes y negociación

5. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Intermediación
Coordinan las acciones entre agentes suministradores y agentes
demandantes de servicios en Internet.
P-agent: provider agent
R-agent: requester agent
middle-agent: intermediario (genérico)
Proceso
1 el P-agent anuncia al middle-agent sus servicios
2 el middle-agent los almacena
3 un R-agent solicita al middle-agent P-agents que resuelvan su
requerimiento
4 el middle-agent procesa la petición y devuelve el resultado
M. Rebollo Coaliciones de agentes y negociación

6. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Middle-agents
En la literatura se usan numerosos tipos de agentes intermediarios,
sin definirlos claramente: matchmaker, broker, mediator,
facilitator...
Roles fundamentales
1 proporcionar servicios de intermediación
2 coordinar los servicios atendiendo a protocolos, normas. . .
3 asegurar servicios de confianza
M. Rebollo Coaliciones de agentes y negociación

7. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Rol 1: Proporcionar servicios de intermediación
procesar las habilidades de los agentes y la descripción de sus
servicios: LARKS, RDF, ¿WSDL?
interoperación semántica entre agentes y sistemas
manejar heterogeneidad: DC y RDF, OIL...
integración de información
gestión de datos y de conocimiento
procesamiento de consultas distribuido
M. Rebollo Coaliciones de agentes y negociación

8. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Rol 2: Coordinación de servicios
registro y nombrado de agentes
interacciones entre agentes (FIPA ACL, KQML)
acceso a fuentes de información y datos (JDBC, RMI,
CORBA, ¿SOAP?)
interfaz con los usuarios
políticas y protocolos específicos de mediación
M. Rebollo Coaliciones de agentes y negociación

9. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Rol 3: Asegurar serv. de confianza
Calidad de servicio
seguridad, disponibilidad, respuesta a tiempo
corrección, completitud, eficiencia, portabilidad...
Gestión de relaciones de confianza
privacidad, anonimato
uso de certificados
especificación formal de las políticas de confianza
actualización y propagación de relaciones de confianza,
mecanismos de reputación
M. Rebollo Coaliciones de agentes y negociación

10. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Tipos de intermediación
P P+Mid P+Mid+R
R Broadcast Front-agent P. amarillas
Matchmaker
R+Mid Anonimizador Broker Me- Recomendador
diador
R+Mid+P Pizarra Introductor Árbitro
M. Rebollo Coaliciones de agentes y negociación

11. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Contenidos
1 Middle-agents. Agentes intermediarios
2 Introducción a la teoría de juegos
3 Juegos colaborativos
4 Creación de coaliciones
M. Rebollo Coaliciones de agentes y negociación

12. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Teoría de juegos
Objeto
Análisis de las interrelaciones entre dos o más individuos y la
búsqueda de un modelo de actuación óptimo.
Los participantes en la relación son conscientes de ésta,
buscan el máximo provecho de dicha relación y actúan
racionalmente.
Existe un coste de la relación y se obtiene un beneficio de ella.
Coste y Beneficio son cantidades mensurables.
Las transacciones se efectúan mediante los denominados
turnos de juego.
Las partidas pueden ser a una sola vuelta o iterativas.
M. Rebollo Coaliciones de agentes y negociación

13. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Votaciones
Boris, Horace y Maurice deben decidir si incluir o no a Alice en su
club. Se propone una modificación a esta propuesta, que es
considerar a un segundo candidato: Bob, en el lugar de Alice.
Según el reglamento, las modificaciones se votan en orden inverso
al que se han propuesto, por lo que las votaciones serán
1 votar si el nombre de Bob debe sustituir a Alice
2 votar si debe unirse al club Bob/Alice o nadie
Las preferencias de cada uno son
1 2 3
Boris Alice Nadie Bob
Horace Nadie Alice Bob
Maurice Bob Alice Nadie
M. Rebollo Coaliciones de agentes y negociación

14. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
La división del dólar
John y Mary tienen la oportunidad de dividirse un dólar entre ellos,
siempre que lleguen a un acuerdo. Si se ponen de acuerdo, cada
uno se lleva la parte acordada. Si no pueden, ninguno consigue
nada.
problema de división del excedente (compra-venta,
negociación de convenios. . . )
la solución depende de la actitud de los jugadores hacia el
riesgo
M. Rebollo Coaliciones de agentes y negociación

15. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Dilema del prisionero clásico
La policía arresta dos sospechosos A y B. No tiene pruebas
suficientes, así que los visita por separado y les propone un trato:
si delatas a tu compañero y el otro permanece en silencio,
sales libre y tu compañero cumple 10 años de condena
si los dos permanecen en silencio, se les arresta por 6 meses
con cargos menores
si los dos hablan, se les arresta 2 años cada uno.
Ejemplo típico de la Teoría de Juegos
ejemplo de juegos de suma no nula
cada jugador elige cooperar o traicionar al oponente
M. Rebollo Coaliciones de agentes y negociación

16. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
¿Ser racional es lógico?
M. Rebollo Coaliciones de agentes y negociación

17. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Dilema del turista
Una aerolínea pierde las maletas de dos turistas que contienen dos
antigüedades idénticas. Se les ofrece una recompensa entre $2 y
$100, siempre que los dos digan el mismo importe. Si no, el
importe asignado es el menor de los dos. Además, la persona que
ha ofrecido menos verá recompensada su ’sinceridad’ con $2 extra
y el otro turista quedará penalizado con $2.
¿Qué estrategia deberían seguir para decidir el valor que deben
anotar?
M. Rebollo Coaliciones de agentes y negociación

18. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Contenidos
1 Middle-agents. Agentes intermediarios
2 Introducción a la teoría de juegos
3 Juegos colaborativos
4 Creación de coaliciones
M. Rebollo Coaliciones de agentes y negociación

19. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Situación de equilibrio
En equilibrio, quien ofrece siempre quiere ofrecer a quien responde
una cantidad que le deje indiferente entre aceptar y rechazar. En
equilibrio, quien responde siempre quiere aceptar una oferta igual o
mejor, y rechazar cualquiera que sea peor
M. Rebollo Coaliciones de agentes y negociación

20. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Teoría de juegos cooperativos
Los agentes racionales colaboran en coaliciones estables para
incrementar los beneficios individuales y compartidos.
Definition (Juego cooperativo (A, v))
A conjunto finito de n agentes
el valor de la coalición v(C ) es el valor máximo de utilidad de
los m ≤ n agentes de la coalición C ⊆ A,
super-aditiva: ∀C1 , C2 ⊆ A : v(C1 ∪ C2 ) ≥ v(C1 ) + v(C2 )
Definition (Solución (S, u) del juego (A, v) )
una partición S de A en coaliciones
una distribución de recompensas u de valores de v eficiente
(nadie pierde)
M. Rebollo Coaliciones de agentes y negociación

21. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Propiedades de los juegos colaborativos (A, v)
super-aditivo:
∀C , C ⊆ A, C ∩ C = 0 : v(C ∪ C ) ≥ v(C ) + v(C )
sub-aditivo: ∃C , C ⊆ A, C ∩ C = 0 : v(C ∪ C ) < v(C ) + v(C )
esencial: ∃C , C ⊆ A, C ∩ C = 0 : v(C ∪ C ) > v(C ) + v(C )
jugadores simétricos:
∀C ⊆ A, a, a ∈ C : v(C ∪ {a}) = v(C ∪ {a })
/
jugadores deseables:
∀C ⊆ A, a, a ∈ C : v(C ∪ {a}) ≥ v(C ∪ {a })
/
M. Rebollo Coaliciones de agentes y negociación

22. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Concepto de racionalidad (1)
Racionalidad individual:
∀a ∈ A : u(a) ≥ v({a})
el agente obtiene al menos su recompensa
se asume que se cumple para cada solución (S, u) tomada en
consideración
Racionalidad grupal:
u(a) = v(A)
a∈A
la colectividad A de todos los agentes es racional: cualquier
agente rechazará una solución (S, u) con u(A) < v(A)
en juegos super-aditivos, la distribución de las recompensas es
Pareto-óptima.
M. Rebollo Coaliciones de agentes y negociación

23. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Concepto de racionalidad (2)
Definition
Una distribución de recompensas es Pareto-óptima si
¬∃u ∈ U ((A, v), S) :
(∃a ∈ A : u (a) > u(a), ∀a ∈ A − {a} : u (a) ≥ u(a))
Racionalidad de la coalición:
∀C ⊆ A : u(a) ≥ v(C )
a∈C
Es el principio de racionalidad grupal aplicado a cada subconjunto
de A.
CR ⇒ GR ⇒ IR (no a la inversa)
M. Rebollo Coaliciones de agentes y negociación

24. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Contenidos
1 Middle-agents. Agentes intermediarios
2 Introducción a la teoría de juegos
3 Juegos colaborativos
4 Creación de coaliciones
M. Rebollo Coaliciones de agentes y negociación

25. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Estabilidad en las coaliciones (1)
Estabilidad basada en el centro (core)
maximiza el bienestar social de cualquier subconjunto de
agentes
coste exponencial; el centro puede estar vacío
M. Rebollo Coaliciones de agentes y negociación

26. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Estabilidad en las coaliciones (2)
Estabilidad basada en los valores de Shapley
distribución equitativa basada en la contribución de cada
agente
coste exponencial, pero con variantes polinómicas (Ketchpel,
1994)
Estabilidad basada en el núcleo (kernel)
equilibrio: en cada coalición ningún agente pesa más que otro
que tenga una mejor recompensa en una coalición alternativa
coste exponencial, existen Pareto-óptimos locales
variante polinómica (Shehory/Kraus, 96)
M. Rebollo Coaliciones de agentes y negociación

27. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
El valor de Shapley
El valor de Shapley de una agente a es su recompensa individual
en una coalición
(|A| − |C |)!(|C | − 1)!
sv(a) = (v(C ) − v(C − {a}))
C ⊆A
|A|!
muy empleada en economía para la distribución de beneficios
compartidos
existe, es única y es Pareto-óptima
simétrica y satisface IR y GR (pero no CR)
coste exponencial
M. Rebollo Coaliciones de agentes y negociación

28. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
SCA: Algoritmo de formación de coalición
Cada agente hace lo siguiente:
1 calcula su valor individual v(a) y su valor local worth(a, a )
para cada a ∈ A
2 intercambia sus valores con todos los agentes a de A
3 calcula el valor v(C ) de cada posible coalición C
v(C ) = worth(a, a ) − (|C | − 2) v(a)
a,a ∈C a∈C
4 calcula su propio beneficio de unirse a una gran coalición con
sv(a) y la demanda individual de
recompensas:sv(a) − worth(a, A)
5 se forma una gran coalición con el resto de agentes
({A}, (sv(a))a∈A )
M. Rebollo Coaliciones de agentes y negociación

29. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
El núcleo (kernel)
El núcleo de un juego (A, v) para una estructura S es
un conjunto de soluciones (S, u) donde cada coalición S está
en equilibrio
una coalición está en equilibrio si cada par de agente de la
coalición está en equilibrio
un par de agentes (a, a ) está en equilibrio si ningún agente
pesa más que su oponente si éste tiene la opción tener una
mejor recompensa en una coalición diferente.
M. Rebollo Coaliciones de agentes y negociación

30. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
KCA: algoritmo de formación de coalición
Cada agente
envía sus tares, elementos y valores locales lworth(a, C )
el lider de la coalición
1 genera y envía propuestas de mejora (S , u ) para C + C
2 evalúa las propuestas que recibe
3 acepta las propuestas más beneficiosas y las reenvía
4 si ningún agente acepta ninguna propuesta, se detiene
5 decide qué propuesta es la próxima configuración
6 informa a los miembros la nueva configuración y recompensas
se vota un nuevo líder para la coalición C + C
M. Rebollo Coaliciones de agentes y negociación

31. Middle-agents
Teoría de juegos
Colaboración
Coaliciones
Formación de coaliciones dinámicas
En entornos abiertos y no deterministas puede haber cambios
durante la formación de la coalición
información disponible
tareas que se deben realizar y disponibilidad de recursos
computacionales
número de agentes para formar la coalición
cambios en los niveles de reputación y confianza
Debido a su naturaleza, resulta adecuado para aplicaciones de
computación ubicua y móvil
M. Rebollo Coaliciones de agentes y negociación