Systèmes multi-agents pour la gestion et le contrôle des flux du trafic aérien, cette présentation est basée sur le travail de Adrian Agogino [ Chercheur à NASA ] et kangan Tumer [ chercheur à l'université Oregon State ,USA ]
1. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
´
Decouverte des parcours SMA
` ´
Systemes multi-agents distribues pour le management
ˆ ´
et le controle des flux du trafic aerien
Mohamed IMLI
´
Universite Paris Descartes
13 Decembre 2012
´
Encadre par Mr : Pavlos Moraitis
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
2. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Plan
1 Introduction
2 ´
Management des flux du trafic aerien
FACET
` ´
Systeme d’evaluation
3 ´
Agent Intelligent du Management des flux du trafic aerien
Choix de l’agent
Actions de l’agent
Apprentissage de l’agent
´
Structure de la recompense de l’agent
´ ´
Estimation de la difference de recompense
4 ´
Resultats des simulations
Avec congestion unique
Avec deux congestions
5 Conclusion
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
3. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Introduction
´
Gestion des flux du trafic aerien:
´ ´
Un des defis de l’industrie aerospaciale
40000 vols commercials par jour aux Etats-Unis
` ´ ´ ` ` ´
Le systeme actuel est centralise et herarchique : tres lent a reagir aux
changements
322272 heures de retard par an !
Cout : environ 3 Milliards $ par an !
ˆ
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
4. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Introduction
´
Gestion des flux du trafic aerien:
´
Trouver des solutions fiables et evolutives :
⇒ importance primordiale
Objectif de NGATS :
⇒ acceuillir 3 fois plus de trafic actuel
` ´
Probleme naturellement distribue :
⇒ Solution naturelle : utilisation d’une approche Multi-agents
´ ´ ´ ´
une solution pre-determinee et centralisee est fortement sous-optimale !
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
5. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Approche Multi-agents
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
6. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Approche Multi-agents
`
Attribution de l’agent a une position dans un espace 2D
⇒ Un plan de vol est une suite de positions
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
7. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Approche Multi-agents
`
Attribution de l’agent a une position dans un espace 2D
⇒ Un plan de vol est une suite de positions
Objectif de chaque agent :
⇒ garder la distance de securite entre les avions
´ ´
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
8. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Approche Multi-agents
`
Attribution de l’agent a une position dans un espace 2D
⇒ Un plan de vol est une suite de positions
Objectif de chaque agent :
⇒ garder la distance de securite entre les avions
´ ´
Actions :
⇒ Accelerer ou ralentir le flux local
´
⇒ Apprentissage par renforcement
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
9. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Apprentissage par renforcement
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
10. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
´
Methode Monte Carlo
But ?
⇒ Calcul de la moyenne d’une variable aleatoire
´
Principe ?
E [f (X )] = f (Xi ) ∑ (1)
i
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
11. Introduction
´
Management des flux du trafic aerien
FACET
´
Agent Intelligent du Management des flux du trafic aerien
` ´
Systeme d’evaluation
´
Resultats des simulations
Conclusion
FACET (Future ATM Concepts Evaluation Tool)
Figure : Facet
´ ´ ´
Simulateur du trafic aerien developpe par NASA :
Projection des plans de vols dans le temps
⇒ tester des algorithmes multi-agents
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
12. Introduction
´
Management des flux du trafic aerien
FACET
´
Agent Intelligent du Management des flux du trafic aerien
` ´
Systeme d’evaluation
´
Resultats des simulations
Conclusion
` ´
Systeme d’evaluation
´ `
Fonction d’evaluation des performances du systeme :
G(z ) = −((1 − α)B (z ) + α C (z )) (2)
B (z ) : penalite du retard de tous les avions du systeme
´ ´ `
C (z ) : penalite pour la congestion totale du systeme
´ ´ `
´ `
z : l’etat actuel du systeme
` ´ ´
α : Une constante a determiner
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
13. Introduction
´
Management des flux du trafic aerien
FACET
´
Agent Intelligent du Management des flux du trafic aerien
` ´
Systeme d’evaluation
´
Resultats des simulations
Conclusion
` ´
Systeme d’evaluation
´ `
Fonction d’evaluation des performances du systeme :
G(z ) = −((1 − α)B (z ) + α C (z )) (2)
B (z ) : penalite du retard de tous les avions du systeme
´ ´ `
C (z ) : penalite pour la congestion totale du systeme
´ ´ `
´ `
z : l’etat actuel du systeme
` ´ ´
α : Une constante a determiner
L’objectif du systeme : Maximiser G(z )
`
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
14. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Choix de l’agent
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
15. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Choix de l’agent
´
Le plus evident ?
⇒ Considerer chaque avion comme agent
´
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
16. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Choix de l’agent
´
Le plus evident ?
⇒ Considerer chaque avion comme agent
´
`
cette approche pose des problemes :
⇒ Un grand systeme massivement multi-agents
`
⇒ L’apprentissage est tres lent
`
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
17. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Choix de l’agent
´
Le plus evident ?
⇒ Considerer chaque avion comme agent
´
`
cette approche pose des problemes :
⇒ Un grand systeme massivement multi-agents
`
⇒ L’apprentissage est tres lent
`
Solution ?
⇒ Assigner des agents a des positions sur un espace a 2D
` `
⇒ Une zone sur le sol de l’espace aerien
´
⇒ Definie par ses coordonnees
´ ´
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
18. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
`
Architecture du systeme multi-agent
´
Figure : Schema de l’architecture des agents
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
19. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Actions de l’agent
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
20. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Actions de l’agent
´
Un choix evident ?
⇒ Soumettre les avions aux agents ..
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
21. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Actions de l’agent
´
Un choix evident ?
⇒ Soumettre les avions aux agents ..
´ `
cette approche pose egalement des problemes :
⇒ Les plans de vols seront moins fiables et compliques
´
⇒ probleme d’ordonnecement
`
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
22. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Actions de l’agent
´
Un choix evident ?
⇒ Soumettre les avions aux agents ..
´ `
cette approche pose egalement des problemes :
⇒ Les plans de vols seront moins fiables et compliques
´
⇒ probleme d’ordonnecement
`
Solution ?
⇒ Action : garder la distance de securite entre les avions
´ ´
⇒ Cette distance s’appelle MIT
⇒ L’agent augmente au diminue la distance MIT
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
23. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Apprentissage de l’agent
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
24. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Apprentissage de l’agent
` ´
L’agent cherche a maximiser sa recompense
⇒ Objectif : apprendre les meilleurs valeurs de MIT
Q (a) = (1 − ε)Q (a) + ε(R )
´ (3)
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
25. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
Apprentissage de l’agent
` ´
L’agent cherche a maximiser sa recompense
⇒ Objectif : apprendre les meilleurs valeurs de MIT
Q (a) = (1 − ε)Q (a) + ε(R )
´ (3)
` ´
a chaque etape l’agent choisi :
L’action a avec la probabilite : 1 − ε
´
→
Exploitation de sa connaissance
´ ´
Une action aleatoire avec la probabilite : ε
→
Exploration des autres actions
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
26. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
´
Structure de la recompense de l’agent
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
27. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
´
Structure de la recompense de l’agent
`
Une premiere approche ?
⇒ performance du systeme
`
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
28. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
´
Structure de la recompense de l’agent
`
Une premiere approche ?
⇒ performance du systeme
`
cette approche n’est pas la meilleure
⇒ Ralentissement de l’apprentissage
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
29. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
´
Structure de la recompense de l’agent
`
Une premiere approche ?
⇒ performance du systeme
`
cette approche n’est pas la meilleure
⇒ Ralentissement de l’apprentissage
Solution ?
⇒ Considerer la difference de la recompense :
´ ´ ´
Di = G(z ) − G(z − zi + ci ) (4)
zi est l’action de l’agent i
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
30. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
´ ´
Estimation de la difference de recompense
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
31. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
´ ´
Estimation de la difference de recompense
⇒ Impossible de calculer directement Di
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
32. Introduction Choix de l’agent
´
Management des flux du trafic aerien Actions de l’agent
´
Agent Intelligent du Management des flux du trafic aerien Apprentissage de l’agent
´
Resultats des simulations ´
Structure de la recompense de l’agent
Conclusion ´ ´
Estimation de la difference de recompense
´ ´
Estimation de la difference de recompense
⇒ Impossible de calculer directement Di
Solution ?
⇒ Faire une estimation
Diest1 = Gf (f (z )) − Gf (f (z ) − E (f (z )/zi ) + E (f (z )/ci )) (5)
Diest2 = Gf (f (z )) − Gf (f (z ) − E (f (z )/zi ) + E (f (z ))) (6)
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
33. Introduction
´
Management des flux du trafic aerien
Avec congestion unique
´
Agent Intelligent du Management des flux du trafic aerien
Avec deux congestions
´
Resultats des simulations
Conclusion
Simulation avec congestion unique
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
34. Introduction
´
Management des flux du trafic aerien
Avec congestion unique
´
Agent Intelligent du Management des flux du trafic aerien
Avec deux congestions
´
Resultats des simulations
Conclusion
Simulation avec deux congestions
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
35. Introduction
´
Management des flux du trafic aerien
Avec congestion unique
´
Agent Intelligent du Management des flux du trafic aerien
Avec deux congestions
´
Resultats des simulations
Conclusion
Nombre d’agents
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
36. Introduction
´
Management des flux du trafic aerien
Avec congestion unique
´
Agent Intelligent du Management des flux du trafic aerien
Avec deux congestions
´
Resultats des simulations
Conclusion
Influence de α
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
37. Introduction
´
Management des flux du trafic aerien
Avec congestion unique
´
Agent Intelligent du Management des flux du trafic aerien
Avec deux congestions
´
Resultats des simulations
Conclusion
Cout de calcul
ˆ
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
38. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Conclusion
´
Une solution distribuee adaptative
Pas de changement radical
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien
39. Introduction
´
Management des flux du trafic aerien
´
Agent Intelligent du Management des flux du trafic aerien
´
Resultats des simulations
Conclusion
Conclusion
´
Une solution distribuee adaptative
Pas de changement radical
D’autres pistes ?
Chercher d’autres algorithmes
Etendre la notion d’agent aux secteurs
Mohamed IMLI ´ ´
SMA distribues : Management des flux du trafic aerien