The missing link between several network engineering courses. A hands on reality based on past experience :)

1. Internet 101:
ce qu’on ne vous a pas dit en
amphi 
Enfin pas de mon temps…
ESIGETEL April 15, 2009
Greg VILLAIN
©2008 Tata Communications, Ltd. All Rights Reserved.

2. AGENDA
1. Internet, c’est quoi au juste
2. Métiers & acteurs d’Internet
3. La topologie d’Internet
4. Petits rappels sur BGP
5. Le métier d’Architecte Réseau
6. Outils & Conseils

3. Définitions
vs
Points de vue
Internet, c’est quoi au juste ?

4. Internet, c’est quoi au juste ?
• Réponse triviale:
IP: Internet Protocol.
Couche n°3 (réseau) du Modèle OSI.
“deux machines communiquant ensemble via IP en tant que
couche réseau font partie d’Internet”.
• Définition juste, mais partielle:
“réseaux d’entreprises qui implémentent IP en vase clos ?
Quid de la rfc1918 ?”
• Le point de vue de l’utilisateur est bien plus pertinent.
Internet se définit comme une somme variable de services
accessibles aux Internautes.
4

5. Internet, c’est quoi au juste ?
Internet est avant tout une somme de services:
• Sur n’importe quel *NIX, taper la commande:
less /etc/services (ports serveurs)
• http (service web)
• mail (POP, IMAP, ou MAPI chez les proprietaires…SMTP)
• nntp (newsgroups)
• IRC (Internet Chat Relay)
• ftp, ssh …
Quelques uns plus récents:
• instant messaging (Jabber, MSN, AIM, YahooIM …)
• peer-to-peer (bit-torrent & FreeBSD… p2p != warez…)
• jeux en ligne.
5

6. Internet, c’est quoi au juste ?
Définition très pertinente d’Internet:
“Internet est de près ou de loin le seul réseau au monde dans lequel
n’importe quelle machine connectée peut à la fois et en même temps être
un client et un serveur”.
Si ça n’est pas possible:
 c’est un mode de souscription à des services centralisés via un Terminal passif. (ça
ne rappelle rien à personne ? Un truc moche en pastique près du téléphone S63)
 Si seul l’accès à un sous ensemble des services précédents est possible, on ne
parle plus d’Internet, mais de Service en ligne (remember AOL, Infonie ?)
En France en ce moment, grosse discussion sur le rôle
des ISP (FAI):
 Fournisseur d’accès Internet VS fournisseur de services en ligne ?
 Accès indissocié a toute destination, tout contenu, sous tout protocole
s’appuyant sur IP ?
 chaqun sa définition, mais finalement beaucoup de divergence
6

7. Internet, c’est quoi au juste ?
Internet n’est donc pas (définition par le contre-
exemple) :
 Le service de TVIP de votre ISP
 Le service de VoIP de votre ISP …
Définition strictement objective:
” Internet est la résultante de l’interconnexion en IP d’un
grand nombres de réseaux, hétérogènes dans leur
conception et leur implantation géographique, chaque réseau
étant placé sous une autorité administrative distincte, mais
tous interconnectés en IP ”
7

8.  Opérateurs d’infrastructures (datecenters)
 Opérateurs d’infrastructure (Opérateurs fibre)
 Carriers
 ISPs (FAIs)
 Hébergeurs & fournissers de contenu
 Points d’échange
Métiers & Acteurs de l’Internet

9. Métiers & Acteurs d’Internet
• Les métiers d’Internet sont répartis sur la plupart des couches du modèle
OSI, de la plus basse à la plus haute, ils forment un écosystème:
- sont tous clients/fournisseurs les uns des autres
- Phagocytent parfois leurs métiers respectifs 
• Opérateurs d’infrastructure
– Datacenters
– Opérateurs fibre
• Carriers
• ISPs
• Hébergeurs
• Fournisseurs de contenu
• Les points d’échange, IX(P), NAP, exchanges …
9

10. Métiers & Acteurs d’Internet > Opérateurs d’infrastructure
• Couche la plus basse du modèle OSI: 0
• Datacenters (Telehouse, Equinix, Switch&Data, Redbus/Telecity,
InterXion…)
• Organisés en Franchises ou privés
• Peuvent avoir des sites dans plusieurs pays (Equinix, Telehouse,
InterXion, Global Switch)
• Fournissent principalement des services sans valeur ajoutée:
Energie

Froid

Espace pour placer des baies d’équipements ou de serveurs

Services d’interconnexion locale entre clients dans leurs sites

Des serices de “mains à distance”

• Les Datacenters sont les points de concours obligatoires de tous les acteurs
d’Internet, quels qu’ils soient.
• Essaient de plus en plus de vendre du service plutôt que de l’infra (stockage,
disaster recovery, mise en prod de serveurs...)
10

11. Métiers & Acteurs d’Internet > Opérateurs d’infrastructure
Opérateurs fibre (n9uf, telcité …)
• Activité de Génie civil, donc accréditations spéciales pour faire du
tirage.
• Tirent des tronçons de fibre qu’ils louent aux professionnels
d’Internet.
• Beaucoup ont une raison d’être historique (N9UF ? Opérateurs
Historiques ? SANEF ? Telcité ? Telecom Developement ?)
• Plusieurs types de portées: Métropolitaine, Nationale, Internationale.
• Ont des coûts d’exploitation d’infrastructures très élevés.
• Ont des produits rudimentaires: Fibres Noires
• Sont aujourd’hui très peu à ne faire que ça (coûts, reviens…),
beaucoup ont été ingérés par d’autres des métiers listés ci-après, pour
étoffer leur portefeuille de produits.
• Cas particuliers, opérateurs de câbles sous-marins (SeaMeWe,
Hibernia …) – souvent organisés en consortiums
11

12. Métiers & Acteurs d’Internet > Carriers (Level3,TATA, Verizon)
• Représentent les “super-réseaux”, dimension géographique Nationale et Internationale (opérateurs
Globals).
• Ils transportent et hébergent le trafic des autres acteurs (carriers), sont en “plein millieu” d’Internet –
ne délivrent pas de services finaux – aussi appelés wholesalers.
• Exercent souvent l’ensemble des métiers d’Internet (opérateurs fibres, opérateurs de datacenters,
opérateurs transmission/IP/Ethernet, hébergeurs …).
• Sont très peu nombreux et bien identifiés
• La plupart des opérateurs historiques sont des carriers (FT, Telia, AT&T, DTAG, Telefonica, TDC,
BT…).
• Sont souvent le fruit de rachats, de faillites consécutives (UUNet, WorldCom, MCI, Verizon…).
• Faisaient souvent de la téléphonie à l’origine (historiques…TDM for the win)
• Maitrisent les technologies Long Haul (TDM, WDM), issus du monde de la transmission, ont évolué
vers IP par ingestion puis migration.
• La plupart des gros opérateurs de Transit IP sont des carriers (les Tier1 le sont tous)
12

13. Métiers & Acteurs d’Internet > ISPs (FAIs) fournisseurs d’accès Internet
Les ISPs ont vu leur rôle, leur étendue et leur domaine de compétence
s’agrandir au fil du temps.
• Ils ont une portée nationale (pour les ISPs résidentiels)
• N’opéraient à l’origine pas ou peu de réseau – en RTC, ils utilisaient le réseau de
l’opérateur historique et n’avaient qu’un site de collecte, avec leur coeur IP
directement attaché aux serveurs d’accès.
• Sont tributaires de contraintes légales de régulation Télécom.
Ex: convention de dégroupage en France, Licenses WiMax…
• Aujourd’hui, ils manient:
 Une ou plusieurs technologies d’accès (DSL, Docsys, WiMax, Wifi)
 En propre pour les zones qu’ils couvrent (ex: ADSL option 1)
 En collect pour les zones qu’ils ne couvrent pas (ex: ADSL option 3 et 5)
 Des technologies de transmission
 Metro
 Longue distance
 Des technologies issues du monde de la voix (ToIP, interconnexions TDM avec les
opérateurs historiques et alternatifs)
 L’ingénierie de leurs équipements client: *box, media-box, offre mobile unifiée
13

14. Métiers & Acteurs d’Internet > ISPs (FAIs) sont maintenant des
opérateurs nationaux !
Les ISPs ont maintenant acquis une expertise en opération
d’infrastructures:
• Plusieurs PoPs Nationaux
• Un réseau National longue distance basé sur:
 Un réseau de fibre noire acheté ou loué (IRU) aux opérateurs d’infrastructures
 Des équipements de transmission longue distance
 Multiplexage en longueur d’onde (Nx1G ou Nx10G)
 Régénération du signal optique
 Un coeur de réseau IP qui fait du routage hierarchique
• Des PoPs (points de présence) Métropolitains (NRA pour l’ADSL) sur
lesquels arrivent leur technologie d’Accès.
• Des réseaux métropolitains (plusieurs boucles métro par PoP National)
• Plusieurs Datacenter sur leur point central, pour y héberger:
 Leur coeur de routage vers le reste d’Internet
 Leur plateforme de service système (DNS, MX, Abonnement, Portail web, Pages perso/blogs)
 Leur plateforme de TV sur IP (Tvip & VoD)
 Leur plateforme VoIP et donc encore de la voix (du TDM) old school !!!
14

15. Métiers & Acteurs d’Internet > Architecture Nationale Typique
Internet
Lille Strasbourg
Paris
PoP IP &
Ville
Longue
distance
DWDM
Bordeaux Lyon
national
Réseau
Metro
Ethernet
Toulouse Montpellier Marseille
15

16. Métiers & Acteurs d’Internet > exemple d’architecture METRO
DWDM
Lyon
national
Strasbourg
Paris
PoP IP &
Ville
Longue
distance
NRA#4
NRA#1
NRA
Boucle
Metro 10G
Ethernet
Switch
NRA#3
de NRA
NRA#2
Boucle
Lyon#1
DSLAM
16

17. Métiers & Acteurs d’Internet > Coeur de réseau/service Parisien
Paris
Paris
Voix FT Datacenter#2
Datacenter#1
Voix Autre
Plateforme
opérateur Réseau de
VoIP collecte ADSL
VoIP autres
autre opérateur
opérateurs
Internet
Plateforme
Services:
Abo, mail,
Internet
dns,pages
perso, portail Plateforme
TVip / VoD
Feed VIDEO TV
Paris Paris
Datacenter#3 Datacenter#4
Pourquoi plusieurs datacenters ? Résilience, place, proximité autres acteurs
17

18. Métiers & Acteurs d’Internet
> le coeur de services se décentralise (chez les plus gros ISPs)
Transmission
Vers coeur IP Paris
Raisons ?
• couts en transmission Bordeaux COEUR IP et boucle
maitrisés métro
• résilience Interco VOIX
Transit IP local
locale
INTERNET
• qualité: service au
plus proche Plateforme
Plateforme
VoIP
TVip / VoD
• service local moins
cher que central à
Paris
Mise en cache des VOD
populaires à partir du
Transmission référent central de
stockage
Vers coeur IP
Toulouse
18

19. Métiers & Acteurs d’Internet > Hébergeurs & fournisseurs de contenu
• Ont une présence que sur 1 ou peu de sites, de la même ville, en général la
“capitale internet” du pays dans lequel ils sont.
• N’ont pas de réseau national
• Un réseau métropolitain réduit
• Ne font pas d’ingénierie d’Accès (DSL…)
• Font principalement du LAN et du routage pour sortir vers Internet
• Ont le gros de leur expertise centrée sur l’expertise d’administration système.
• Ont une gamme de service qui va de:
 Housing (fourniture espace rackable et bande passante)
 Hosting (fourniture de serveur, et bande passante)
 Infogerance (fourniture de serveur, bande passante, administration de serveur)
• Facturent à leurs clients:
 L’hébergement
 La bande passante consommée ou forfaitaire vers Internet
• Les fournisseurs de contenu ont un métier nouveau: ils occupent le même rôle
que les hébergeurs, mais n’hébergent que leurs propres services. exemples
récents de dimention internationale: Yahoo, Google, Microsoft.
19

20. Métiers & Acteurs d’Internet > Points d’échange
• Ancêtres: MAE – Metropolitan Area Exchanges (FDDI, FOIRL …ATM)
Synonymes: IX, IXP, eXchange, NAP (OLD!!!)
• Définition Wikipedia:
“An Internet exchange point (IX or IXP) is a physical infrastructure that allows different Internet service
providers (ISPs) to exchange Internet traffic between their networks (autonomous systems) by means of
mutual peering agreements, which allow traffic to be exchanged without cost. IXPs reduce the portion of
an ISP's traffic which must be delivered via their upstream transit providers, thereby reducing the Average
Per-Bit Delivery Cost of their service. Furthermore, the increased number of paths learned through the IXP
improves routing efficiency and fault-tolerance.”
• LANs métropolitains (= switching = layer2 <> layer3 <> routing)
• Permettent aux différents acteurs Internet le souhaitant de venir se
connecter pour venir échanger du traffic (= peerer).
• Les membres choisissent un ou plusieurs couples (Port, Site) et sont
facturés mensuellement fonction du type de port.
• Tous les membres sont se retrouvent sur le LAN du point d’échange,
qui est un seul segment ethernet, avec chacun une IP (ou plusieurs)
appartenant au subnet de l’IX
• Une fois tous sur le même LAN, ils peuvent établir des sessions de
peering entre eux.
20

21. Métiers & Acteurs d’Internet
• Les 3 points d’échange les plus volumineux dont on connait les stats sont en Europe:
 AMSIX (Amsterdam)
 LINX (Londre)
 De-CIX (Frankfort) Les plus gros sont certainement en Asie (probablement x5 mais pas de stats)
• Les IX (les plus gros) suivent un modèle associatif
• Les membres des IX souscrivent à un certain nombre de conditions techniques pour être admis
(rêgles techniques de bonne conduite).
• Les IX sont aujourd’hui un point de passage quasi systématique sur le trajet d’un paquet dans
Internet.
• Les IX proposent souvent l’utilisation d’un Route-Server qui permet aux membres de ne pas avoir a
configurer une session par peering (pas beaucoup utillisé).
• Organisent régulièrement des conférences techniques (qui finissent systématiquement au pub  )
• Permettent aux membres de discuter entre eux via des mailing-list mises à leur disposition:
 Annonces des maintenances et pannes
 Demandes de peering
• Le LINX sollicite tous les membres par mailing-list à chaque nouveau membres, pour qu’ils
approuvent la candidature.
• Certains IX on des ‘member fees’ (LINX) d’autres non
21

22.  Explication par l’exemple
 L’importance des Routing Registries
 Retour sur l’exemple initial
 Les infos que donnent un traceroute
 Retour au Routing Registry
La topologie d’Internet

23. Topologie d’Internet > Explication par l’exemple
www.dailymotion.com
???
23

24. Topologie d’Internet > Explication par l’exemple
DNS ISP
BGP4
AS ISP AS Carrier #1
DNS hébergeur
BGP4
AS
AS Carrier #2
Hébergeur
24

25. Topologie d’Internet > Importance des routing registries
• Tout réseau est défini par le couple
 AS (objet aut-num , objet as-set )
 Range d’adresses IP (objet inet(6)num objet route)
• Les IRR (Internet Routing Registries) centralisent cette information à echelle
géographique et font en sorte qu’elle soit publique. (RIPE, ARIN, APNIC…)
• Tout opérateur de réseau IP a pour obligation morale de maintenir ses objets dans
la base de donnée de l’IRR dont il dépend.
• Sa politique de routage, ses plages d’IPs, ses routes, ainsi que les rôles (personnes
physiques ou équipes) qui maintiennent ces objets figurent dans la base de donnée.
• Ne pas les renseigner peut s’avérer dangereux (cf plus tard)
25

26. Topologie d’Internet > Retour à www.dailymotion.com
• Trouver l’AS dans lequel se situe l’hôte (Hébergé ? Self-Hébergé ?)
 Faire une requête DNS pour obtenir son IP: dig www.dailymotion.com
;; ANSWER SECTION:
www.dailymotion.com. 495 IN A 195.8.214.142
www.dailymotion.com. 495 IN A 195.8.214.140
www.dailymotion.com. 495 IN A 195.8.214.141
 Interroger le RIPE pour trouver l’AS qui est origine de la plage IP:
whois –h whois.ripe.net 195.8.215.142
route: 195.8.214.0/23
descr: Dailymotion
origin: AS41690
org: ORG-DM5-RIPE
mnt-by: NEO-MNT
source: RIPE # Filtered
• Consulter l’objet aut-num correspondant pour obtenir des infos sur la politique de routage
de l’AS en question
whois –h whois.ripe.net AS41690 (ou via le portail du RIPE)
Cf la suite sur les infos techniques qu’on tire de cet objet.
• Faire un traceroute (ou MTR) pour voir le chemin emprunté pour aller vers
www.dailymotion.com
26

27. Topologie d’Internet > infos données par un traceroute
• Traceroute fonctionne en envoyant des paquets UDP et en faisant croitre le TTL de
ces paquets à chaque nouvelle salve, jusqu’à destination.
• Permet de voir tous les ‘Hops’ qui se trouvent sur le trajet aller du paquet.
• Par défaut, traceroute affiche, pour chaque saut, l’IP du saut, ou le reverse DNS si il
éxiste
 les reverses DNS donnent de bonnes idées sur les réseaux que traversent le
paquet.
traceroute www.clubic.com
traceroute: Warning: ; using
193.22.143.62
traceroute to www.clubic.com (193.22.143.62), 64 hops max, 40 byte packets
1 192.168.1.1 (192.168.1.1) 1.771 ms 1.270 ms 1.257 ms
2 vol75-2.dslam.club-internet.fr (195.36.231.20) 1040.208 ms 43.069 ms
27.070 ms
3 * * V106.core02-t2.club-internet.fr (195.36.231.61) 24.983 ms
4 cyrealis.panap.fr (62.35.254.21) 22.863 ms 22.008 ms 21.882 ms
5 php12.clubic.com (193.22.143.62) 21.925 ms 22.807 ms 23.236 ms
• D’où l’importance de toujours renseigner les reverses de toute interface IP sur une
machine qui route, avec une convention qui a un sens !
27

28. Topologie d’Internet > infos données par un traceroute
traceroute www.clubic.com
traceroute: Warning: www.clubic.com has multiple addresses; using 193.22.143.62
traceroute to www.clubic.com (193.22.143.62), 64 hops max, 40 byte packets
1 192.168.1.1 (192.168.1.1) 1.771 ms 1.270 ms 1.257 ms
2 vol75-2.dslam.club-internet.fr (195.36.231.20) 1040.208 ms 43.069 ms 27.070 ms
3 * * V106.core02-t2.club-internet.fr (195.36.231.61) 24.983 ms
4 cyrealis.panap.fr (62.35.254.21) 22.863 ms 22.008 ms 21.882 ms
5 php12.clubic.com (193.22.143.62) 21.925 ms 22.807 ms 23.236 ms
traceroute to www.facebook.com (69.63.184.28), 30 hops max, 40 byte packets
1 217.70.191.252 (217.70.191.252) [AS29169] 0.408 ms 0.483 ms 0.565 ms
2 vl9.core1-v.gandi.net (217.70.176.97) [AS29169] 0.632 ms 0.692 ms 0.741 ms
3 171.ge3-0.er1a.cdg2.fr.above.net (62.4.73.58) [AS6461] 1.397 ms 1.461 ms 1.522 ms
4 te2-4.mpr2.cdg2.fr.above.net (64.125.23.82) [*] 161.310 ms 161.362 ms 161.421 ms
5 (84.207.21.10) [AS6461] 1.341 ms * *
6 ae-32-54.ebr2.Paris1.Level3.net (4.68.109.126) [AS3356] 71.848 ms 1.381 ms 1.555 ms
7 ae-41.ebr2.Washington1.Level3.net (4.69.137.50) [AS3356] 92.222 ms ae-42.ebr2.Washington1.Level3.net (4.69.137.54)
[AS3356] 92.793 ms ae-43.ebr2.Washington1.Level3.net (4.69.137.58) [AS3356] 92.012 ms
8 ae-82-82.csw3.Washington1.Level3.net (4.69.134.154) [AS3356] 95.015 ms ae-92-92.csw4.Washington1.Level3.net
(4.69.134.158) [AS3356] 83.497 ms ae-62-62.csw1.Washington1.Level3.net (4.69.134.146) [AS3356] 90.533 ms
9 ae-21-79.car1.Washington1.Level3.net (4.68.17.67) [AS3356] 82.870 ms ae-31-89.car1.Washington1.Level3.net (4.68.17.131)
[AS3356] 84.131 ms ae-11-69.car1.Washington1.Level3.net (4.68.17.3) [AS3356] 83.018 ms
10 FACEBOOK-IN.car1.Washington1.Level3.net (4.79.20.10) [AS3356] 84.252 ms 84.578 ms 84.277 ms
11 te-9-2.csw01a.ash1.tfbnw.net (204.15.21.214) [AS32934] 84.688 ms 84.003 ms te-9-2.csw01b.ash1.tfbnw.net
(204.15.21.218) [AS32934] 90.487 ms
12 www-2.01.ash1.facebook.com (69.63.184.28) [AS32934] 103.959 ms 105.875 ms 105.338 ms
Donne une idée sur:
- le type d’équipement traversé
- le PoP dans lequel se trouve le routeur
- le VLAN emprunté
- les interconnexions entre réseaux (cf slides suivants sur la manière dont on procède).
- les sauts limitants
- les débits des interfaces traversées
- les points d’échange traversés
28

29. Topologie d’Internet > infos données par un traceroute
Les objets route représentent les préfixes routés par un AS.
 pour toute route, voir le champ origin
Exemple, déterminer tous les préfixes routés par un ISP (pour
constituer un filtre en entrée par exemple):
whois –h whois.ripe.net –i origin AS12322
Tout de suite, un exemple en couleurs !
AS41690/AS-DAILYMOTION (un exemple d’objet bien
rempli… OK je me mouille pas trop hein…)
29

30.  Rêgles & définitions élémentaires
 Confusions fréquentes, pièges à débutants
 Mécanisme de décision de BGP
 Transit & Peering
 Exemple de BGP en routage naturel
 Exemple de tuning de trafic sortant
 Exemple de tuning de trafic entrant
 Les dangers du peering liés à BGP
Rappels sur BGP

31. Petits rappels sur BGP
• BGP = Border Gateway Protocol version actuelle: V4
• BGP est un EGP (Exterior Gateway Protocol) c’est le seul EGP en place dans Internet.
• Ce protocole est le protocole implémenté par les routeurs de bordure d’Autonomous System pour
s’échanger des routes.
• BGP est une machine a états finis rudimentaire qui suit un arbre décisionnel bien identifié, public,
que tout ingénieur backbone doit connaître sur le bout des doigts, cet arbre décisionnel conduit à
l’installation ou non d’un préfixe dans la table de routage de l’équipement.
• BGP permet de router IP et seulement IP. (route-t-on d’autres protocoles qu’IP ? IS-IS, protocole
ISO)
• BGP éxiste en 2 déclinaisons: eBGP et iBGP, les deux vont systématiquement de pair dès qu’on a
au moins 2 routeurs de bordure.
• BGP est toujours implémenté en parallèle d’un IGP: OSPF, IS-IS ou EIGRP pour ceux qui aiment les
standards propriétaires.
• BGP permet d’annoncer des routes originés ou non par un AS, i.e. donner le prochain saut vers un
certain préfixe (“tranche d’IP”)
• BGP fait correspondre, à chaque annonce de préfixe, un certain nombre d’attributs bien identifiés
(weight, local-pref, metric ou MED, next-hop, as-path, communautés, atomic aggregate …)
• BGP ne nécessite pas que deux voisins soient dirctement connectés pour etablir une session, du
moment qu’il existe une route vers l’IP du voisin, la session s’établit (multi-hop).
• Tout interlocuteur BGP d’un réseau doit maintenir une session iBGP avec chacun des autres
interlocuteurs iBGP (Full Mesh iBGP) 31

32. Petits rappels sur BGP
• l’IGP transporte l’adressage de l’infrastructure
• les sessions iBGP sont établies sur les loopbacks, transportées par l’IGP
 Une loopback ne tombe jamais elle est toujours annoncée dans l’IGP
 Les sessions iBGP ne tombent jamais
eBGP eBGP
Loopback Loopback
iBGP
AS (système autonome) iBGP
iBGP
iBGP
Loopback
Loopback
eBGP
eBGP 32

33. Petits rappels sur BGP > Confusions fréquentes, pièges à débutants
• Ne surtout pas confondre protocole de routage et protocole routé.
 BGP est un protocole de routage (utilise TCP:179), IP est le protocole routé.
 IS-IS est un protocole de routage qui permet de router n’importe quel protocole
de niveau 3 (pas que IP !!!).
• Ne pas confondre table BGP et table de routage chaque protocole de routage
participe a la constitution de la table de routage globale d’un équipement, en
suivant une échelle d’administrative distance:
Connected interface
Static route
Enhanced Interior Gateway Routing Protocol (EIGRP) summary route
External Border Gateway Protocol (BGP)
Internal EIGRP
OSPF
Intermediate System-to-Intermediate System (IS-IS)
Internal BGP
Pour connaître le next-hop d’une route, on fait dans l’ordre
 show ip route <préfixe>
 L’entrée dans la table de routage contient le protocole par lequel la route est
apprise
 Enfin on fait un sh ip bgp <préfixe> si la route installée dans la table de routage
a été apprise en BGP.
Internet est le monde du Routage Asymétrique.

34. Petits rappels sur BGP > Mécanisme de décision de BGP
• Deux voisins BGP s’annoncent des routes
• Une route plus spécifique prime sur une route moins spécifique: 1.2.3.0/24 prime
sur 1.2.2.0/23 (cf Prefix Hijacking)
• On lui applique ou non des filtres en entrée (on peut statiquement configurer des
blacklist de routes ou même d’as-path)
• On applique ou non un traitement automatique à la route qui modifie ses attributs
• On la compare aux routes équivalentes fonction de ses attributs:
(Prefer the path with the highest weight)

Prefer the path with the highest local preference

(Prefer locally originated routes (Next Hop = 0.0.0.0))

Prefer the path with the shortest AS path

(Prefer the path with the lowest origin type: IGP is lower than EGP, and EGP is lower than INCOMPLETE)

Prefer the path with the lowest metric or MED

Prefer EBGP routes over IBGP routes

Prefer the lowest IGP metric to the next hop

Prefer the path from the router with the lowest router ID

• On la marque ou non comme BEST dans la table BGP, si elle est BEST, elle est
éligible à la table de routage. Deux préfixes identiques ne peuvent pas être BEST.

35. Petits rappels sur BGP > Transit & Peering
• Un AS n’annonce, à un autre AS, via BGP, que les préfixes dont il est
l’origine.
SAUF cas particulier, il peut annoncer en totalité ou partie les routes de ses
peers, dans ce cas, il sert d’AS de transit vers les AS dont il annonce les
préfixes.
• Un peer qui annonce toutes les routes d’Internet (270K routes, augmente
tous les jours) est un fournisseur de Transit (ou upstream).
• Les fournisseurs de transit font payer le trafic au volume: ils vendent un
port et font payer au 95%ile du volume entrant ou sortant maximum écoulé
par ce port.
• La facture mensuelle est déduite en multipliant le 95%ile consommé,
multiplié par un prix au méga.
• On peut contracter un transitaire en achetant un “port flat” ou en
fonctionnant en mode “commit/burst”.
• Le transit est la sortie par défaut pour rejoindre tout autre AS.
• Quand on dispose d’un peering avec d’autres AS, on configure les local-
pref plus haut sur les peerings pour éviter de sortir par le Transit.
• La notion de peering s’accompagne d’un accord mutuel, gratuit ou pas.

36. Petits rappels sur BGP > Exemple 1: trafic sortant en mode ‘naturel’

37. Petits rappels sur BGP > Exemple 2: trafic sortant forcé
AS100 veut faire passer le préfix de AS300 par AS200

38. Petits rappels sur BGP > Exemple 3: trafic entrant forcé
AS300 ne veut pas que AS100 le joingne en direct

39. Petits rappels sur BGP > Quelques dangers du peering liés à BGP
• Toute annonce plus spécifique l’emporte
 lié aux mécanismes de routage plus qu’à BGP
• Si on ne filtre pas les préfixes reçus, a priori on les accepte tous (même des préfixes
rfc1918 !!!)
• BGP est basé sur un modèle de confiance: on suppose systématiquement qu’on va
configurer son seul aut-num et ses seules routes sur ses équipements.
• BGP, comme DNS, intègre tous les voisins BGP d’Internet comme participant à un seul
système logique.
 toute erreur non filtrée se propage (vite)
 GooTube VS Pakistan Telekom_LOL !
• Ne pas renseigner assidûment son objet aut-num (AS) dans son IRR empêche la
génération automatique des filtres chez peers consciencieux.
 Renseignez rigoureusement votre routing policy !
• BGP ne tient pas compte de l’état de remplissage des liens ! Si une route est la meilleure
par un lien donné et qu’il est rempli, le trafic est discardé !

40.  Avant-propos
 Timeline de la vie d’un réseau IP
 Traffic et ordres de grandeur
 Les premières étapes de l’interconnexion d’un
réseau
 Le métier de peering manager
 Les typologies de trafic
Le métier d’Architecte Réseau

41. Le métier d’architecte réseau > Avant-propos
• Inscrire le réseau dont on s’occupe dans Internet, c’est l’interconnecter le mieux
possible aux autres réseaux qui forment Internet.
• Dans toute la suite, Réseau IP <-> AS, interco IP <-> session de peering BGP4
• Cela sous entend:
 de la manière la plus diverse/redondante possible
 7J/7, 24J/24
 sans contention (a moins qu’elle ne soit voulue…)
 qu’il faut connaître au mieux la cible des utilisateurs de notre réseau afin de choisir avec soin
ses PoPs
ses peers
Ses points d’échange
• Que veulent dire les idiômes suivants (“Peering Manager Slang”), entendus dans
des conversations techno-mondaines ?
“Mon AS/réseau fait $VOLUME_TRAFIC de trafic” OU
“Mon AS/réseau pousse $VOLUME_TRAFIC vers Internet” OU
“Mon AS/réseau prend $VOLUME_TRAFIC d’Internet”
 Ces termes désignent le débit cumulé, en pointe, qui rentre ou sort du réseau dont
on parle (voir les schémas de typologie en fin de chapitre).

42. Le métier d’architecte réseau > Timeline de la vie d’un réseau IP
1. Obtenir un AS et un range IP Provider Independent auprès de son Registry (nécessite un design à deux transitaires)
2. Contracter/Installer 2 transitaires
3. Choisir des points d’échange
1. Y aller en louant une liaison ethernet
2. Aller installer un équipement sur place
4. Identifier les AS vers lesquels va notre trafic
1. Identifier leurs points de présence ( www.peeringdb.com , RIPE, APNIC…)
2. Ldentifier leurs conditions de peering
3. Leur faire une demande de PNI
5. Acheter éventuellement du Transit Partiel (moins cher que du transit) pour joindre par exemple certains ISPs avec qui il est
difficile de peerer.
6. Ouvrir des PoPs pour se rapprocher de ses utilisateurs (router le trafic au plus près)
7. Upgrader/diversifier ses ports sur les points d’échange (ajout en trunk, ajout sur un autre site)
8. Upgrader ses PNIs, les diversifier sur d’autres PoPs
9. Essuyer les revers opérationnels d’un réseau de peering international:
1. Écrire un premier draft de peering policy
2. Être de plus en plus éxigeant
10. De-Peerer les AS qui ne se conforment plus à votre peering policy
11. Convertir progressivement tous les peerings publics en peerings privés.

43. Le métier d’architecte réseau > Ordres de grandeur
• Micro hébergeur: 10Mbps
• Petit hébergeur: 100Mbps
• OVH, plus gros hébergeur français : de l’ordre de 200Gbps
• YouTube: de l’ordre du Tbps – Dailymotion 60/80Gbps
• Skyrock blogs: 6/8Gbps (que du texte et de l’image !!!)
• Un petit ISP Français: 50Gbps
• Un gros ISP Français: Nx 100Gbps
• Un ISP Pro spécialisé dans le corporate: <10Gbps
• transitaire: >1Tbps de trafic peeré ! (LLNW >1Tbps en 2006)

44. Le métier d’architecte réseau > Les premières étapes de la vie d’un
réseau
L’achat de transit est la première étape pour connecter son réseau dans
Internet
 Un transitaire envoie toutes les routes de l’Internet à ses clients
 Facture au volume (ou au forfait)
Plus les enjeux sont gros, plus on contracte de transitaires (“ne pas mettre
tous ses oeuf dans le même panier”)
Pour bien choisir un transitaire, il faut:
 Avoir une parfaite connaissance de l’audience géographique de son réseau (stats de trafic web issus des logs des
serveurs web, par exemple)
 Connaître les réseaux des différents transitaires du marché (points forts, points faibles)
 Avoir une idée des tarifs pratiqués (prix au méga) en fonction du volume prévu
 Se renseigner sur la qualité du support de ce transitaire , sur sa réputation
 Être familier à la notion de Tier1, Tier2
Pour bien choisir ses candidats au peering il faut:
 Configurer du flow sampling (NetFlow_berk, Sflow, Jflow) sur les interfaces de bordures
 Monter un collecteur *Flow
 Monter un grapheur et grapher tous les ports bordure (SNMP sur IF-MIB + RRDs affichés par Cacti, MRTG, Cricket,
Drraw…)
 Lire les graphs tous les jours
 Lire les graphs tous les jours
 Lire les graphs tous les jours … (l’idéal est le matin avec la première tasse de café)
 Faire des revues de peering/capacity-planning

45. Le métier d’architecte réseau > Le métier de peering manager
Le peering entre 2 AS est issu d’un accord bilatéral, et n’est en général pas
facturé.
Tout ce qui passe par un peering ne passe pas par le transit:
 Baisse le volume de transit consommé
 baisse les coûts mensuels de bande passante
 Permet de voir l’AS peer en direct (moins de sauts)
 meilleure qualité.
 Tout peering est donc secouru soit par un autre peering, soit par du transit.
Certains AS ont un lot de conditions à remplir pour peerer:
 Nombre de PoPs en commun
 Volume minimum de trafic entre les 2 AS
 Ratio (un ratio trop déséquilibré est pénalisant).
Peerer c’est aussi engager son réseau sur la responsabilité de maintenir le
peering
 Up
 Correctement dimensionné (i.e. ne pas refuser les upgrades)
On distingue 2 types de peering:
 PPI (Public Peering Interconnect
 PNI (Private Network Interconnect)

46. Le métier d’architecte réseau > Le métier de peering manager
Les bonnes raisons de peerer:
 Renforcer la diversité/redondance des chemins vers un réseau en particulier
 Diminuer le nombre de sauts vers un AS en particulier
 et donc améliorer la qualité de service et la joignabilité
 réduire la latence vers les réseaux peerés
 Multiplier les routes disponibles, et donc rendre certaines destinations fault-tolerant.
LA mauvaise raison (ou plutôt la moins bonne raison)
 Économiser de l’argent en Transit !
Ne pas faire de budget de bande passante en tenant compte du volume de
peering.
 ‘settlement free mutual peering relationship’ : un peering n’est maintenu
que si l’intérêt est mutuel.
On choisit en général ses peers fonction de leur rôle et de leur typologie de
trafic (cf slide suivant).

47. Le métier d’architecte réseau > Typologies de traffic

48.  Conseils en vrac à l’ingénieur réseau en devenir
 Ressource sur BGP et le routage sur Internet
 Couteau suisse de l’ingénieur réseau
Outils & Conseils

49. Outils & conseils > Conseils en vrac à l’ingénieur réseau en devenir
• (Quand on parle de débit en réseau on parle de Mbps (Megabit/s), pas de MB (MegaByte/s))
• Internet est la seule industrie où l’expertise est publique: face a un problème donné, les alternatives sont limitées:
 L’IETF ou l’IEEE détient la réponse s’il s’agit d’un protocole standard
 Pour un détail opérationnel et/ou d’implémentation technique:
 Les sites des constructeurs (www.cisco.com) leur support, leur knowledge base
 Les mailing lists privées
 Google/wikipedia sont vos amis: vous n’êtes pas le premier homme à marcher sur la lune !
• Ne jamais pêcher par excès d’amour propre: la moindre boulette de configuration d’un équipement réseau qui route sur
Internet se voit directement par tout le monde dans les tables BGP (BGP = Voici Magazine ® de l’Internet) : rester humble.
• OSI n’est pas qu’un modèle abscons, c’est une méthodologie de troubleshooting ! (10H de troubleshooting plus tard, on
remplace un cable et ca marche…)
• Les paquets IP, les trames Ethernet ont une structure définie ! Lisez attentivement les dumps:
 En live en utilisant snoop, tcpdump et les options de filtres
 En sauvegardant en format libpcap puis en utilisant Ethereal/Wireshark
• Le routage IP est déterministe (en tout cas à chaque saut) , Traceroute, MTR et consors sont vos amis – les RIRs sont
publiquement accessibles.
• Dès la conception, envisagez le pire: ça vous évitera de le découvrir en prod. un dimanche en pleine nuit, ou ivre mort en
boîte de nuit...
• Si vous avez une politique rigoureuse de filtrage en entrée de votre réseau, que vous ne laissez parler vos machines que
pour les serives qu’elles sont censées rendre, que vous ne mettez pas de gateway aux machines qui n’ont pas besoin de
sortir, des firewalls ne vous seront d’aucune utilité.
Mais avant tout: DOCUMENTEZ votre travail au fil de
l’eau !!!

50. Outils & conseils > Conseils en vrac à l’ingénieur réseau en devenir
• Trop de monitoring tue le monitoring ! Faites bien attention a ne pas noyer des Alertes importantes dans
un flot d’Alertes qui ne seraient que des conséquences: la corrélation est un travail sans fin, mais il est vital.
• Ethernet est quasiment vendor-specific (désolé si je brise des rêves…): problèmes permanents
d’intéropérabilité Spanning Tree - pendant la phase de choix de vos équipements, pensez à vérifier en LAB
l’intéropérabilité entre vendeurs (ex: délais de bascule spanning tree).
• Layer 3 Switching, c’est bien, mais dès que vous pouvez router, faites le ! Evitez à tout prix de
forwarder des VLANs sur plusieurs sites distincts, Ethernet ne dispose que de peu de mécanismes de
troubleshooting, comparé à IP.
• ICMP n’est pas IP ! Il ne sert qu’à déterminer si une machine est vivante, pas à mesurer du packet loss:
sous SOLARIS, une réponse ICMP reply à un echo-request est “host xxx is alive”
• Apprenez à utiliser la commande show sur vos équipements, la plupart du temps tout est marqué, il suffit
de lire et de prendre du recul.
• Gardez les choses les plus simples possibles ! Votre employeur ne vous paye pas pour pondre des
solutions élégantes et/ou alambiquées, il vous paye pour que ça marche, 24/24 et avec le moins de
ressources possibles – sauf si vous travaillez chez FT R&D 
• L’ingénierie de réseau n’est pas une fin en soi, pensez services, pensez fonctionnel, développez votre
culture système pour avoir une idée des implications de votre travail sur celui des équipes d’ingénierie
système. (vous allez voir, les admin sys ne vous aiment pas, c’est un postulat de départ)
Ayez recours à MAN (ou <tab> ou <?> sur cisco) le plus
souvent possible !

51. Outils & conseils > Ressources BGP, routage, et internet
BIBLE ABSOLUE TCP/IP Illustrated, vol1. et vol2. (Richard Stevens)
Internet Routing Architectures (Sam Halabi – Cisco Press)
Routing TCP/IP (Jeff Doyle - Cisco Press)
CISCO BGP Case Study: http://www.cisco.com/warp/public/459/bgp-toc.html
Présentations de Phil Smith (Cisco):
ftp://ftp-eng.cisco.com/pfs/seminars
Sites institutions sur le NET:
Cymru: http://www.cymru.com
Caida: http://www.caida.org
Renesys: http://www.renesys.com - blog: http://www.renesys.com/blog
Annuaire des looking-glass: http://www.traceroute.org
Les mailing-lists de groupements d’opérateurs
 FrNOG : http://www.frnog.org (videos des conferences dispos sur le site / téléchargement slides)
 NANOG: http://www.nanog.org - pour les ressources: http://www.nanog.org/isp.html
 Plus généralement tous les XXnog pour toutes les zones géographiques du monde
 Réunions de ces groupes de discussion, on peut participer librement
Les mailing-list collartives dédiées à certains équipementiers:
Cisco: http://puck.nether.net/mailman/listinfo/cisco-nsp

Foundry: http://puck.nether.net/mailman/listinfo/foundry-nsp

Foundry (FR): http://lists.oav.net/wws/subscribe/fndry-fr

Juniper: http://puck.nether.net/mailman/listinfo/juniper-nsp

Les Channels IRC:
 Sur IRCNet en France:
#isp-fr , #frnog , #panap (point d’échange)
 Sur Efnet: #nanog, tous les autres $nog

52. Outils & conseils > couteau suisse de l’ingé réseau
• Internet Routing Registries:
www.arin.net - www.ripe.net - www.apnic.net - www.lacnic.net - www.afrinic.net
• RIPE RPSL documentation: www.ripe.net/db.docs.html
• /usr/bin/whois  binaire UNIX de lookup dans les RIR (man whois)
• Traceroute (/usr/bin/traceroute – man traceroute pour les options)
• mtr: http://www.bitwizard.nl/mtr/ = traceroute amélioré (apt-cache search / apt-get
install)
• tcpdump/snoop pour faire des captures (man tcpdump, man snoop)
Wireshark pour visualiser les captures libpcap:
http://www.wireshark.org/
• Langages de scripts divers:
 bash/zsh/sh
 Perl, python, php, ruby
 C,C++ pour les plus courrageux
• Lookup sur tranches OUI assignées par IEEE pour les adresses MAC:
http://standards.ieee.org/regauth/oui/index.shtml
• Firefox AS-Number plugin: http://www.asnumber.networx.ch/

53. Contact
Grégoire VILLAIN
CDN Solutions & Market Manager Europe
gregoire.villain@tatacommunications.com
www.tatacommunications.com
Merci ! Maintenant, les questions