Re merc ie me nts
Une agrable occasion se prsente, enfin nous, pour exprimer nos reconnaissances auprs de toutes les personnes, dont lintervention la ralisation de ce rapport. Nos sincres mots de remerciements vont lgard notre responsable de la formation qui veille au bon droulement des tudes dans des conditions favorables permettant une formation de haute qualit, et pour son accueil chaleureux et sa bonne humeur permanente. Notre deuxime remerciements iront pour les directives prcieuses et les conseils aviss quil nous a prodigus afin de Raliser ce stage. Nous aimerons leur adresser nos plus vifs remerciements pour tout leur dynamisme, leur tolrance, leur disponibilit, leurs comptences scientifiques et leurs exceptionnelles ides que nous apprcier tout au long de notre stage. Ce travail n'aurait jamais pu aboutir sans eux, qui ont toujours su nous consacrer des moments de leur temps, nous guider et nous conseiller et nous tmoigner leur soutien et leur confiance. Nous souhaitons leur transmettre l'expression de nous plus profonde et sincre gratitude. Nos remerciements sadressent aussi tous les professeurs du LPI -GSR ,nous tenons exprimer notre gratitude aux membres du Jurys pour avoir accept de juger notre travail.
R su m
La gestion dun systme dinformation est aujourdhui un continuel dfi, qui englobe un dploiement judicieux des logiciels et des applications travers le rseau administr, une surveillance permanente et une administration rigoureuse des composants de ce rseau. Ce dfi est relve grce de puissantes plateformes de supervision de rseaux. Lorsqu'il y a un nombre important d'ordinateurs dans une entreprise, cela devient trs difficile grer. C'est pourquoi il est utile d'utiliser un logiciel qui aide l'administrateur superviser tout son parc informatique. Alors notre projet de stage consiste donc superviser un rseau grce l'outil Netflow. Ce rapport rsumera les trois tapes de notre projet : Comprhension, installation, et dploiement de Netflow. Pour cela notre rapport est divis en quatre chapitres le premier consiste prsenter le contexte gnrale de notre stage. Le deuxime conc erne ltude et le critique du rseau CNRST, et la proposition dune solution compatible. Le troisime prsente la conception de la solution Netflow avec NfSen et la mise en place complte de la solution. Enfin, dans le dernier chapitre nous abordons le teste de Netflow.
T ab le de mat ire
Tables des figures .............................................................................................................................. 6 Introduction Gnrale ...................................................................................................................... 7 Chapitre 1: Contexte gnrale du stage................................................................................................ 8 1. Prsentation de lentreprise ..........................................................................................................9 1.1 Missions ..............................................................................................................................9 1.2 Administration .....................................................................................................................9 1.3 La coopration scientifique et technique .............................................................................10 1.4 Dpartements .....................................................................................................................10 1.5 Division MARWAN .....................................................................................................11 1.6 Organisation du CNRST ....................................................................................................13 2. Les objectifs du stage ................................................................................................................14 3. Planning ....................................................................................................................................14 Chapitre 2: tude du rseau et recherche des solutions ................................................................ 15 1. Architecture du rseau CNRST..................................................................................................16 2. Problmatiques ..........................................................................................................................16 3. Proposition de solution ..............................................................................................................17 3.1 Dfinition de la supervision dun rseau : ...........................................................................17 3.2 La raison dutiliser un outil de supervision .........................................................................18 Chapitre 3: Droulement de projet ................................................................................................ 19 1. Collecte des donnes avec netflow .............................................................................................20 1.1 Mise en uvre ...................................................................................................................25 1.2 Conclusion .........................................................................................................................27 2. Stockage et traitement des donnes avec NFDump.....................................................................27 1.3 Traitement des captures Netflow par NFDUMP..................................................................29 1.4 Conclusion .........................................................................................................................30 3. Prsentation graphique avec NfSen ............................................................................................31 3.1 Prparation de linstallation de Nfsen .................................................................................31 3.2 Installation et configuration ................................................................................................32 3.3 Prsentation de linterface graphique NfSen .......................................................................35 4. Conclusion ................................................................................................................................45 Chapitre 4: Test de la solution........................................................................................................ 46 1. Utilisation de NfSen dans le rseau ............................................................................................47 2. Conclusion ................................................................................................................................51 Conclusion gnrale ........................................................................................................................ 52 Bilan du projet ................................................................................................................................ 53 Sitographie ...................................................................................................................................... 54 Mise en place une solution NetFlow avec le Collecteur NfSen 5
Actuellement aucune entreprise ne peut pas se passer d'outils informatiques, et trs souvent un rseau informatique de taille plus ou moins importante est mis en uvre. Le nombre des machines dans ces rseaux peut parfois devenir extrmement lev, La maintenance ainsi que la gestion de ces parcs informatiques deviennent alors des enjeux cruciaux, d'autant plus qu'une panne du rseau peut parfois avoir des consquences catastrophiques. C'est pourquoi les administrateurs rseau font appel des logiciels de surveillance et de supervision de rseaux. Ces logiciels vrifient l'tat du rseau ainsi que des machines connectes et permettent l'administrateur d'avoir une vue d'ensemble en temps rel de l'ensemble du parc informatique sous sa responsabilit. Il peut tre aussi inform par email en cas de problme. Grce un tel systme, les dlais d'interventions sont fortement rduits. Le CNRST, comme la majorit des entreprises ou des administrations aujourdhui, sappuie sur un grand rseau informatique. Or il difficile pour les administrateurs davoir des informations en temps rel sur lactivit de leur rseau. Cest donc dans ce contexte que Monsieur Redouane MERROUCH chef de la division technologies, informations et de communications du CNRST nous a propos Netflow comme sujet de stage dapplication au sein du CNRST. Aprs une brve description du rseau de CNRST, nous reviendrons sur cette problmatique puis nous prsenterons le droulement du projet avec ces trois phases : collecte des donnes, stockage des donnes et interface de prsentation. Enfin nous aborderons un test sur le fonctionnement de cette solution.
C ontext e gnra le d u st a ge
Dans ce chapitre nous prsentons le centre national de recherche scientifique et technique, lorganisme daccueil, ainsi le contexte gnral et les principaux objectifs du stage. Et enfin, il prsent un planning prvisionnel du droulement du stage.
1. Prsentation de lentreprise
Le Centre National pour la Recherche Scientifique et Technique est un tablissement public dot de la personnalit morale et de l'autonomie financire. Il a t cr par Dahir (Dcret Royal) du 5 aot 1976 et a dmarr ses activits en 1981. Il est actuellement plac sous la tutelle administrative du Ministre de l'Enseignement Suprieur, de la Formation des Cadres et de la Recherche Scientifique. 1.1 Missions Les missions du CNRST sont en relation troite avec les nouvelles orientations qui lui sont confies. Il sera notamment charg : de mettre en uvre des programmes de recherche et de dveloppement technologique dans le cadre des choix et priorits fixs par l'autorit gouvernementale de tutelle ; de contribuer la diffusion de l'information scientifique et technique, et la publication de travaux de recherche et d'assurer des travaux de veille technologique ; d'apporter son concours au renforcement de l'infrastructure national de recherche ; d'effectuer des prestations de services au profit des oprateurs de recherche et de contribuer la valorisation et au transfert des rsultats de recherche ; d'tablir des conventions ou contrats d'association, dans le cadre des activits de recherche ou des services, avec les tablissements et organismes de recherche publics ou privs ; de crer des synergies entre les diffrentes quipes de recherche qui travaillent sur des thmatiques prioritaires (rseaux, ples de comptence) ; de procder l'valuation et d'assurer le suivi de toutes les activits de recherche ou de services dans lesquelles il est impliqu. 1.2 Administration Le Centre National pour la Recherche Scientifique et Technique comprend, outre le Conseil d'administration et le Directeur mentionns l'article 5 de la loi du CNRST n 80-00, une administration centrale et des units de recherche propres et associes. L'administration centrale comporte : Le Conseil scientifique ; Les Comits scientifiques ; Le Dpartement des Affaires scientifiques et techniques ;
Mise en place une solution NetFlow avec le Collecteur NfSen 9
Le Dpartement des Affaires gnrales et de la Coopration. Le Conseil scientifique, prsid par le Directeur du Centre, est plac sous l'autorit directe du Conseil d'administration. Il est, conformment aux dispositions de l'article 10 de la loi prcite, charg des questions scientifiques relatives aux activits du Centre. 1.3 La coopration scientifique et technique Le CNRST travaille en partenariat avec plusieurs autres organismes scientifiques et techniques trangers savoir : CNRS : Centre National de Recherche Scientifique franais ; DFG : organisme allemand de promotion de la recherche ; CNRI : Conseil National de Recherche italien ; CSIC : Conseil Suprieur de la Recherche Scientifique espagnol ; INSERM : Institut National de la Sant et de Recherche Mdicale franais ; ICCTI : Institut de Coopration Scientifique et Technologique International portugais. Le bnfice de ses accords de coopration est ouvert l'ensemble de la communaut scientifique marocaine. Des appels projets sont rgulirement publis dans la lettre d'information du Centre. 1.4 Dpartements Le Dpartement des Affaires scientifiques et techniques a pour mission principale de coordonner les activits de recherche et d'assister le Directeur en matire de gestion et d'excution des dcisions du Conseil d'administration. Le Dpartement des Affaires scientifiques et techniques comporte plusieurs divisions et services : La Division du Rseau Informatique Universitaire et de Recherche (MARWAN) ; La Division de l'Institut Marocain de l'Information Scientifique et Technique (IMIST) ; La Division des Units d'Appui Techniques la Recherche Scientifique (UATRS) ; La Division de l'Institut National de Gophysique ; La Division des Affaires administratives et de Coopration ; La Division de Gestion et Finances (D.G.F).
10
1.5 Division MARWAN Moroccan Academic and Research Wide Area Network, plus connu sous l'acronyme de MARWAN est le rseau informatique national but non lucratif, ddi l'ducation, la formation et la recherche. Il a pour objectif de mettre en place une infrastructure
d'information et de communication entre les tablissements de formation et d'enseignement. Depuis sa cration en 1998, MARWAN a permis aux universits marocaines de dvelopper de nouveaux services en matire d'enseignement, de transfert de technologie et de recherche scientifique. Dans le cadre du lancement du programme d'urgence de l'ducation national pour la priode 2009-2012, le Centre National pour la Recherche Scientifique et Technique (CNRST) lance une nouvelle version du rseau MARWAN. Le CNRST s'appuie sur l'volution des technologies de communication l'chelle internationale pour amliorer la qualit, le service et l'architecture du rseau de MARWAN afin qu'il rponde aux standards internationaux et aux exigences lies la modernisation de l'Universit marocaine. Pour cela, le CNRST a sollicit les oprateurs nationaux de tlcommunication pour proposer une nouvelle version du rseau MARWAN qui intgre les volutions techniques de ces dernires annes. L'offre de l'oprateur Mditel a t retenue en commun accord avec les universits. Dans sa nouvelle topologie, MARWAN 3 offre aux tablissements et universits un choix de dbits entre 2 et 100 Mbps. Sa connexion avec le rseau GEANT est rserve uniquement au trafic acadmique. Tout le trafic internet commercial est vhicul par un autre lien Internet partir du cur du rseau fourni par Mditel. Dans sa nouvelle version, MARWAN facilitera la ralisation des actions programmes par les universits dans leurs projets d'tablissement et fournira l'infrastructure rseau aux projets lancs par le ministre en collaboration avec les universits et le CNRST savoir : Application pour l'Organisation et la Gestion des Etudiants et des Enseignements; Environnement Numrique de Travail ; Campus Virtuel Marocain ; Grille de Calcul National ; Institut Marocain de l'Information Scientifique et Technique ; Systme d'Information Global ; Systme de Visioconfrence.
11
12
Figure 2: Organigramme
13
Premirement il faut tudier le fonctionnement du systme dinformations utilis dans CNRST, et mettre des critiques ou des propositions damlioration reprer dventuels besoins. Ensuite dresser la conception de la solution propose, et la mettre en place le systme conu.
3. Planning
14
t u d e d u r se a u et r e c her c he d e s so lut io ns
Lorsquil est question de choisir une solution de gestion de linfrastructure physique de rseaux informatiques, il est impratif de se pencher sur la gestion de rseaux afin davoir une bonne visibilit sur toutes les composantes assurant un fonctionnement fiable de linfrastructure physique et logique de rseau critique. Les solutions de gestion dlments constituent l'approche idale.
15
2. Problmatiques
Les meilleurs dispositifs de scurit ne peuvent pas protger de faon optimale un rseau sils ne sont pas correctement superviss. Ainsi, la scurit dun rseau repose dune part sur larchitecture et son adquation aux besoins des composants qui le constituent, mais aussi sur ladministration et la supervision. Aussi toute panne ou incident peut entrainer de lourdes consquences sur le systme d'information: Financires ; Organisationnelles ; Crdibilit.
Et dans le cas dun rseau complexe, il est impossible de faire une surveillance manuelle. Le Centre National pour la Recherche Scientifique et Technique a un besoin dtre proactif face aux incidents qui se produisent ou peuvent se produire.
Mettre en place une solution NetFlow avec le collecteur NfSen
16
Ceci dit que les administrateurs du rseau CNRST a besoin de : Connatre les usages et les applications du rseau ; Mesurer lefficacit du rseau et des ressources ; Dtecter les incidents, les anomalies et les vulnrabilits ; Intervenir dans lurgence en cas de problme ; Anticiper lvolution du rseau, apprhender l'impact de changements ; Planifier lintroduction de nouvelles applications ; Amliorer les performances pour les utilisateurs ;
3. Proposition de solution
Le CNRST dveloppe une multitude d'applications lies l'volution croissante du rseau informatique, quil administre. Ces diffrentes applications font l'objet des projets proposs aux stagiaires. Le projet qui nous a t confi concerne la mtrologie en temps rel sur le rseau Ethernet. Lobjectif de ce projet consiste la mise en uvre d'une solution permettant le suivi du rseau par la visualisation des informations sur l'occupation du rseau en temps rel. Cette application comporte trois parties : Collecte des informations transitant par le routeur du CNRST ; Stockage de celles-ci dans un collecteur ; Analyse statistique et affichage en temps rel travers une interface graphique. 3.1 Dfinition de la supervision dun rseau : D'un point de vue gnral, la supervision est une fonction dont l'objectif est la
surveillance du bon fonctionnement d'un systme ou d'une activit. En informatique, la supervision fait partie de l'un des cinq domaines fonctionnels de l'administration des rseaux et des systmes. La supervision est un moyen indispensable et incontournable pour qui veut prtendre remplir correctement les objectifs qui sont affects l'administration du rseau et des systmes met en uvre un ensemble de moyens pour : Offrir aux utilisateurs un service de qualit ; Permettre l'volution du systme en incluant des nouvelles fonctionnalits ; Optimiser les performances des services pour les utilisateurs ;
17
Les fonctions d'administration doivent comprendre : L'extraction des informations des lments du rseau au moyen d'outil. C'est la rcolte ou collecte d'un grand nombre d'information ; La rduction du volume d'information au moyen de filtres de faon ne garder qu'une slection d'informations significatives ; Le stockage des informations retenues ; Des traitements sur ces informations ; Des interfaces utilisateur et d'administration sur ces informations.
la supervision fournit les informations et indicateurs ncessaires au pilotage du systme d'information de l'entreprise. Les services offerts par une solution de supervision: Surveiller le systme dinformation ; Visualiser larchitecture du systme ; Dclencher des alertes en cas de problmes ; Effectuer des actions en fonction des alertes. 3.2 La raison d utiliser un outil de supervision La supervision vise faire remonter les informations caches du systme d'information telles que le taux d'occupation des serveurs, la congestion du rseau ou la disponibilit des applications distantes. Ces donnes s'accompagnent souvent d'une dmarche de garantie. La supervision est alors au service d'une gestion globale des performances. La supervision fournit galement la direction informatique en indicateurs objectifs, remontant les donnes qualitatives ou quantitatives relatives la gestion des ressources informatiques. Ces donnes permettent galement de mesurer les effets de l'application de nouvelles mesures comme le changement d'un logiciel, la priorisation de flux IP ou l'optimisation de code. Enfin, dans le cadre de contrats de prestation de services, la supervision s'avre indispensable pour mesurer l'efficacit du prestataire et remonter d'ventuels problmes.
18
D r o u le me nt d e p r o jet
La rcupration des donnes transitant par le routeur du CNRST est ralise grce NetFlow. Les donnes ainsi collectes sont ensuite envoyes un collecteur. Par intervalle de temps dtermin, les donnes sont charges dans le collecteur sont traites en vue d'obtenir les informations relatives cette priode de temps. Ces informations sont ensuite affiches dans une page Web.
19
Durant la phase de dveloppement, pour ne pas perturber le fonctionnement normal du rseau CNRST, nous avons test les diverses solutions sur un sous rseau.
20
Grce sa flexibilit et son volutivit, NetFlow, permet l'optimisation de l'infrastructure rseau, la rduction des cots oprationnels, lamlioration de la capacit de planification et la dtection d'incidents de scurit. Cest une t echnologie cre par Cisco, il est devenue pour de nombreux clients le standard de fait pour collecter des donnes IP oprationnelles. Ceci permet de: Connatre lutilisation du rseau par les applications ; Comprendre qui utilise le rseau, quand et o ; Mesurer lefficacit du rseau et lutilisation des ressources; Apprhender l'impact des changements au rseau ; Dtecter les anomalies et les vulnrabilits de scurit de rseau ; Auditer la conformit et les processus business.
La technologie Netflow peut tre utilise dans une grande varit dapplications. Les utilisations principales sont : Surveillance en temps rel du rseau ; Profilage applicatif et utilisateur ; capacit de planification ; Dtection et classification d'incidents de scurit ; comptabilit et facturation ; Rsolution des problmes. Netflow a la capacit de caractriser le trafic IP en identifiant pour chaque flux la source, la destination, l'heure, la dure, la performance, et permettre aussi la rsolution des problmes. La surveillance des flux IP permet ainsi dassurer ladquation de lutilisation des ressources avec les objectifs business de lentreprise. Ceci permet par exemple loptimisation de l'utilisation des ressources, la capacit de planification, lapplication dune politique de Qualit de Service (QoS) ou lamlioration de la scurit rseau en dtectant les attaques de type Dni de Service (DOS).
21
Description
Analyse des nouvelles applications et de leur Identifier la charge rseau de nouvelles impact sur le rseau applications telle que la VoIP, ou lajout de sites distants dans une application clientserveur. Rduction des pics de trafic WAN Utilisation des statistiques de NetFlow pour mesurer le trafic WAN et comprendre qui utilise le rseau (top talkers/top applications). Dtection du trafic WAN non autoris viter les mises jour coteuses de bande passante en identifiant les applications
responsables de la congestion. Dtection danomalies et dvnements de NetFlow peut tre employ pour la dtection scurit d'anomalies, le diagnostic de problmes de scurit (DoS, Worm) Validation des paramtres de QoS Confirmer le bon dimensionnement des
Le concept de flow est utilis par Cisco pour optimiser, au sein de ses quipements de routage, le traitement des flux de donnes. En effet, l'change entre deux machines est gnralement constitu de plusieurs trames de donnes, et le calcul effectu pour le premier paquet doit pouvoir tre rutilis pour les paquets suivants, afin de minimiser les temps de calcul du routeur. Un systme de cache est donc mis en uvre, afin de mmoriser la route calcule. Les routeurs Cisco offrent la possibilit d'exporter le contenu de ce cache, sous forme de datagrammes UDP. En effet, dans le routage dit classique , lorsquun paquet entre dans le routeur, celui-ci doit le remonter jusqu sa CPU et consulter sa table de routage qui lui indique vers quelle interface rediriger le paquet et il fait cette manipulation pour tous les paquets.
22
Par contre, dans le routage dit acclrer , lorsquun paquet entre dans le routeur, celui -ci consulte son cache Netflow pour savoir si le paquet nappartient pas un flux existant. Si ce nest pas le cas, le paquet suit la mme procdure que dans le routage classique et le routeur cre dans son cache Netflow une entre pour le flux quil vient de dtecter. Cette entre indique quel chemin doit emprunter tous les paquets appartenant ce flux. Paralllement, il programme de faon hardware lachem inement hardware de ce flux entre les deux interfaces.
23
Dans le cas o le paquet appartient un flux existant, celui-ci ne remonte pas jusqu la CPU mais prend le chemin hardware qui a t programm prcdemment et est achemin directement vers la bonne interface.
Pour rcolter les informations sur les flux en cours, il suffit donc denvoyer le contenu du cache Netflow une machine de collecte sous la forme des paquets Netflow. Cependant, lenvoi de ces paquets ne se fait que lorsquun flux est termin, ce qui pe ut poser problme par exemple dans le cas de protocoles non orients connexion comme UDP qui ne signale pas quand une communication est termine. Il existe donc diffrentes manires de grer le cache : Terminaison dun flux aprs une priode dinactivit ( dfinir), utile pour les flux UDP ; Terminaison dun flux aprs une priode dactivit ( dfinir), utile pour les longues connexions TCP. Ces deux options sont trs utiles dans le cas o on souhaite faire de la mtrologie en temps rel .
24
1.1 Mise en uvre Le routeur utilis pour ces tests est un routeur cisco 2800 .Cest un routeur combinent les communications voix, donnes, vido et les services sans fil dans un seul appareil parfaitement scuris et fiable et offrent une modularit qui permettre d'ajouter de nouveaux quipements pour s'adapter l'volution de notre besoins Il a t configur de la manire suivante : La premire tape consiste mettre en uvre le collecteur de flow
$ telnet 192.168.5.100 Username: cisco Password: Router1>enable Password: Enter the enable password... Configure FastEthernet0/0 to generate Netflow: NetflowCNRST# configure terminal NetflowCNRST(config)# ip flow-export source fastethernet 0/0 NetflowCNRST(config)# ip flow-export destination 192.168.5.101 9999 NetflowCNRST(config)# ip flow-export version 5 NetflowCNRST(config)# ip flow-cache timeout active 5 NetflowCNRST(config)# snmp-server ifindex persist NetflowCNRST(config)#ip flow-top-talkers NetflowCNRST(config-flow-top-talkers)#top 20 NetflowCNRST(config-flow-top-talkers)#sort-by bytes NetflowCNRST(config-flow-top-talkers)#exit
25
NetflowCNRST(config)# interface FastEthernet 0/0 NetflowCNRST(config-if)# ip flow ingress NetflowCNRST(config-if)# ip flow egress NetflowCNRST(config-if)# exit NetflowCNRST#wr mem NetflowCNRST#exit
Netflow#show ip flow top-talkers SrcIf SrcIPaddress DstIf DstIPaddress Fa0/0 0.0.0.0 Null 255.255.255.255 Fa0/0 192.168.5.7 Null 192.168.5.255 Fa0/0 192.168.5.6 Null 192.168.5.255 Fa0/0 192.168.5.7 Local 192.168.5.100 Fa0/0 192.168.5.6 Null 199.47.218.149 5 of 20 top talkers shown. 5 flows processed.
La commande show ip flow top -talkers permet danalyser en fo nction des plusieurs critres, la volumtrie des donnes
Interface source & destination ; IP source & destination ; Type de protocole (IP) ; Port source & destination ; Le volume de donnes.
Netflow#show ip flow export Flow export v5 is enabled for main cache Exporting flows to 192.168.14.242 (9999) 192.168.5.101 (9999) Exporting using source IP address 192.168.5.100 Version 5 flow records 2643 flows exported in 323 udp datagrams 0 flows failed due to lack of export packet 2 export packets were sent up to process level 0 export packets were dropped due to no fib 0 export packets were dropped due to adjacency issues 0 export packets were dropped due to fragmentation failures 0 export packets were dropped due to encapsulation fixup failures
La commende show ip flow export permet de consulter diffrents paramtres faisant rfrence lmission des informations Netflow destination du serveur de collecte. Les paramtres sont :
La version utilise ; Ladresse du serveur et le port dcoute ; Un ensemble de statistiques sur ltat et lutilisation de protocole .
26
Voir sur quelle interface et applique la collecte et dans quel sens sont collectes les donnes dans notre cas, les deux. 1.2 Conclusion Les paquets Netflow est envoys notre machine collectrice 192.168.5.101. Afin de pouvoir stoker et visualiser le rsultat de notre collecte de flux, nous procdons installer NFDump sur cette machine, car NFDump est une bonne solution, open source, simple a mettre en place, et permettant un paramtrage adapt beaucoup de situations.
27
sont organises en fonction du temps. Toutes les n minutes - gnralement cinq minutes nfcapd tourne et renomme le fichier, par exemple, nfcapd.201206081140. L'analyse des donnes peut se faire pour un seul fichier, ou par la concatnation de plusieurs fichiers. La sortie est soit du texte ASCII ou des donnes binaires.
-l /Netflow : rpertoire de stockage des donnes reues sous forme de fichier nfcapd. -p en coute sur le port 9999. Cette commande pour lire et stocker les donnes provenant du rseau Netflow dans des fichiers situs dans un rpertoire quon a dj cr.
ubuntu@collector:~$ ls Netflow/ nfcapd.201206081051 nfcapd.201206081135 nfcapd.201206081055 nfcapd.201206081140 nfcapd.201206081100 nfcapd.201206081145 nfcapd.201206081105 nfcapd.201206081150 nfcapd.201206081110 nfcapd.201206081155 nfcapd.201206081115 nfcapd.201206081200 nfcapd.201206081120 nfcapd.201206081205 nfcapd.201206081125 nfcapd.201206081210 nfcapd.201206081130 nfcapd.201206081215 nfcapd.201206081220 nfcapd.201206081225 nfcapd.201206081230 nfcapd.201206081235 nfcapd.201206081240 nfcapd.201206081245 nfcapd.201206081250 nfcapd.201206081255
28
NFDump Traitement des enregistrements de flux : Rcupre les enregistrements des flux stocks par nfcapd pour effectuer des mesures/statistiques. nfprofile Cration de profils de mesures : Lire les donnes Netflow partir des fichiers stocks par nfcapd. Filtres les donnes Netflow selon les ensembles spcifis de filtre (profils) et stocke les donnes filtres dans des fichiers pour une utilisation ultrieure. nfreplay Rejoue denregistrements de flux : Export des enregistrements de flux stocks par nfca pd vers dautres collecteurs. 1.3 Traitement des captures Netflow par NFDUMP Les flux transforms peuvent tre imprims en format ASCII sur la sortie standard ou crit dans un fichier. Le fichier binaire peut tre relu par NFDump pour un traitement ultrieur.
NFDump a quatre formats de sortie fixes qu'on peut dterminer avec loption -o : Le format de sortie raw qui affiche la totalit des informations contenues dans un enregistrement de flux pour chaque flux sous forme de colonnes. C'est la vue la plus dtaille sur un flux ; Le format de sortie line, c est le format de sortie par dfaut. Il affiche les informations sur les dtails de connexion, ainsi que le nombre de paquets, doctets et des flux ; Le format de sortie long, identique au format line , et contient des informations supplmentaires telles que les indicateurs TCP et type de service ;
29
Le format de sortie extended, format tendu ajoutant les informations pps (packet per second), bps (bytes per packet).
1.4 Conclusion Aprs lanalyse et le stockage des paquets Netflow envoy par le routeur par le collecteur avec loutil NFDump, nous avons constat quil est difficile dinterprter les donnes facilement, et quil faut utiliser des diffrentes commandes pour un affichage spcifique des rsultats danalyse. Cest donc dans ce contexte que notre encadrant nous a demand de mettre en place la solution NfSen, qui permet d'ajouter a l'analyseur NFDump (qui est en mode console) une interface graphique pour retranscription des statistiques Netflow.
30
outils open source, pour la sauvegarde de donnes cycliques et le trac de graphiques, de donnes chronologiques. Cet outil a t cr pour superviser des donnes serveur, telles la bande passante et la temprature d'un processeur. Le principal avantage d'une base RRD est sa taille fixe. RRDTool inclut galement un outil permettant de reprsenter graphiquement les donnes contenues dans la base. Un serveur Web supportant le PHP : on a utilis Apache quest un simple logiciel libre fourni sous la licence spcifique Apache, capable d'interprter les requtes HTTP arrivant sur le port associ au protocole http. Les outils NFDump: sont les outils d'arrire-plan pour NfSen et permettra de recueillir et de traiter les donnes NetFlowet quelques librairies. 3.2 Installation et configuration NfSen a une structure de rpertoires trs flexible. Il contient un fichier de configuration par dfaut, qui ncessite quelque modification pour fonctionner.la figure cidessous montre la configuration par dfaut. Toutes les donnes NetFlow est stock sous PROFILEDATADIR. Donc, il faut un espace disque suffisant pour ce rpertoire. Le fichier de configuration par dfaut est nfsen.conf. Les graphiques eux-mmes sont stocks dans un rpertoire profiles -stat.
3. Configuration de NfSen (connect en tant qu'utilisateur root) : Pour configurer NfSen il faut Modifier le fichier de configuration nfsen.conf. Dfinition de la variable $BASEDIR
$BASEDIR="/var/nfsen";
Dfinition correcte des utilisateurs afin qu'Apache puisse accder aux fichiers :
$WWWUSER = 'www-data'; $WWWGROUP = 'www-data'
Spcification dun tampon de petite taille, de faon ce que les donnes soient rapidement visibles.
$BUFFLEN = 2000;
Et dautre modification :
$BASEDIR = "/var/nfsen"; $BINDIR="${BASEDIR}/bin"; $LIBEXECDIR="${BASEDIR}/libexec"; $CONFDIR="${BASEDIR}/etc"; $HTMLDIR = "/var/www/nfsen/"; $DOCDIR="${HTMLDIR}/doc"; $VARDIR="${BASEDIR}/var"; $PROFILESTATDIR="${BASEDIR}/profiles-stat"; $PROFILEDATADIR="${BASEDIR}/profiles-data"; $BACKEND_PLUGINDIR="${BASEDIR}/plugins"; $FRONTEND_PLUGINDIR="${HTMLDIR}/plugins";
33
$PREFIX = '/usr/bin'; $USER = "netflow"; $WWWUSER = "www-data"; $WWWGROUP = "www-data"; $BUFFLEN = 2000; $SUBDIRLAYOUT = 1; $ZIPcollected = 1; $ZIPprofiles = 1; $PROFILERS = 2; $DISKLIMIT = 98; $PROFILERS = 6; %sources = ( 'netflow' => { 'port' => '9999', 'col' => '#A52A2A', 'type' => 'netflow' }, ); $low_water = 90; $syslog_facility = 'local3'; @plugins = ( # profile # module # [ '*', 'demoplugin' ], ['live', 'PorTracker'], ); %PluginConf = ( # For plugin demoplugin demoplugin => { # scalar param2 => 42, # hash param1 => { 'key' => 'value' }, }, # for plugin otherplugin otherplugin => [ # array 'mary had a little lamb' ], ); $MAIL_FROM = mr.elarib@gmail.com ; $SMTP_SERVER = 'localhost'; $MAIL_BODY = q{ Alert '@alert@' triggered at timeslot @timeslot@ }; 1;
4. Cration de l'utilisateur NetFlow sur le systme # useradd -d /var/netflow -G www-data -m -s /bin/false netflow 5. Initialisation de NfSen a chaque modification de nfsen.conf, et il faut sassurer que nous sommes au bon emplacement :
# cd /usr/local/src/nfsen-1.3.5
7. Dmarrage de NfSen
/var/nfsen/bin./nfsen start
34
NfSen dispose de deux interfaces utilisateur diffrentes : Interface Web ; Interface de ligne de commande.
8. Visualisations des flux sur le Web Il faut installer php5 sur notre collecteur afin de pouvoir visualiser les paquets collects en mode graphique.
# apt-get install php5
On peut accder linterface graphique de NfSen par lutilisation d un navigateur par exemple Mozilla firefox, et entrer comme url :
http://192.168.14.244/nfsen/nfsen.php
35
La barre de navigation permet de slectionner les points de vue diffrents. La vue par dfaut est Home, lorsquon pointe sur le navigateur pour nfsen.php.Il donne un aperu du profil slectionn. Par dfaut, c'est le profil en direct. Si le mode actuellement slectionn est un profil, la page est automatiquement rafrachie toutes les cinq minutes pour mettre jour les graphes. Cela permet d'avoir une fentre de navigateur sur l cran, avec toujours jour des graphes. L'onglet Graphs ajoute une barre de sous navigateur, Flows, Packets, et Bytes. En cliquant sur un des graphes dans les deux sens, on sera automatiquement pass la vue Details .
36
La page est divise en deux parties: La partie suprieure permet de naviguer travers les donnes NetFlow, ainsi que la slection d'un intervalle de temps unique. La partie infrieure contient toutes les commandes pour traiter les donnes netflow de l'intervalle du temps slectionn.
En pouvant basculer d'avant en arrire et slectionnez le protocole et / ou de type pour le graphe principal, qui est appropri pour analyser la situation actuelle. Le plus grand graphe principal est automatiquement divis aux protocoles TCP, UDP, ICMP et d autres protocoles. Le laps de temps disponible du graphe peut tre chang en utilisant le menu droulant.
37
Chaque graphe se compose de plusieurs tranches horaires. Quand en entrant dans la vue Details lchelle de la fentre est slectionne afin de voir les dernires 24 heures du profil. Le curseur de temps est plac au milieu de dbut et de fin de ces 24 heures, et l'horaire de fentre est dfini sur un crneau horaire. Le crneau horaire choisi est toujours dans le titre de la fentre du navigateur, dans le titre du graphe principal ainsi qu'au-dessus des diagrammes Il y a plusieurs faons de changer le crneau horaire actuel. En cliquant sur le graphique, cela permet immdiatement de dplac le curseur la position slectionne; En glissent la poigne du curseur sur le graphe.
La tranche de temps actuelle slectionne est automatiquement mise jour en t dbuts et de tfin sur le ct droit de la courbe. En relchent la poigne, le curseur s'aligne automatiquement sur la fente la plus proche du temps et les valeurs dans le tableau des statistiques sont mises jour en consquence. Slection d'un intervalle de temps en utilisant les boutons graphiques:
38
> Intervalle de temps suivant: le temps avance de cinq minutes. < Intervalle de temps prcdent: Retour cinq minutes. >> Faire avancer tranche de temps par un intervalle de temps complet de la courbe. << Retour par un laps de temps plein du graphique. > | Aller la fin du profil. (Tranche de temps actuelle) | Curseur de temps dans le graphique actuel Centre. Placez le curseur au sommet, a trouv dans les + / - 1 heure de vie de la position ^ actuelle du curseur.
Les graphes sont immdiatement mis jour, lorsque en choisissant un intervalle de temps diffrent. Cependant, il ya des limites pour dplacer le curseur, en ne prouvent pas dplacer le curseur en dehors d'un intervalle de temps ou les donnes sont expir. Cette limite est marque par la zone gris fonc sur le ct gauche du graphique.
Parfois, il est souhaitable de choisir et de traiter plus d'un crneau horaire unique de cinq min, donc il faut slectionner Time Window.
Cela a pour effet la division de la poigne curseur en deux moitis, qui peuvent tre glisss individuellement en fonction des besoins.
Mise en place une solution NetFlow avec le collecteur NfSen
39
slectionner Single
Timeslot dans le menu. Le rsum statistique donne un aperu sur les flux, paquets et le trafic de l'intervalle de temps slectionn. Chaque ligne correspond une source netflow configur. Pour faciliter la visualisation, chaque ligne est spcifie correspond la mme couleur qui se trouve dans le graphe. Le rsum statistique peut tre commut entr e la somme totale de lintervalle de temps slectionn, ou les valeurs de taux par seconde. Les colonnes individuelles peuvent tre rduites ou dpens au besoin, en cliquant sur les triangles bleus. Les statistiques peuvent tre affiches ou masques en cliquant sur le triangle jaune. par un couleur qui
40
Un graphe peut tre affich avec des options diffrentes : Linaire axe y Logarithmique axe y.
Type de graphique: Stacked: Toutes les sources sont tires sur le dessus les uns des autres. Ligne: Toutes les sources sont tires indpendamment. Le changement de l'option d'affichage est ralis en cliquant sur les boutons radio appropris dans le coin infrieur droit du graphe principal. On peut reprer plus facilement les pics de quelques-unes des sources en optant pour l'option d'affichage graphique linaire.
41
Aprs la slectionnent da la fentre de temps dsirer, on peut traiter et filtrer les donnes nettlow selon les besoins, en utilisant le formulaire processus dans la partie infrieure de la fentre
Slectionner les sources NetFlow traiter. Entrer un filtre NetFlow. La syntaxe est conforme la syntaxe NFDump filtre. Slectionner les options pour l'analyse. Cliquer sur le processus. Il y a la possibilit de spcifier un filtre en utilisent des expressions. Le filtre peut
s'tendre sur plusieurs lignes. Tout ce qui suit un '#' est considr comme un commentaire et ignor la fin de la ligne. Il n'y a pratiquement pas de limite de longueur de l'expression de filtre. Un filtre souvent utilis peut tre enregistr et utilis tout moment plus tard, lors du traitement de flux. Le filtre personnalis est enregistr on cliquant sur le symbole de disquette. Aprs avoir russi la sauvegarde, le filtre est disponible dans la bote de slection.
42
Lors du traitement des donnes NetFlow, il ya deux options gnrales, lister les flux et la cration dune statistique de flux. On peut basculer entre les deux options en cliquant sur le bouton appropri et choisir les options qui convient aux filtres. Crer un profil Un profil est une vue spcifique sur les donnes NetFlow, dfini par son nom, son type et un ou plusieurs filtres, qui sont des filtres valides accepts par NFDump. Le profil est toujours disponible et est utilis pour stocker nos donnes NetFlow entrants sans filtrage. On peut choisir n'importe quel profil en utilisant le menu droulant dans le coin suprieur droit de la page Web. Nfsen permet de dfinir des profiles, c'est--dire de crer des filtres et dafficher des graphiques selon une ou plusieurs caractristiques. Par exemple on peut choisir de reprsenter graphiquement que les flux dun port particulier. Le profil live reprsente tous les flux, sans filtrage.
Mise en place une solution NetFlow avec le collecteur NfSen
43
A partir dun profile particulier ou du profile live, il est possible de dfinir des alarmes, gnralement base sur des seuils. Ds quune condition est a tteinte, une alarme est leve. Les conditions peuvent tre dfinies partir de lobservation des flux dans leur totalit, partir dune caractristique mesure par Nfsen (nombre de paquets) ou partir de donnes renvoyes par un plug-in. NFSen est modulaire, il est possible dy ajouter des plug-ins qui ralisent des calculs partir des flux. Dautres plug -ins permettent dexcuter une action (excution de script, journalisation dans une base de donnes de lalerte) . Alertes Lalerte permet d'excuter des actions spcifiques en fonction des conditions spcifiques. Une alerte est dfinie par un filtre appliqu la live. un filtre appliqu la live Conditions Dclencheurs Actions
44
4. Conclusion
Aprs linstallation et la configuration de NfSen on a prsent son linterface graphique quest simple a utilis pour superviser le rseau. Il y a la possibilit dajouter dautres fonctions pour des traitements spcifique des rsultats danalyse, et pour rpondre aux besoins supplmentaires grce a lexistence des plugins.
45
Aprs la mise en uvre de NfSen avec son interface graphique, il faut tester le fonctionnement de cette solution afin de le mettre en place dans le rseau rel de CNRST.
46
On Test le fonctionnent de NfSen dans un sous rseau pour nest pas perturb le rseau CNRST, et utilis deux clients passent par notre routeur, qui envoie a son tour les paquets a un autre routeur quest connect au rseau CNRST afin de pouvoir sortir vers Internet. Dans notre cas on a utilis un seule routeur donc on a dans les graphes un seule couleur. Les trois graphes dans la mme ligne prsente le mme intervalle de temps avec des chelles statistiques diffrentes (flux, paquets, octets), on cliquant sur un des graphes on passe vers la vue Graphs .
47
On peut passer longlet Details pour plus dinformation sur les flux et pour faire des filtres selon les besoins de supervision.
48
Afin de filtrer les donnes Netflow on utilise le formulaire processus qui offre plusieurs options pour des traitements spcifique des informations. Par exemple laffichage des vingt premiers lignes tri par flux.
Figure 30 : Filtre
49
On a dans le profil live mais il y a la possibilit de crer un profil selon nos besoins.par Exemple on a cr le profil WebServer dans le rseau CNRST.
50
Les conditions sont bases sur le rsum des flux. Les conditions peuvent tre enchans en ajoutant des conditions supplmentaires, en utilisant le '+' icne sur la droite.
Les conditions sont bases sur le nombre total de flux, les paquets ou d'octets qui passent le filtre. Les chiffres peuvent tre compars une valeur absolue, ou relative divers bass sur le temps des valeurs moyennes, qui sont calculs automatiquement. Cela permet de crer facilement des filtres adaptatifs.
2. Conclusion
L'interface de NfSen permet l'utilisateur d'avoir les diffrents niveaux de visualisation ncessaires une analyse du rseau en temps rel. Elle permet aussi la configuration des donnes pour avoir une analyse adapte aux besoins des administrateurs. L'avantage d'une interface graphique est que cela permet l'intgration des nouveaux plugins pouvant contenir d'autres analyses statistiques dveloppes.
51
dfinis lors de la
prsentation du projet sont atteints. En effet, la solution NetFlow est actuellement en exploitation sur le sous rseau de test du CNRST. La mise en place sur l'ensemble du rseau sera effectivement ralise aprs une dure de test. En effet, la premire partie du stage au CNRST nous a permet de savoir comment le rseaux du CNRST fonctione et deusiment aprs la configuration de notre routeur Les paquets Netflow est envoys notre machine collectrice. Afin de pouvoir stoker et visualiser le rsultat de notre collecte de flux NFsen, puis Aprs lanalyse et le st ockage des paquets Netflow envoy par le routeur avec loutil NFDump, nous avons constat quil est difficile dinterprter les donnes facilement, et quil faut utiliser des diffrentes commandes pour un affichage spcifique des rsultats danalyse. Ci pour a aprs linstallation et la configuration de NfSen on a prsent son linterface graphique quest simple a utilis pour superviser le rseau. Il y a la possibilit dajouter dautres fonctions pour des traitements spcifique des rsultats danalyse, et pour rpondre aux besoins supplmentaires grce a lexistence des plugins. L'interface de NfSen permet l'utilisateur d'avoir les diffrents niveaux de
visualisation ncessaires une analyse du rseau en temps rel. Elle permet aussi la configuration des donnes pour avoir une analyse adapte aux besoins des administrateurs. Concernant la nouveaut des outils de supervision on a trouv un outil actuelemet nouveau appel Flexible NetFlow est une technologie cl disponible sur les quipements Cisco pour permettre la visibilit de lutilisation de linfrastructure rseau et comprendre le comportement du rseau. Flexible NetFlow est une nouvelle gnration de Netflow apportant une meilleure scalabilit, une meilleure capacit dagrgation des donnes et une plus grande souplesse dans la customisation utilisateur. Flexible NetFlow amliore la capacit dtecter les incidents de scurit et la comprhension du comportement du trafic rseau.
52
Bila n du projet
nous a beaucoup apport aussi bien dun point de vue professionnel que personnel. Tout dabord, nous avons pu dvelopper et parfaire nos connaissances dans lutilisation de Linux, cela nous a permis aussi de nous rendre compte des points forts de Linux pour la ralisation de cette solution. Durant ce projet nous avons aussi pu apprendre grer un projet de lanalyse la livraison de la solution en suivant les exigences du client, et nous a appris grer les difficults de la gestion dune quipe, avec des problmes tels que la rpartition des tches. Le stage a t une bonne opportunit dutiliser nos connaissances rseau pour lanalyse des paquets, la configuration des r outeurs CISCO ainsi que pour tudier lorganisation du rseau du CNRST. Dun point de vue personnel, nous sommes heureux davoir fait des recherches et mis en place une solution permettant davoir des informations en temps rel sur un rseau priv. Nous avons en plus acquis une certaine autonomie de travail ainsi quune plus grande assurance dans les choix techniques. Ce stage t aussi une solide exprience au niveau de travail dquipe et cela grce a la contribution dans lorganisation des Journes Internationales dIPv6 organis par MISOC en collaboration avec le Centre National pour la Recherche Scientifique et Technique (CNRST En ce qui concerne la vie en entreprise, il nous a t facile de nous intgrer dans un service compos dune quipe accueillante, toujours prte rpondre nos questions.
53
Sito grap h ie
http://www.cnr.ac.ma/
54