Cahier des clauses techniques particulières — Hugo ETIEVANT

Cahier des clauses techniques particulières - Hugo ETIEVANT

Fonctionnement général Fichier de lire configuration Fichier de log analyser extraire stocker statistiques exploiter graphes compiler data ware house interpréter Cahier des clauses techniques particulières - Hugo ETIEVANT rapport 2

Fichier de configuration èPermet la configuration fine de l’analyse du fichier de log èValeurs par défaut en constante préprocesseur du programme (#define) èÀ analyser avant le fichier de log è(Non encore implémenté) Cahier des clauses techniques particulières - Hugo ETIEVANT 3

Lecture du fichier de log ouvrir fichier fin de fichier ? non lire ligne lire et traiter caractère oui fin de ligne ? fermer fichier non oui Cahier des clauses techniques particulières - Hugo ETIEVANT 4

Format d’une ligne de log Exemple Description 134. 214. 92. 116 Adresse IP du client - Nom du propriétaire du processus ayant émis la requète vers le client admin Nom de l’utilisateur si authentification [03/Jul/2002: 15: 55: 40 -0400] Date et temps de traitement de la requète "GET /intro. html HTTP/1. 1" Première ligne de la requète HTTP et version du protocole 200 Code d’erreur HTTP 30226 Taille du fichier retourné "http: //urfist/" URL de la page référençant la ressource demandée "Mozilla/4. 03 [fr] (Win 95; I)" Nom et version du navigateur, système d’exploitation Cahier des clauses techniques particulières - Hugo ETIEVANT 5

Lecture d’une ligne de log è Algo itératif n La récursivité provoquerait un « stack overflow » è Pas de recours à des fonctions de haut niveau n Leur appel ralentirait le traitement et occuperait trop d’espace mémoire è Définition d’une structure en mémoire pour stocker les infos d’une ligne (1 seule instance) #define #define LIGNE_MAX ESPACE ACCOLADE 1 ACCOLADE 2 QUOTES TIRET MOTS 4096 ' ' '[' ']' '"' '-' 9 #define #define HOST_SIZE_MAX HYPHEN_SIZE_MAX USER_SIZE_MAX DATE_SIZE REQUEST_SIZE_MAX REFERER_SIZE_MAX AGENT_SIZE_MAX 128 64 64 29 1024 64 1024 typedef struct ligneoffile { char host[HOST_SIZE_MAX]; char hyphen[HYPHEN_SIZE_MAX]; char user[USER_SIZE_MAX]; char date[DATE_SIZE]; char request[REQUEST_SIZE_MAX]; unsigned short int status; unsigned long int size; char referer[REFERER_SIZE_MAX]; char agent[AGENT_SIZE_MAX]; } ligneoffile; Cahier des clauses techniques particulières - Hugo ETIEVANT 6

Format d’une requête èLa requête d’une ligne de log est composée des 3 champs : n n n Méthode (GET, POST, HEAD…) Ressource (chemin du fichier à télécharger) Protocole (nom et version) èExemple n n n GET /images/logo. png HTTP/1. 1 #define REQUEST_METHOD_SIZE_MAX #define QUERY_METHOD_SIZE_MAX #define PROTO_METHOD_SIZE_MAX 4 1012 8 typedef struct request { char method[REQUEST_METHOD_SIZE_MA X]; char Cahier des clauses techniques particulières - Hugo query[QUERY_METHOD_SIZE_MAX]; ETIEVANT 7 char

Format d’une URL è Il est défini par les RFC suivantes : 1738, 1808, 2396 et 2718 du W 3 C. è Pour chaque ligne, extraction du domaine du Referer. n S’il ne correspond pas à celui du site d’analyse, alors le comparer à la liste des outils de recherche prédéfinis n n n S’il correspond alors extraction des paramètres sinon c’est un partenaire Permet de comptabilisé les affluents et les mots clés de recherche. Cahier des clauses techniques particulières - Hugo ETIEVANT 8

Détection des attaques èAnalyse des URL des ressources demandées (query) n détection d’intrusion suivant des schémas prédéfinis remontée dans les répertoires (. . /) n accès à ces programmes (exe, cgi) n Cahier des clauses techniques particulières - Hugo ETIEVANT 9

Détection des erreurs èListage des ressources pour lesquelles il existe des codes d’erreur HTTP de la famille des 400 et des 500. èPermet de connaître les affluents pointant vers une ressource qui n’existe plus (400) n n les contacter pour mise à jour correction des liens internes morts èDetection des moments d’interruption de service (500) Cahier des clauses techniques particulières - Hugo ETIEVANT 10

Détection des robots èStatistiques de trafic sur le fichier /robots. txt n permet de connaître la fréquence de mise à jour des outils de recherche Cahier des clauses techniques particulières - Hugo ETIEVANT 11

Graphiques à produire : graphe è Représente les chemins de navigation des visiteurs n n Chemins les plus long Points d’entrée et de sortie è Permet modifier la navigation si certaines pages ne sont pas souvent accédées depuis d’autres Algos de recherche opérationnelle (graphe orienté valué) : dessin d’un maillage des pages et autres ressources ordonnés selon les composantes fortement connexes Cahier des clauses techniques particulières - Hugo ETIEVANT 12

Graphiques à produire : histogramme è Facile à produire et simple à comprendre è S’applique à beaucoup d’objets n Nombre de hits, de visites, d’erreurs ; quantité de données… è Disponible à différents niveaux de granularité n Heure, jour, moi, an… è Incrustation d’autres données n Min, max, moy… Cahier des clauses techniques particulières - Hugo ETIEVANT 13

Graphiques à produire : camembert è Répartitions relatives données è Adapté aux données fortement aggrégées n Os, navigateurs, types d’affluent… Cahier des clauses techniques particulières - Hugo ETIEVANT 14

Graphiques à produire : courbes è Représentation d’une évolution dans le temps de plusieurs quantités absolues n Top 10 des pages, navigateurs, os, partenaires… Cahier des clauses techniques particulières - Hugo ETIEVANT 15

Graphiques à produire : aires è Représentation d’une évolution dans le temps de plusieurs quantités relatives 1 2 3 Cahier des clauses techniques particulières - Hugo ETIEVANT 16

Graphiques à produire : schémas è Pour des représentations spéciales n Comportement par affluent Cahier des clauses techniques particulières - Hugo ETIEVANT 17

Graphiques à produire : tableaux è Simples listes énumératives associant des objets (chaînes de caractères) à des données (quantités relative/absolue). n Top 10 des outils de recherche, des mots clés, pages d’entrée/de sortie… Cahier des clauses techniques particulières - Hugo ETIEVANT 18

La librairie graphique GD è Création d’images PNG/JPEG n n Très simplement Bonne documentation è Malheureusement n Installation impossible sur les machines du bâtiment 710 n À cause de multiples dépendances entre modules introuvables è Réalisation impossible du rapport graphique – pour le moment Cahier des clauses techniques particulières - Hugo ETIEVANT 19