Discussion :

[PIEPLU]

Bonjour tout le monde,


Je dois décomposer des données de ce type :

[1] => 178.255.215.78 - - [16/Mar/2013:03:00:32 +0100] "GET /saint-egreve-38120/homeopathe/ HTTP/1.1" 200 6886 "-" "Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)"
De prime abord, je me serais lancé dans des explodes dans tous les sens.

Puis, je me dis que des expressions régulières seraient peut être mieux.


Qu'en pensez-vous ?


Merci

[TERRA126]

Bonjour,

Personnellement j'aurais sans hésité utilisé des expressions régulières . Il y a trop de caractères différents dans le schéma pour des explodes. De plus certains caractères comme dans l'adresses peuvent être différents (je pense particulièrement au "-" qui avec un explode va faire un peu n'importe quoi en cas de rencontre ).

[PIEPLU]

J'en suis ici pour le moment, mais je bloque

http://regexr.com?345au

[CosmoKnacki]

Bonjour,

j'aurais sans hésité utilisé des expressions régulières

C'est clair et net!

gskinner.com ça à l'air sympa comme outil en ligne. Bref!

Ton code ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/([0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}) - - (.*]) "(.*/ HTTP\b)/gi

... (Je le post ici pour éviter d'avoir à changer de page en lisant le thread) ne marche pas car tu as commis quelques erreurs:

- tu utilises / pour délimiter ton expression donc fatalement en arrivant à (.*/ le parser est persuadé que ton expression est terminée et que le H de HTTP\b)/gi est un nouveau modifier tout droit venu de la planète Zoltar. Donc soit tu échappes avec un antislash pour signifier que tu veux bien parler du caractère / et pas du délimiteur, soit tu choisis un autre délimiteur (+mieux) que tu es sûr de ne pas croiser toutes les trois secondes dans la chaîne à traiter. (par exemple ` ou #)
- tu as pris le parti de ne pas vérifier si l'adresse ip est valide (ie: ce n'est pas le but) donc autant aller au plus court ((?:\d{1,3}\.){3}\d{1,3}) (au passage, on note que le point est échappé car il s'agit du caractère . et pas du caractère universel.)
- le modifier g n'existe pas en PHP, la recherche global est déterminée par l'utilisation de preg_match_all.
- le modifier i ne sert peut-être pas à grand chose dans le cas présent, autant s'en passer si toutes les lignes sont calibrées comme des tomates. (à voir)
- tu devrais soit dégloutonner ponctuellement les quantifiers (* ou +) avec un ? (--> .*?) soit faire un dégloutonnage général en ajoutant le modifier U à la fin de la pattern.
- préférer + à * si on est sûr d'avoir au moins un caractère
Ce qui nous donne:

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
<?php
$string = <<<LOD
178.255.215.78 - - [16/Mar/2013:03:00:32 +0100] "GET /saint-egreve-38120/homeopathe/ HTTP/1.1" 200 6886 "-" "Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)"
143.212.13.18 - - [12/Jan/2056:07:13:32 +0100] "GET /sainte-benedicte-gardes-nous-du-mal-72143/rebouteux/ HTTP/1.1" 405 6886 "-" "Baiduspider ( http://www.baidu.com/search/spider.htm )"
LOD;
$pattern = '`((?:\d{1,3}\.){3}\d{1,3}) - - (.+]) "(.+/ HTTP)`U';
preg_match_all( $pattern, $string, $matches );
?><pre><?php
print_r( $matches);
?></pre>

Bon courage pour la suite

[leviathan516]

Personnellement j'aurais sans hésité utilisé des expressions régulières .

Pour moi, c'est totalement l'inverse :-)

À première vue, c'est un log apache, cela se parse super bien avec un explode :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
<?php
$string = '178.255.215.78 - - [16/Mar/2013:03:00:32 +0100] "GET /saint-egreve-38120/homeopathe/ HTTP/1.1" 200 6886 "-" "Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)"';
 
$explode = explode(' ', $string);
 
// Données qui ne changeront jamais de place
$ip = $explode[0];
$date = $explode[3].' '.$explode[4];
$method = $explode[5];
$url = $explode[6];
$version_http = $explode[7];
$status_code = $explode[8];
$size = $explode[9];
$referer = $explode[10];
 
// Pour le user agent, on récupére ce qui reste
for ($i = 0; $i < 11; $i++) {
  unset($explode[$i]);
}
$user_agent = implode(' ', $explode);
 
echo "
ip : $ip
date : $date
method : $method
url : $url
version_http : $version_http
status_code : $status_code
size : $size
referer : $referer
user_agent : $user_agent
";

[TERRA126]

En fait pourquoi les regex ? parce que j'aurais plus tendance à vouloir récupérer les informations par domaine et ensuite m'occuper de chaque domaine un à un. Du moins c'est ce que je fais dans mes codes et je trouve que cela donne une bonne séparation des taches .

De plus en faisant comme cela, se reporter à la doc apache est fait plutôt simplement :

%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"

devient donc :

^(\S+) \S+ \S+ \[([^\]]+)\] "([A-Z]+[^"]*)" \d+ \d+ "[^"]*" "([^"]*)"$

Soit dit en passant je peux aussi récupérer les informations de manières segmenter en rajouter des groupes. Mais bon, après il existe plusieurs méthodes c'est vrai, savoir laquelle est la bonne est assez subjectif .

[AlainPost]

Tu peux aussi faire une recherche dans le string

[CosmoKnacki]

C'est vrai que mis à part le date_time et le referer, tout le reste se sépare bien de la même façon avec les espaces. Du coup, la description précise des séquences de caractères comme l'adresse ip perd de son intérêt.
Il faut voir aussi qu'avec explode on se retrouve avec des " isolés dans les résultats à traiter avec trim et consortes.

Maintenant un autre intérêt de preg_match_all est aussi d'obtenir un résultat facilement exploitable à l'aide de sous-masques nommés.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php $string = <<<LOD
178.255.215.78 - - [16/Mar/2013:03:00:32 +0100] "GET /saint-egreve-38120/homeopathe/ HTTP/1.1" 200 6886 "-" "Mozilla/5.0 (compatible; Exabot/3.0; +http://www.exabot.com/go/robot)"
127.0.0.1 - - [20/Mar/2013:22:51:33 +0100] "GET /css/style.css HTTP/1.1" 200 1603 "http://truc/" "Opera/9.80 (X11; Linux x86_64; Edition Linux Mint) Presto/2.12.388 Version/12.12"
127.0.0.1 - - [21/Mar/2013:07:39:31 +0100] "OPTIONS * HTTP/1.0" 200 126 "-" "Apache/2.2.22 (Ubuntu) (internal dummy connection)"
LOD;
 
// définition des champs utiles et du masque correspondant pour créer la pattern
$fields = array( 'remote_host', 'log_name', 'user_id', 'date_time', 'request', 'method', 'request_url', 'protocol', 'status', 'size', 'referer', 'user_agent' );
$mask = '`^(?<%s>.+) (?<%s>.+) (?<%s>.+) \[(?<%s>.+)] "(?<%s>(?<%s>.+) (?<%s>.+) (?<%s>.+))" (?<%s>.+) (?<%s>.+) "(?<%s>.+)" "(?<%s>.+)"$`Um';
$pattern = vsprintf( $mask, $fields );
 
preg_match_all( $pattern, $string, $matches, PREG_SET_ORDER );
 
// récupération du résultat et élimination des variables inutiles
$result = array();
$fields = array_flip( $fields );
foreach ($matches as $match) { $result[] = array_intersect_key( $match, $fields ) ; }
unset ($fields, $mask, $pattern, $matches, $match);
 
?><pre><?php print_r( $result  ); ?></pre>

[PIEPLU]

Merci pour tous vos codes, je n'ai que l’embarras du choix

Comme l'avais vu leviathan516, c'est un log apache que je dois étudier.
J'aimerais, à des fins persos, pouvoir analyser ce log.
Le problème, c'est que chaque jour, le log fait près de 1 millions de lignes pour 230 Mo.

Du coup, ça pose problème de "allowed memory".
Apparemment, le fait d'avoir rajouté...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ini_set ('memory_limit', filesize ($chemin) + 4000000);

... permet de ne pas bloquer sur le file_get_contents. Par contre, ca plante sur l'explode.

L'idée qui me venait donc, qui n'est pas forcément la meilleure, couper par paquet de lignes, mais je n'ai pas trouvé le bon logiciel

Je suis preneur de toute idée

Merci

[TERRA126]

En fait pour ce genre d’opération sur ce type de fichier je te conseillerais plus de te tourner directement vers un script perl . Ce langage est fait pour gérer les très gros fichier et plutôt adapter à ce que tu veux faire .

[rawsrc]

Salut,

sans aller jusqu'au PERL, tu peux utiliser fread et/ou toutes les autres fonctions commençant par f...
C'est séquentiel, lent mais cela devrait éviter les dépassements de mémoire

[PIEPLU]

J'ai le même problème en faisant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$handle = fopen($chemin, "r");
$contenu_string = fread($handle, filesize($chemin));
echo '<pre>'.print_r($contenu_string, true).'</pre>';

Fatal error: Allowed memory size of 239928367 bytes exhausted (tried to allocate 235929600 bytes)

[rawsrc]

Bon, je t'ai pas filé la soluce clé en main mais quand même c'était trouvable, non ?
Tiens inspire-toi de fgets() et fais gaffe à auto_detect_line_endings

Dans ton code tu passes : filesize comme longueur à lire ! Aucune utilité.

[PIEPLU]

Dans la code, c'est marqué de faire ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
ini_set("auto_detect_line_endings", true);
 
$handle = fopen($chemin, "r");
if ($handle) {
    while (($buffer = fgets($handle, 4096)) !== false) {
        echo $buffer;
    }
    if (!feof($handle)) {
        echo "Erreur: fgets() a échoué\n";
    }
    fclose($handle);
}

Est ce là solution ?? Car mon chrome plante au bout d'un certain temps

[rawsrc]

Oui,
s'il plante c'est que ton traitement a atteint la durée maximale d'exécution d'un script sur ton serveur.
Je t'avais prévenu : c'est séquentiel, lent et donc à problème.
Après parser des gros logs avec PHP c'est moyen moyen.
PHP n'est pas des plus adaptés, il faut savoir rester mesuré dans la volumétrie.

[PIEPLU]

Le problème, ce log, c'est une seule journée que je voudrais analyser.
Tu aurais une idée de comment je peux faire ?

Diviser le fichier en paquet ?

[rawsrc]

Abandonne PHP pour faire ça, il existe des outils open source qui le font très bien comme AWStats par exemple.
Bref, PHP est fait pour générer du HTML, requêter de la base de données en pagaille et c'est à peu près tout. Au-delà ce n'est plus trop de son domaine (sauf si l'usine à gaz est permise)

[PIEPLU]

J'étais bien tombé sur AWStats, le problème, ou alors je n'ai pas vu, c'est que je vois pas les stats sur le fichier de log.

Par exemple, est ce que je peux savoir cb de fois une même IP est appelée ?

[rawsrc]

Euh... combien de fois une IP est appelée ?
Si elle est appelée c'est par le navigateur du client, donc toi t'en sauras rien à moins d'envoyer une requête au préalable à ton serveur pour l'informer que ce lien a été cliqué dans la page (en dehors de ton domaine bien sûr).

Si c'est pas ça, c'est que je n'ai rien compris alors.

[PIEPLU]

Dans mon fichier de log, j'ai les IP de ceux qui accède à des pages...
Parfois, j'ai des centaines de pages lancées par la même IP dans la même minute...

Le but, c'était de les détecter, pour les bloquer.