Discussion :

[ouiouioui]

Bonjour, Je suis débutant et je bloque sur un regex.

j'ai un log avec sa:

sauteligne
sauteligne
Rcon from 90.15.93.185:27244:
set
Cvar_Set2: ban -
Cvar_Set2: numban 0
BAN: Un joueur a été bannis numero: 0 raison: test
sauteligne
sauteligne
sauteligne
sauteligne_reason
sauteligne
sauteligne
Cvar_Set2: command
Cvar_Set2: numban -
Cvar_Set2: ban_reason Raison Inconnue
sauteligne
sauteligne
BAN: pseudo est bannis! ip: 90.105.9.85 raison: test
sauteligne
sauteligne

je souhaite récupérer le rouge, le vert étant variable et pouvant être long avec des caractères .*~ etc ainsi que des nombre bref n'importe quoi.

j'ai sa qui me récup les 4 premières valeur rouge:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

preg_match_all('`Rcon from (.*?)\:.*?\nset\r?\nCvar_Set2\: ban -\r?\nCvar_Set2\: numban ([0-9]*?)\r?\nBAN\: Un joueur a été bannis numero\: (.*?) raison\: (.*)`', $filename, $ban);

la suite j'y arrive pas, déjà je sais pas si je doit utiliser l'option m sa enlève les retour \r \n? ou si je continue comme sa et dans ce cas comment chercher du texte aléatoire en comptant les retour sans l'option s qui fausserai le début du regex?

Un coup de main serait le bienvenue Merci.

[DelphiManiac]

Je pense qu'il serait plus simple de traiter le fichier ligne par ligne, les regex seraient plus légère et plus simple à mettre en place.

[ouiouioui]

merci de ton aide, ligne par ligne impossible en fait car:

Rcon from 90.15.93.185:27244:
set

il y en a beaucoup, faut qu'il y ai sa juste après:

Cvar_Set2: ban -
Cvar_Set2: numban 0
BAN: Un joueur a été bannis numero: 0 raison: test

ou alors tester plusieurs ligne à la fois?
et c'est toujours économe en ressource?
je patauge.

merci.

[DelphiManiac]

La raison qui me poussais à proposer "ligne par ligne" est le fait que ce soit un fichier de log, et un fichier de log, ca peut être assez gros en volume. Pour traiter des données sur l'ensemble du fichier de log par une regex, il faut que la totalité du fichier soit chargé en mémoire. Ca pourrait être un problème d'après moi.

Pour le traitement ligne par ligne, tu peux envisager de tester chaque ligne et de positionner un flag des que ca correspond :

ex:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
tant que lire ligne:
  si ligne = 'rcon' alors flag = 1
  si ligne = 'cvar_set2: ban' et flag = 1 alors pattern=ok
  si ligne = 'cvar_set2: numban' et flag = 2 alors pattern=ok
  si ligne = 'ban:' et flag = 3 alors pattern=ok
 
  si pattern = ok alors
    flag++
 
  si flag=4 alors 
    j'ai ma série de lignes qui se suivent
  sinon
    flag = 0

Juste une idée d'algo pour ton cas, mais faudrait réfléchir plus avant, tester et simuler.

[ouiouioui]

merci, je comprend mieux, effectivement je chargeai le fichier entier
puis preg_replace_all pour virer toute les lignes inutile
puis mes preg_match_all

du coup je passe en ligne par ligne avec preg_replace et preg_match, sa va alléger la mémoire mais késako du temps un preg_match_all est pas plus rapide que preg_match sur chaque ligne?

le plus c'est que je vais pouvoir mettre une barre de progression c'est bien pratique

[DelphiManiac]

En absolu un preg_match_all doit être plus rapide que plusieurs preg_match, vu que d'une part, on aura un seul appel de fonction et de plus, d'après mes souvenirs, la regex est "compilé".

Mais entre la théorie et la pratique y'a une marge, je pense que si tu te trouves avec un fichier de 30 mo de log, tu vas avoir du mal à le gérer avec un preg_match_all, d'une part pour le problème de devoir charger le fichier en mémoire et d'autre part la taille que va prendre le tableau résultat.

De plus, un preg_match_all analyse tout le contenu du fichier, alors que tu peux avec un algo relativement simple, déjà écarter un bon nombre de ligne.

Les regex sont très puissants, mais il me parait abbérant, dans beaucoup de cas, de vouloir faire reposer un traitement complet sur les regex alors qu'on peut faire beaucoup plus simple avec juste des tests de chaines (pour une grande partie du traitement).

Après en dehors de la faisabilité lié au problème mémoire, le plus simple serait de faire un petit benchmark rapide pour comparer les deux solutions.

[ouiouioui]

je test sa lundi et je poste les codes et temps.

[ouiouioui]

alors voila j'ai testé avec 2 preg_replace qui nettoye le fichier, sans les preg_match.

en chargeant le fichier de 36mo avec file_gets_contents
2 preg_replace sur la variable contenant le fichier
test effectué 2x:
Parsing fichier log terminé en 27.83 secondes
Parsing fichier log terminé en 25.89 secondes

en chargeant le fichier de 36mo avec file
2 preg_replace sur chaque ligne du tableau
test effectué 2x:
Parsing fichier log terminé en 51.21 secondes
Parsing fichier log terminé en 53.05 secondes

donc sa double sachant que mon fichier contient 423566 lignes...

utilisation mémoire max 146mo...
comment charger ligne par ligne et pas tout pour eviter d'utiliser tant de mémoire? merci.

[DelphiManiac]

Si j'ai bien compris ton test, tu fais dans le 2ième cas, 2 preg_replace sur chaque ligne du fichier.

Je voyais plus un test classique sur chaque ligne et ne faire le preg_replace que sur les lignes ayant été validé par le test classique.

Ou peut être ai je mal compris.


Concernant le traitement global du fichier, je ne vois vraiment pas comment le lancer sans charger le fichier auparavant en mémoire ^^

[ouiouioui]

je vais ouvrire une nouvelle discussion pour le traitement du fichier sans le charger complètement.

Merci pour ton aide, je met pas résolu car j'ai pas la solution en place pour l'instant.