Discussion :

[Bouga74]

Bonjour à tous,

Je dois souvent mettre à jour une date qui se trouve au début de nombreux fichiers Xml très volumineux.

Actuellement j'utilise la commande suivante qui fonctionne très bien :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i "s/<day>20160202<\/day>/<day>20160203<\/day>/g" ./File-*

Cependant, vu la taille et le nombre de mes fichiers, cela peut parfois me prendre un temps considérable (1 minute par fichier de 1.5GB, jusqu'à 8-10 minutes pour des fichiers de 20GB).

Sachant que ce texte recherché se trouve uniquement en en-tête du fichier (dans les 10 premières lignes), est-ce qu'il y a une commande qui me permette de gagner du temps ?

Avec la commande que j'utilise, il recopie tout le contenu du fichier dans un fichier temporaire et cette étape me fait perdre énormément de temps.

Merci d'avance pour votre aide !

[disedorgue]

Bonjour,

Il n'y a pas trop de solution car tous les outils sont un peu obliger de passer par des fichiers tampon.
Après, j'aurai du mal à te plaindre: Avoir des fichiers xml de 20 Go, pour moi, c'est une aberration.

Sinon, tu peux éventuellement réduire ton temps globale en découpant ton simple sed -i '...' file-* en plusieurs process.
Autant de process que tu as de cpu sans dépasser disons les 15 process en // car de toute façon, tu seras limité par des attentes I/O.

[BufferBob]

salut,

comme dit disedorgue y'a assez peu de possibilités, j'ai déjà vu faire à coups de dd mais je ne me souviens plus de comment c'était gaulé pour être honnête

sinon peut-être via ed avec un truc du genre (ça marche aussi avec vim et cie.) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
ed -s fichier <<EOF
,s/<day>20160202<\/day>/<day>20160203<\/day>/g
wq
EOF

le seul inconvénient c'est qu'inévitablement ça va pomper toute la mémoire pour ouvrir/lire le fichier...

Edit: un truc comme ça devrait fonctionner, notamment parceque dans ton cas la chaine à remplacer à la même taille que la chaine de remplacement (en fait y'a guère qu'un chiffre qui change) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
str_from='<day>20160202</day>'
str_to='<day>20160203</day>'
grep -b -o -F "${str_from}" fichier | cut -d':' -f1 | while read offset; do echo -ne "${str_to}" | dd of=fichier conv=notrunc bs=1 seek=${offset} 2>/dev/null; done

à voir si ça accroit vraiment les perfs ou si ça génère plus d'io que ce que ça aide...

[jlliagre]

La taille de la chaîne de remplacement étant égale à la taille de la chaîne à remplacer, un fichier intermédiaire est techniquement superflu. Malheureusement, les utilitaires standard vont lire la totalité du fichier puis en le réécrire aussi en totalité en passant par ce fichier intermédiaire ou par son image en mémoire.

Lire puis écrire tout le fichier est extrêmement pénalisant puisque seuls quelques secteurs du disque sont concernés dans ton cas.

Voici une méthode avec `dd` qui fonctionne si la chaîne à remplacer se trouve dans les 4096 premiers octets du fichier (à augmenter donc si ce n'est pas le cas):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
dd if=File-001.xml of=tmp.xml bs=4096 count=1
sed -i "s/<day>20160202<\/day>/<day>20160203<\/day>/g" tmp.xml 
dd if=tmp.xml of=File-001.xml seek=0 conv=notrunc

[disedorgue]

Pas mal la solution avec "dd" , ça fonctionne aussi sur un partage nfs ou samba ?

[jlliagre]

Sûrement, sinon ce serait un gros bug de l'implémentation de NFS ou CIFS ...

[Bouga74]

Merci à tous pour votre aide et vos idées

La taille de la chaîne de remplacement étant égale à la taille de la chaîne à remplacer, un fichier intermédiaire est techniquement superflu. Malheureusement, les utilitaires standard vont lire la totalité du fichier puis en le réécrire aussi en totalité en passant par ce fichier intermédiaire ou par son image en mémoire.

Lire puis écrire tout le fichier est extrêmement pénalisant puisque seuls quelques secteurs du disque sont concernés dans ton cas.

Voici une méthode avec `dd` qui fonctionne si la chaîne à remplacer se trouve dans les 4096 premiers octets du fichier (à augmenter donc si ce n'est pas le cas):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
dd if=File-001.xml of=tmp.xml bs=4096 count=1
sed -i "s/<day>20160202<\/day>/<day>20160203<\/day>/g" tmp.xml 
dd if=tmp.xml of=File-001.xml seek=0 conv=notrunc

==> ca marche niquel, même pas le temps de cliquer que mon fichier est déjà à jour !

Bonjour

Si l'entête prend les 20 premières lignes, est-ce que ceci va plus vite ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i "1,20s/<day>20160202<\/day>/<day>20160203<\/day>/g" ./File-*

Celui lui évitera de chercher une correspondance dans le million de lignes qui suit.

==> Ca semble allez un peu plus vite effectivement, genre 40secondes au lieu de 1 minute (même si j'ai testé très vite)

Bonjour,

Il n'y a pas trop de solution car tous les outils sont un peu obliger de passer par des fichiers tampon.
Après, j'aurai du mal à te plaindre: Avoir des fichiers xml de 20 Go, pour moi, c'est une aberration.

Sinon, tu peux éventuellement réduire ton temps globale en découpant ton simple sed -i '...' file-* en plusieurs process.
Autant de process que tu as de cpu sans dépasser disons les 15 process en // car de toute façon, tu seras limité par des attentes I/O.

==> Pas ma faute pour les volumes des fichiers xml, on envoi des données dans une application de gouvernance et le transfert se fait en XML. Actuellement nous n'avons pas d'autre alternative.

Je dois encore tester la solution de BufferBob


Merci à tous !

[BufferBob]

Je dois encore tester la solution de BufferBob

la solution que j'ai proposé à base de dd est intéressante dans le sens où elle est "tout automatique", mais elle a comme inconvénient de faire autant de dd successifs et donc autant d'ouvertures/fermetures du fichier qu'il y a d'occurrences recherchées

si tu sais avec certitude identifier une plage d'octets dans le fichier pour réduire le traitement la solution de jilliagre ou de zipe31 (ça revient au même modulo le oneliner) est à mon avis la plus intéressante

pour l’anecdote ma solution repose sur grep et les options -b, -o et -F

• -b demande à grep d'afficher l'offset dans le fichier de la correspondance trouvée, juste ce dont à besoin dd
• -o permet de ne rater aucune occurrence (s'il y en a plusieurs sur la même ligne)
• -F permet une recherche en fixed string, option souvent oubliée, mais qui dans un fichier de 20G fait probablement la différence avec le traitement par défaut de grep qui cherche à matcher une expression régulière (fût-elle basique)

Si on en est là, ça vaut le coup de faire un patch en C++ qui ne modifiera qu'une séquence d'octets préalablement repérée. Non ?

ouai, je suis assez d'accord, à ce stade j'aurai déjà sorti Perl ou C

[zipe31]

Salut,

Voici une méthode avec `dd` qui fonctionne si la chaîne à remplacer se trouve dans les 4096 premiers octets du fichier (à augmenter donc si ce n'est pas le cas):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
dd if=File-001.xml of=tmp.xml bs=4096 count=1
sed -i "s/<day>20160202<\/day>/<day>20160203<\/day>/g" tmp.xml 
dd if=tmp.xml of=File-001.xml seek=0 conv=notrunc

dd if=File-001.xml bs=4096 count=1 | sed 's/<day>20160202<\/day>/<day>20160203<\/day>/' | dd of=File-001.xml seek=0 conv=notrunc devrait le faire aussi, non ?

[jlliagre]

dd if=File-001.xml bs=4096 count=1 | sed 's/<day>20160202<\/day>/<day>20160203<\/day>/' | dd of=File-001.xml seek=0 conv=notrunc devrait le faire aussi, non ?

Oui ! On gagne quelque microsecondes ;-)