[sed] Extraction d'une portion de fichier débutant par

Version imprimable

Voir 40 message(s) de cette discussion en une page

02/04/2013, 00h55
thomas.m

[sed] Extraction d'une portion de fichier débutant par

Bonjour,

Je dispose d'un fichier binaire dont j'aimerais récupérer une sous partie, débutant par une ligne bien précise et terminant par une autre.

Jusqu'à présent pas de problème.

Par exemple, si je veux extraire la sous partie débutant par 3HKP0000Y et se terminant par EOF :

Code:

sed -n "/^3HKP0000Y/,/EOF/p" ../Monfichierbinaire

ça fonctionne.

Par contre si je veux compliquer la chose, en précisant :
je veux extraire la sous partie débutant par la ligne : "commençant par 3HKP0000Y et contenant Version"
et se terminant toujours par EOF :

Si je fais :

Code:

sed -n "/^3HKP0000Y$.*$Version$.*$/,/EOF/p" ../Monfichierbinaire

par exemple, cela ne fonctionne pas.

Pour info, voici un aperçu de la ligne que je recherche dans le fichier :

http://img248.imageshack.us/img248/4504/binaire.png

Merci d'avance pour votre aide

Thomas
02/04/2013, 02h26
N_BaH

Bonjour,

Citation:

Envoyé par thomas.m

Par exemple, si je veux extraire la sous partie débutant par 3HKP0000Y et se terminant par EOF :

Code:

sed -n "/^3HKP0000Y/EOF/p" ../Monfichierbinaire

ça fonctionne.

c'est bizarre, ça ne devrait pas :koi:
la barre oblique est le séparateur de commandes de sed, si elle apparaît dans le motif, alors il faut la protéger pour que sed ne confonde pas.

Citation:

Si je fais :

Code:

sed -n "/^3HKP0000Y$.*$Version$.*$/EOF/p" ../Monfichierbinaire

par exemple, cela ne fonctionne pas.

pourquoi mettre .* entre parenthèses ?

quelle étrange idée de s'embêter à capturer une image, au lieu de faire un copier-coller dans une balise code ?
c'est pas très pratique pour nous : il faut qu'on se tape la recopie de l'extrait à la main pour faire des tests :(
02/04/2013, 11h21
Flodelarab

L'exemple est d'autant plus étrange qu'aucune ligne ne commence par 3HKP0000Y, continue avec Version et finit par EOF.

Sinon, pour être constructif, je dirais qu'on n'est pas obligé de tout faire d'un coup. Et je propose cette solution (en 3 instructions, donc):

Code:

sed '/^3HKP0000Y/!d;/Version/!d;/EOF$/!d' ../Monfichierbinaire

En français, ça donne: "Supprimer les lignes qui ne commencent pas par ... ne contiennent pas ... et ne finissent pas par..."

Si tu veux travailler uniquement sur la dernière ligne de ton fichier (Ce que suggère EOF (end of file) ) le sigle $ est bon pour toi:

Code:

sed '$!d;/^3HKP0000Y/!d;/Version/!d' ../Monfichierbinaire
02/04/2013, 11h40
zipe31

Salut,

Citation:

Envoyé par Flodelarab

Sinon, pour être constructif, je dirais qu'on n'est pas obligé de tout faire d'un coup. Et je propose cette solution (en 3 instructions, donc):

Code:

sed '/^3HKP0000Y/!d;/Version/!d;/EOF$/!d' ../Monfichierbinaire

En français, ça donne: "Supprimer les lignes qui ne commencent pas par ... ne contiennent pas ... et ne finissent pas par..."

Ce qui pourrait se réduire à :

Code:

sed '/^3HKP0000Y\|Version\|EOF$/!d' ../Monfichierbinaire

En français, ça donnerait : "Supprimer les lignes qui ne commencent pas par ... OU ne contiennent pas ... OU et ne finissent pas par..."

;)
02/04/2013, 18h17
thomas.m

Bonjour,

Merci à tous pour vos réponses.

Citation:

Envoyé par N_BaH

c'est bizarre, ça ne devrait pas :koi:
la barre oblique est le séparateur de commandes de sed, si elle apparaît dans le motif, alors il faut la protéger pour que sed ne confonde pas.

J'utilise la commande sed pour extraire tout ce qui se trouve entre le premier match de la commande et le deuxième match : sed -n "/MATCH1/MATCH2/p".
Est ce que je me trompe dans la commande ? je ne suis pas un expert en sed et regex, en tout cas cette synthaxe fonctionne pour d'autres applications.

Citation:

Envoyé par N_BaH

pourquoi mettre .* entre parenthèses ?

Je ne sais pas, je vais essayer sans :)

Citation:

Envoyé par N_BaH

quelle étrange idée de s'embêter à capturer une image, au lieu de faire un copier-coller dans une balise code ?
c'est pas très pratique pour nous : il faut qu'on se tape la recopie de l'extrait à la main pour faire des tests :(

En fait, vu qu'il s'agit de caractères "null" issus d'un fichier binaire, lorsque je copie colle sur le forum, tous les caractères spéciaux sont convertis en espace blanc ... pas très parlant ! Je voulais que vous visualisiez ce que j'ai à l'écran.

Citation:

Envoyé par Flodelarab

L'exemple est d'autant plus étrange qu'aucune ligne ne commence par 3HKP0000Y, continue avec Version et finit par EOF.

Je me suis peu être mal exprimé. Je cherche à récupérer tout ce qui se trouve entre 2 lignes.
La première ligne : doit commencer par 3HKP0000Y par exemple, et contenir version. entre les deux se trouvent des caractères binaires illisibles.
La deuxième ligne : = EOF

Je vais tester vos différentes propositions dès ce soir et je vous tiens au courant, mais il va falloir que j'adapte ça pour bien récupérer tout ce qu'il y a entre les deux.

En gros il faudrait trouver une regex qui arrive à matcher la ligne qui débute par 3HKP0000Y et qui contient "Version" dans le screenshot joint.

Merci en tout cas pour votre aide
02/04/2013, 18h27
N_BaH

Citation:

Envoyé par thomas.m

vu qu'il s'agit de caractères "null" issus d'un fichier binaire[...]

effectivement :(

Code:

sed '/^3HKP0000Y.*Version/!d' fichier

pour être plus précis / est le séparateur d'expression par défaut; le séparateur de commandes c'est ;.
02/04/2013, 18h46
N_BaH

mais, à ce compte, tu pourrais aussi bien utiliser grep :

Code:

grep '^3HKP0000Y.*Version' fichier
02/04/2013, 19h09
Flodelarab
Citation:

Envoyé par zipe31

Ce qui pourrait se réduire à :

La tentative de prendre les problèmes un par un n'aura pas duré longtemps

Citation:

Envoyé par zipe31

Code:

sed '/^3HKP0000Y\|Version\|EOF$/!d' ../Monfichierbinaire

En français, ça donnerait : "Supprimer les lignes qui ne commencent pas par ... OU ne contiennent pas ... OU et ne finissent pas par..."

;)

Et bien non. Dans ton script, il suffit que la ligne contienne l'un des trois pour ne pas être détruite. Dans mon script, l'absence de l'un des trois fusille la ligne.

;)

Citation:

mais, à ce compte, tu pourrais aussi bien utiliser grep :

Sauf s'il veut détecter la fin de fichier. Auquel cas, je maintiens le deuxième script.

A ce propos, je rappelle qu'il ne faut pas confondre
- $ qui signifie la fin de ligne dans une expression régulière (regex)
- $ qui signifie la dernière ligne du fichier dans l'adressage sed
02/04/2013, 20h05
zipe31

Citation:

Envoyé par Flodelarab

La tentative de prendre les problèmes un par un n'aura pas duré longtempsEt bien non. Dans ton script, il suffit que la ligne contienne l'un des trois pour ne pas être détruite. Dans mon script, l'absence de l'un des trois fusille la ligne

Exact, toutes mes plates de ce fait.

Pour une fois que je ne teste pas :?

A ma décharge je n'avais pas bien fait attention à la négation, qui dans ce cas fait bien foirer ma syntaxe. :aie:
02/04/2013, 22h58
thomas.m

Le problème c'est que :

Code:

grep '^3HKP0000Y' ../monfichier

fonctionne :

Code:

Fichier binaire ../monfichier concordant

Mais

Code:

grep '^3HKP0000Y.*Version' ../monfichier

ne fonctionne pas ...

Alors que

Code:

grep '.*Version' ../monfichier

fonctionne :

Code:

Fichier binaire ../monfichier concordant

Concernant la solution d'éliminer les lignes une par une, cela ne marche pas dans mon cas car je veux récupérer toutes les lignes qui sont entre les deux qui m'intéressent..
03/04/2013, 00h09
thomas.m

Voici un cas concret

Cette fois ci je veux rechercher la ligne contenant 3JDT0000YI et Version.

J'ai utilisé les commandes "sed -n Xp $monfichier" ci-dessous pour afficher concrètement le contenu des lignes.

Si j'affiche la 6ème ligne, celle ci commence bien par 3JDT0000YI mais ce n'est pas la ligne que je veux trouver.
Celle qui m'intéresse est la 14eme : voir sed -n 14p $monfichier.
Bizarrement les lignes s'affichent sur plusieurs lignes dans ce cas là, alors que dans mon editeur de texte elles apparaîssent sur une seule ligne. Vu que c'est du binaire cela doit dépendre de l'interprétation qui est faite des caractères je suppose..

En tout cas :

Code:

sed -n '/^3JDT0000YI.*Version/" $monfichier

ne renvoie rien...
J'ai testé de faire sed -n '/Ilv.*Version/" $monfichier pour voir si cela ne venait pas de la ligne, mais là ça marche... J'ai l'impression que dès que la regex englobe des caractères inconnus ça ne fonctionne pas.

http://img547.imageshack.us/img547/8444/capturewto.png

Sinon est il possible de faire ainsi :
Trouver la ligne qui commence par 3JDT0000YI
et dont la ligne suivante commence par "// File Generated" ??

Merci beaucoup d'avance pour votre aide
03/04/2013, 00h47
disedorgue

Bonjour,

En fait ton souci selon les informations que tu nous a données, est que les 3 patterns de référence que tu utilises ne se trouvent pas sur la même ligne et a priori, ce qui t'interesse est de prendre un bloc qui commence par "3HKP0000Y", qui finit par "EOF" et il faut que dans ce bloc, il y est "Version".

Donc si tu veux le faire en sed, l'une des façons de faire:

-ramener toutes les lignes se trouvant entre "3HKP0000Y" et "EOF" dans le buffer auxiliaire de sed
-Lorsque ligne avec EOF atteint:

-On copie le buffer auxiliaire vers le buffer pattern de sed
-Si on trouve le mot Version dans le buffer pattern de sed, alors on affiche se buffer.
-On vide ensuite le buffer pattern et on echange les buffer (ceci dans le cas où il y plusieurs blocs dans le fichier)

ce qui donne:

Code:

sed -n '/^3HKP0000Y/,/EOF/H;/EOF/{g;/Version/{s/^\n//;p};s/.*//;x}' ../Monfichierbinaire

Ici, on utilise l'option -n de sed car ici sed ne doit pas afficher le buffer pattern que sur demande et la commande 's/^\n//' supprime le '\n' qui est rajouter par sed lors de l'execution de la commande 'H'.

Cordialement.
03/04/2013, 01h08
disedorgue

Le traitement d'un fichier binaire est plus complexe qu'un fichier texte.
Pour que l'on puisse t'aider correctement, il faudrait que l'on sache plus ou moins ton but final.
Quel information est importante, et que veux tu en faire ensuite ?
Désire tu avoir l'information en binaire ou la version transformer en texte te suffit ?
A priori, ce que j'ai donner dans le poste précédent n'est pas valable car le EOF n'est pas une chaine textuelle mais le caractère EOF interprété par ton editeur.

Cordialement.
03/04/2013, 01h37
thomas.m

Citation:

Envoyé par disedorgue

Le traitement d'un fichier binaire est plus complexe qu'un fichier texte.
Pour que l'on puisse t'aider correctement, il faudrait que l'on sache plus ou moins ton but final.
Quel information est importante, et que veux tu en faire ensuite ?
Désire tu avoir l'information en binaire ou la version transformer en texte te suffit ?
A priori, ce que j'ai donner dans le poste précédent n'est pas valable car le EOF n'est pas une chaine textuelle mais le caractère EOF interprété par ton editeur.

Cordialement.

Merci pour ta réponse.

Je cherche à récupérer l'information sous format texte pour extraire de ces lignes des variables avec leurs valeurs que je traite dans un script.
Si je peux récupérer l'information sous format texte cela me convient donc tout à fait (cela fonctionne pour d'autres fichiers pour lesquels je n'ai pas à rajouter cette condition : "et contient VERSION")

j'ai testé ta commande

Code:

sed -n '/^3HKP0000Y/,/EOF/H;/EOF/{g;/Version/{s/^\n//;p};s/.*//;x}' ../Monfichierbinaire

qui ne me renvoie pas ce qu'il faut.

Je vais tenter de faire quelque chose avec tes indications demain, merci encore en tout cas.
03/04/2013, 02h29
disedorgue

Essaies la commande suivante aussi, en plus des n° de ligne, celle-ci n'affichera que les caractères affichables, pas les caractères de controle, après, a toi de voir si toutes les informations que tu as besoin sont bien présentent et comment définir les règles de récupération:

Code:

LANG=C sed 's/[^[:print:]]//g;='

ATTENTION: le LANG=C est important sur le choix de ce qui est considéré comme caractère imprimable.Et la ligne de commande est correcte tel quel.

Cordialement.
03/04/2013, 09h13
thomas.m

Citation:

Envoyé par disedorgue

Essaies la commande suivante aussi, en plus des n° de ligne, celle-ci n'affichera que les caractères affichables, pas les caractères de controle, après, a toi de voir si toutes les informations que tu as besoin sont bien présentent et comment définir les règles de récupération:

Code:

LANG=C sed 's/[^[:print:]]//g;='

ATTENTION: le LANG=C est important sur le choix de ce qui est considéré comme caractère imprimable.Et la ligne de commande est correcte tel quel.

Cordialement.

Excellent ça marche !

Ma commande est donc sous la forme :

Code:

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/^3JDT0000YI.*Version/,/EOF/p"

Et elle renvoie donc bien tout ce qui se trouve entre les lignes "3JDT0000YI ...* Valeur*" et "EOF"
Nickel ! Il ne me reste plus qu'à vérifier que mon traitement de récupération des données n'est pas altéré par la nouvelle forme des données d'entrée vu que le texte comporte de nouveaux caractères (lisibles certes) parasites.

Mais à première vue ça a l'air toujours bon.

Merci encore disedorgue
03/04/2013, 10h37
jack-ft

Dans le 13ème post, disedorgue demande des précisions sur le but final:

Citation:

Envoyé par disedorgue

Le traitement d'un fichier binaire est plus complexe qu'un fichier texte.
Pour que l'on puisse t'aider correctement, il faudrait que l'on sache plus ou moins ton but final.
Quel information est importante, et que veux tu en faire ensuite ?
Désire tu avoir l'information en binaire ou la version transformer en texte te suffit ?

Dans le post suivant, thomas.m apporte cette précision sur le but final qui rend alors caduc le sous-but qu'il imaginait initialement et permet à disedorgue de fournir une solution adaptée au besoin final.

Je constate (une fois de plus (ai-je envie de dire)) qu'une solution est plus facile à trouver lorsque le but final est plus clair! :ccool:

Il me semble que les contributeurs pourraient gagner du temps et de l'énergie en demandant des précisions plus tôt dans la conversation, non?
03/04/2013, 20h47
disedorgue
Citation:

Envoyé par thomas.m

Excellent ça marche !

Ma commande est donc sous la forme :

Code:

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/^3JDT0000YI.*Version/,/EOF/p"

Et elle renvoie donc bien tout ce qui se trouve entre les lignes "3JDT0000YI ...* Valeur*" et "EOF"
Nickel ! Il ne me reste plus qu'à vérifier que mon traitement de récupération des données n'est pas altéré par la nouvelle forme des données d'entrée vu que le texte comporte de nouveaux caractères (lisibles certes) parasites.

Personnellement, je suis surpris qu'il y est une chaine EOF dans ton fichier,
il te retourne quelque chose avec cette commande sed ?

Code:

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/EOF/p"

Je me pose cette question car la commande sed

Code:

/^3JDT0000YI.*Version/,/EOF/p

ne fonctionne pas que dans un cas mais dans 2:
1. Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'au pattern "EOF"
2. Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'a la fin du fichier s'il ne rencontre pas le pattern "EOF"
Cordialement.
03/04/2013, 21h15
Invité

Sinon, tu peux aussi récupérer l'endroit où se situe les chaînes de caractères recherchées. Ca ne sera pas du sed, mais ça pourrais te simplifier te simplifier la suite.

On peut faire la recherche en hexa comme ceci (le "tail -1" est pour récupérer uniquement la dernière position de cette chaîne):

Code:

grep -aobP '\x33\x48\x4b\x50\x30\x30\x30\x30\x59' fichier | tail -1 | cut -d ":" -f1

'\x33\x48\x4b\x50\x30\x30\x30\x30\x59' = 3HKP0000Y en hexa

Il te suffira de faire passer ton traitement entre les 2 positions obtenues.
08/04/2013, 21h50
thomas.m
Bonjour et désolé pour les réponses tardives !

Citation:

Envoyé par disedorgue

il te retourne quelque chose avec cette commande sed ?

Code:

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/EOF/p"

Il me retourne que des EOF à la suite. Pourquoi cela te trouble - t - il ?
Citation:
Envoyé par disedorgue

Je me pose cette question car la commande sed

Code:

/^3JDT0000YI.*Version/,/EOF/p

ne fonctionne pas que dans un cas mais dans 2:

Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'au pattern "EOF"
Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'a la fin du fichier s'il ne rencontre pas le pattern "EOF"

Cordialement.
En tout cas dans mon cas ça fonctionne.
Le fichier binaire que je traite est en fait composé de plusieurs sous parties commençant toutes par :
3XXX0000YY[blabla en binaire]Version X.X
[Contenu du fichier avec des paramètres lisibles à récupérer sur plusieurs lignes + bla bla en binaire]
EOF
3XXX0000YY[blabla en binaire]Version X.X
[Contenu du fichier avec des paramètres lisibles à récupérer sur plusieurs lignes + bla bla en binaire]
EOF
3XXX0000YY[blabla en binaire]Version X.X
[Contenu du fichier avec des paramètres lisibles à récupérer sur plusieurs lignes + bla bla en binaire]
EOF
etc. etc.

Je peux flaguer le sujet comme résolu en tout cas, et je vous remercie grandement pour votre aide

Voir 40 message(s) de cette discussion en une page