Discussion :

[thomas.m]

Bonjour,

Je dispose d'un fichier binaire dont j'aimerais récupérer une sous partie, débutant par une ligne bien précise et terminant par une autre.

Jusqu'à présent pas de problème.

Par exemple, si je veux extraire la sous partie débutant par 3HKP0000Y et se terminant par EOF :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n "/^3HKP0000Y/,/EOF/p" ../Monfichierbinaire

ça fonctionne.

Par contre si je veux compliquer la chose, en précisant :
je veux extraire la sous partie débutant par la ligne : "commençant par 3HKP0000Y et contenant Version"
et se terminant toujours par EOF :

Si je fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n "/^3HKP0000Y\(.*\)Version\(.*\)/,/EOF/p" ../Monfichierbinaire

par exemple, cela ne fonctionne pas.

Pour info, voici un aperçu de la ligne que je recherche dans le fichier :



Merci d'avance pour votre aide

Thomas

[N_BaH]

Bonjour,

Par exemple, si je veux extraire la sous partie débutant par 3HKP0000Y et se terminant par EOF :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n "/^3HKP0000Y/EOF/p" ../Monfichierbinaire

ça fonctionne.

c'est bizarre, ça ne devrait pas
la barre oblique est le séparateur de commandes de sed, si elle apparaît dans le motif, alors il faut la protéger pour que sed ne confonde pas.

Si je fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n "/^3HKP0000Y\(.*\)Version\(.*\)/EOF/p" ../Monfichierbinaire

par exemple, cela ne fonctionne pas.

pourquoi mettre .* entre parenthèses ?


quelle étrange idée de s'embêter à capturer une image, au lieu de faire un copier-coller dans une balise code ?
c'est pas très pratique pour nous : il faut qu'on se tape la recopie de l'extrait à la main pour faire des tests

[Flodelarab]

L'exemple est d'autant plus étrange qu'aucune ligne ne commence par 3HKP0000Y, continue avec Version et finit par EOF.


Sinon, pour être constructif, je dirais qu'on n'est pas obligé de tout faire d'un coup. Et je propose cette solution (en 3 instructions, donc):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '/^3HKP0000Y/!d;/Version/!d;/EOF$/!d' ../Monfichierbinaire

En français, ça donne: "Supprimer les lignes qui ne commencent pas par ... ne contiennent pas ... et ne finissent pas par..."


Si tu veux travailler uniquement sur la dernière ligne de ton fichier (Ce que suggère EOF (end of file) ) le sigle $ est bon pour toi:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '$!d;/^3HKP0000Y/!d;/Version/!d' ../Monfichierbinaire

[zipe31]

Salut,

Sinon, pour être constructif, je dirais qu'on n'est pas obligé de tout faire d'un coup. Et je propose cette solution (en 3 instructions, donc):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '/^3HKP0000Y/!d;/Version/!d;/EOF$/!d' ../Monfichierbinaire

En français, ça donne: "Supprimer les lignes qui ne commencent pas par ... ne contiennent pas ... et ne finissent pas par..."

Ce qui pourrait se réduire à :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '/^3HKP0000Y\|Version\|EOF$/!d' ../Monfichierbinaire

En français, ça donnerait : "Supprimer les lignes qui ne commencent pas par ... OU ne contiennent pas ... OU et ne finissent pas par..."

[thomas.m]

Bonjour,

Merci à tous pour vos réponses.

c'est bizarre, ça ne devrait pas
la barre oblique est le séparateur de commandes de sed, si elle apparaît dans le motif, alors il faut la protéger pour que sed ne confonde pas.

J'utilise la commande sed pour extraire tout ce qui se trouve entre le premier match de la commande et le deuxième match : sed -n "/MATCH1/MATCH2/p".
Est ce que je me trompe dans la commande ? je ne suis pas un expert en sed et regex, en tout cas cette synthaxe fonctionne pour d'autres applications.

pourquoi mettre .* entre parenthèses ?

Je ne sais pas, je vais essayer sans

quelle étrange idée de s'embêter à capturer une image, au lieu de faire un copier-coller dans une balise code ?
c'est pas très pratique pour nous : il faut qu'on se tape la recopie de l'extrait à la main pour faire des tests

En fait, vu qu'il s'agit de caractères "null" issus d'un fichier binaire, lorsque je copie colle sur le forum, tous les caractères spéciaux sont convertis en espace blanc ... pas très parlant ! Je voulais que vous visualisiez ce que j'ai à l'écran.

L'exemple est d'autant plus étrange qu'aucune ligne ne commence par 3HKP0000Y, continue avec Version et finit par EOF.

Je me suis peu être mal exprimé. Je cherche à récupérer tout ce qui se trouve entre 2 lignes.
La première ligne : doit commencer par 3HKP0000Y par exemple, et contenir version. entre les deux se trouvent des caractères binaires illisibles.
La deuxième ligne : = EOF

Je vais tester vos différentes propositions dès ce soir et je vous tiens au courant, mais il va falloir que j'adapte ça pour bien récupérer tout ce qu'il y a entre les deux.

En gros il faudrait trouver une regex qui arrive à matcher la ligne qui débute par 3HKP0000Y et qui contient "Version" dans le screenshot joint.

Merci en tout cas pour votre aide

[N_BaH]

vu qu'il s'agit de caractères "null" issus d'un fichier binaire[...]

effectivement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '/^3HKP0000Y.*Version/!d' fichier

pour être plus précis / est le séparateur d'expression par défaut; le séparateur de commandes c'est ;.

[N_BaH]

mais, à ce compte, tu pourrais aussi bien utiliser grep :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep '^3HKP0000Y.*Version' fichier

[Flodelarab]

Ce qui pourrait se réduire à :

La tentative de prendre les problèmes un par un n'aura pas duré longtemps

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '/^3HKP0000Y\|Version\|EOF$/!d' ../Monfichierbinaire

En français, ça donnerait : "Supprimer les lignes qui ne commencent pas par ... OU ne contiennent pas ... OU et ne finissent pas par..."

Et bien non. Dans ton script, il suffit que la ligne contienne l'un des trois pour ne pas être détruite. Dans mon script, l'absence de l'un des trois fusille la ligne.

mais, à ce compte, tu pourrais aussi bien utiliser grep :

Sauf s'il veut détecter la fin de fichier. Auquel cas, je maintiens le deuxième script.

A ce propos, je rappelle qu'il ne faut pas confondre

• $ qui signifie la fin de ligne dans une expression régulière (regex)
• $ qui signifie la dernière ligne du fichier dans l'adressage sed

[zipe31]

La tentative de prendre les problèmes un par un n'aura pas duré longtempsEt bien non. Dans ton script, il suffit que la ligne contienne l'un des trois pour ne pas être détruite. Dans mon script, l'absence de l'un des trois fusille la ligne

Exact, toutes mes plates de ce fait.

Pour une fois que je ne teste pas

A ma décharge je n'avais pas bien fait attention à la négation, qui dans ce cas fait bien foirer ma syntaxe.

[thomas.m]

Le problème c'est que :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep '^3HKP0000Y' ../monfichier

fonctionne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Fichier binaire ../monfichier concordant

Mais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep '^3HKP0000Y.*Version' ../monfichier

ne fonctionne pas ...

Alors que

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep '.*Version' ../monfichier

fonctionne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Fichier binaire ../monfichier concordant

Concernant la solution d'éliminer les lignes une par une, cela ne marche pas dans mon cas car je veux récupérer toutes les lignes qui sont entre les deux qui m'intéressent..

[thomas.m]

Voici un cas concret

Cette fois ci je veux rechercher la ligne contenant 3JDT0000YI et Version.

J'ai utilisé les commandes "sed -n Xp $monfichier" ci-dessous pour afficher concrètement le contenu des lignes.

Si j'affiche la 6ème ligne, celle ci commence bien par 3JDT0000YI mais ce n'est pas la ligne que je veux trouver.
Celle qui m'intéresse est la 14eme : voir sed -n 14p $monfichier.
Bizarrement les lignes s'affichent sur plusieurs lignes dans ce cas là, alors que dans mon editeur de texte elles apparaîssent sur une seule ligne. Vu que c'est du binaire cela doit dépendre de l'interprétation qui est faite des caractères je suppose..

En tout cas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n '/^3JDT0000YI.*Version/" $monfichier

ne renvoie rien...
J'ai testé de faire sed -n '/Ilv.*Version/" $monfichier pour voir si cela ne venait pas de la ligne, mais là ça marche... J'ai l'impression que dès que la regex englobe des caractères inconnus ça ne fonctionne pas.



Sinon est il possible de faire ainsi :
Trouver la ligne qui commence par 3JDT0000YI
et dont la ligne suivante commence par "// File Generated" ??

Merci beaucoup d'avance pour votre aide

[disedorgue]

Bonjour,

En fait ton souci selon les informations que tu nous a données, est que les 3 patterns de référence que tu utilises ne se trouvent pas sur la même ligne et a priori, ce qui t'interesse est de prendre un bloc qui commence par "3HKP0000Y", qui finit par "EOF" et il faut que dans ce bloc, il y est "Version".

Donc si tu veux le faire en sed, l'une des façons de faire:

-ramener toutes les lignes se trouvant entre "3HKP0000Y" et "EOF" dans le buffer auxiliaire de sed
-Lorsque ligne avec EOF atteint:

-On copie le buffer auxiliaire vers le buffer pattern de sed
-Si on trouve le mot Version dans le buffer pattern de sed, alors on affiche se buffer.
-On vide ensuite le buffer pattern et on echange les buffer (ceci dans le cas où il y plusieurs blocs dans le fichier)

ce qui donne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n '/^3HKP0000Y/,/EOF/H;/EOF/{g;/Version/{s/^\n//;p};s/.*//;x}' ../Monfichierbinaire

Ici, on utilise l'option -n de sed car ici sed ne doit pas afficher le buffer pattern que sur demande et la commande 's/^\n//' supprime le '\n' qui est rajouter par sed lors de l'execution de la commande 'H'.

Cordialement.

[disedorgue]

Le traitement d'un fichier binaire est plus complexe qu'un fichier texte.
Pour que l'on puisse t'aider correctement, il faudrait que l'on sache plus ou moins ton but final.
Quel information est importante, et que veux tu en faire ensuite ?
Désire tu avoir l'information en binaire ou la version transformer en texte te suffit ?
A priori, ce que j'ai donner dans le poste précédent n'est pas valable car le EOF n'est pas une chaine textuelle mais le caractère EOF interprété par ton editeur.

Cordialement.

[thomas.m]

Le traitement d'un fichier binaire est plus complexe qu'un fichier texte.
Pour que l'on puisse t'aider correctement, il faudrait que l'on sache plus ou moins ton but final.
Quel information est importante, et que veux tu en faire ensuite ?
Désire tu avoir l'information en binaire ou la version transformer en texte te suffit ?
A priori, ce que j'ai donner dans le poste précédent n'est pas valable car le EOF n'est pas une chaine textuelle mais le caractère EOF interprété par ton editeur.

Cordialement.

Merci pour ta réponse.

Je cherche à récupérer l'information sous format texte pour extraire de ces lignes des variables avec leurs valeurs que je traite dans un script.
Si je peux récupérer l'information sous format texte cela me convient donc tout à fait (cela fonctionne pour d'autres fichiers pour lesquels je n'ai pas à rajouter cette condition : "et contient VERSION")

j'ai testé ta commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n '/^3HKP0000Y/,/EOF/H;/EOF/{g;/Version/{s/^\n//;p};s/.*//;x}' ../Monfichierbinaire

qui ne me renvoie pas ce qu'il faut.

Je vais tenter de faire quelque chose avec tes indications demain, merci encore en tout cas.

[disedorgue]

Essaies la commande suivante aussi, en plus des n° de ligne, celle-ci n'affichera que les caractères affichables, pas les caractères de controle, après, a toi de voir si toutes les informations que tu as besoin sont bien présentent et comment définir les règles de récupération:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LANG=C sed 's/[^[:print:]]//g;='

ATTENTION: le LANG=C est important sur le choix de ce qui est considéré comme caractère imprimable.Et la ligne de commande est correcte tel quel.

Cordialement.

[thomas.m]

Essaies la commande suivante aussi, en plus des n° de ligne, celle-ci n'affichera que les caractères affichables, pas les caractères de controle, après, a toi de voir si toutes les informations que tu as besoin sont bien présentent et comment définir les règles de récupération:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LANG=C sed 's/[^[:print:]]//g;='

ATTENTION: le LANG=C est important sur le choix de ce qui est considéré comme caractère imprimable.Et la ligne de commande est correcte tel quel.

Cordialement.

Excellent ça marche !

Ma commande est donc sous la forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/^3JDT0000YI.*Version/,/EOF/p"

Et elle renvoie donc bien tout ce qui se trouve entre les lignes "3JDT0000YI ...* Valeur*" et "EOF"
Nickel ! Il ne me reste plus qu'à vérifier que mon traitement de récupération des données n'est pas altéré par la nouvelle forme des données d'entrée vu que le texte comporte de nouveaux caractères (lisibles certes) parasites.

Mais à première vue ça a l'air toujours bon.

Merci encore disedorgue

[jack-ft]

Dans le 13ème post, disedorgue demande des précisions sur le but final:

Le traitement d'un fichier binaire est plus complexe qu'un fichier texte.
Pour que l'on puisse t'aider correctement, il faudrait que l'on sache plus ou moins ton but final.
Quel information est importante, et que veux tu en faire ensuite ?
Désire tu avoir l'information en binaire ou la version transformer en texte te suffit ?

Dans le post suivant, thomas.m apporte cette précision sur le but final qui rend alors caduc le sous-but qu'il imaginait initialement et permet à disedorgue de fournir une solution adaptée au besoin final.

Je constate (une fois de plus (ai-je envie de dire)) qu'une solution est plus facile à trouver lorsque le but final est plus clair!

Il me semble que les contributeurs pourraient gagner du temps et de l'énergie en demandant des précisions plus tôt dans la conversation, non?

[disedorgue]

Excellent ça marche !

Ma commande est donc sous la forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/^3JDT0000YI.*Version/,/EOF/p"

Et elle renvoie donc bien tout ce qui se trouve entre les lignes "3JDT0000YI ...* Valeur*" et "EOF"
Nickel ! Il ne me reste plus qu'à vérifier que mon traitement de récupération des données n'est pas altéré par la nouvelle forme des données d'entrée vu que le texte comporte de nouveaux caractères (lisibles certes) parasites.

Personnellement, je suis surpris qu'il y est une chaine EOF dans ton fichier,
il te retourne quelque chose avec cette commande sed ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/EOF/p"

Je me pose cette question car la commande sed

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/^3JDT0000YI.*Version/,/EOF/p

ne fonctionne pas que dans un cas mais dans 2:

1. Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'au pattern "EOF"
2. Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'a la fin du fichier s'il ne rencontre pas le pattern "EOF"

Cordialement.

[Invité]

Sinon, tu peux aussi récupérer l'endroit où se situe les chaînes de caractères recherchées. Ca ne sera pas du sed, mais ça pourrais te simplifier te simplifier la suite.

On peut faire la recherche en hexa comme ceci (le "tail -1" est pour récupérer uniquement la dernière position de cette chaîne):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -aobP '\x33\x48\x4b\x50\x30\x30\x30\x30\x59' fichier | tail -1 | cut -d ":" -f1

'\x33\x48\x4b\x50\x30\x30\x30\x30\x59' = 3HKP0000Y en hexa

Il te suffira de faire passer ton traitement entre les 2 positions obtenues.

[thomas.m]

Bonjour et désolé pour les réponses tardives !

il te retourne quelque chose avec cette commande sed ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LANG=C sed 's/[^[:print:]]//g;=' $fichier | sed -n "/EOF/p"

Il me retourne que des EOF à la suite. Pourquoi cela te trouble - t - il ?

Je me pose cette question car la commande sed

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

/^3JDT0000YI.*Version/,/EOF/p

ne fonctionne pas que dans un cas mais dans 2:

1. Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'au pattern "EOF"
2. Lorsque le pattern "^3JDT0000YI.*Version" est rencontré jusqu'a la fin du fichier s'il ne rencontre pas le pattern "EOF"

Cordialement.

En tout cas dans mon cas ça fonctionne.
Le fichier binaire que je traite est en fait composé de plusieurs sous parties commençant toutes par :
3XXX0000YY[blabla en binaire]Version X.X
[Contenu du fichier avec des paramètres lisibles à récupérer sur plusieurs lignes + bla bla en binaire]
EOF
3XXX0000YY[blabla en binaire]Version X.X
[Contenu du fichier avec des paramètres lisibles à récupérer sur plusieurs lignes + bla bla en binaire]
EOF
3XXX0000YY[blabla en binaire]Version X.X
[Contenu du fichier avec des paramètres lisibles à récupérer sur plusieurs lignes + bla bla en binaire]
EOF
etc. etc.

Je peux flaguer le sujet comme résolu en tout cas, et je vous remercie grandement pour votre aide