Discussion :

[Leinox]

Bonjour,

Mon prof n'a rien trouvé de mieux pour nous apprendre à utiliser les regex que de nous faire trier un extrait de base de données modifié (date sous des formats abracadabrant, encodages divers, identifiants au format random...) le tout sous la forme d'un fichier txt de 15504 lignes.
Alors j'ai commencé par découper le fichier selon divers critères mais je me heurte à un premier problème : lorsque j'additionne le nombre de lignes dans le fichier contenant des données sous un format (format1.txt) avec mon fichier original (inventaire1.txt) auquel j'ai retiré les lignes de format1.txt j'obtient 15505 lignes.
Savez vous d'où vient cette ligne supplémentaire ?
J'utilise

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

wc -l

pour afficher le nombre de ligne de mes fichiers, cette commande compte t elle une ligne en fin de fichier par exemple, quelque chose de non affiché et qui serait donc compté deux fois ?
pour retirer les lignes je fait

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -v -f format1.txt inventaire-complet.txt > inventaire1.txt

Ou alors ce sont mes regex qui sont foireuses... possible aussi

Merci d'avance

PS : si vous avez aussi un logiciel capable de trier ce fichier texte, le mettre en forme, et répondre aux 5 requêtes que je souhaite faire dessus, ce serai super sympa de partager !

[Flodelarab]

Bonjour,

'wc -l' compte le nombre de retours à la ligne. Donc, si ta dernière ligne n'est pas terminée, pour lui, elle n'existe pas.
Pour avoir le nombre de lignes, tu préféreras peut-être des techniques comme:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ sed -n '$=' fichier
15505

'grep' est bien pour filtrer.
'sed' est bien pour faire de la modification brute de texte.
'awk' est bien pour modifier un texte organisé en champs (comme une extraction de base ...) ou s'il y a de l'arithmétique.
'sort' est généralement la commande utilisée pour trier élégamment.

[jack-ft]

'wc -l' compte le nombre de retours à la ligne. Donc, si ta dernière ligne n'est pas terminée, pour lui, elle n'existe pas.

Pour vérifier comment finit ton fichier, tu peux essayer ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tail -1 format1.txt | od -c

Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ cat fic_sans_CR.txt
ligne 1
ligne 2
ligne 3
$ od -c fic_sans_CR.txt
0000000   l   i   g   n   e       1  \n   l   i   g   n   e       2  \n
0000020   l   i   g   n   e       3
0000027
$ tail -1 fic_sans_CR.txt | od -c
0000000   l   i   g   n   e       3
0000007
$ tail -2 fic_sans_CR.txt | od -c
0000000   l   i   g   n   e       2  \n   l   i   g   n   e       3
0000017

[Leinox]

Bonjour,

Merci pour vos réponses

Concernant le nombre de ligne il reste identique que je fasse un sed ou un wc : j'ai toujours une ligne de trop.

Je ne comprend pas bien l'utilisation du od. On affiche les données ASCII de la page dernière ligne ?
Quoi qu'il en soit voici le résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
leinox@ubuntu:~/TP3-Unix/autre$ tail -1 format1.txt | od -c
0000000                   0   1   A   9   9       G   O   L      \t   1
0000020   1   6   3   6   -   0   1      \t   2   0   1   1   -   0   7
0000040   -   2   1  \t   p   r 303 251   s   e   n   t      \t  \t  \n
0000060

Ce que je déteste les regex quand même -_-

Merci encore !

[Flodelarab]

Ta question n'a pas de sens. Tu additionnes des choux et des torchons:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ grep -v -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla")
Jean-Louis
Mireille
Balthazar
Elodie
Priscilla

Dans cet exemple avec ton même raisonnement, tu dirais: 5+2=7 alors que j'en avais 15...

[Leinox]

Ta question n'a pas de sens. Tu additionnes des choux et des torchons:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ grep -v -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla")
Jean-Louis
Mireille
Balthazar
Elodie
Priscilla

Dans cet exemple avec ton même raisonnement, tu dirais: 5+2=7 alors que j'en avais 15...

Moi je ne comprend pas ta réponse. Ce que je voulais dire c'était que j'utilisais wc sur mes deux fichiers pour compter le nombre de ligne, puis j'ai essayé avec le sed que tu m'as proposé sur les deux fichiers a nouveau. J'addition chaque fois des lignes. A moins que ton sed fasse autre chose, et je n'ai pas compris.

[Flodelarab]

En l'honneur de quoi le nombre de lignes de format1 + le nombre de lignes de inventaire1 devrait-il faire le nombre de ligne de inventaire-de-base?

[Leinox]

En l'honneur de quoi le nombre de lignes de format1 + le nombre de lignes de inventaire1 devrait-il faire le nombre de ligne de inventaire-de-base?

Si je retire les lignes de format1 à inventaire-complet pour obtenir inventaire1, lorsque l'additionne format1 et inventaire1 je devrais tomber sur inventaire-complet... non ? ou alors je dois retourner au CP ?

[jack-ft]

Si je retire les lignes de format1 à inventaire-complet pour obtenir inventaire1, lorsque l'additionne format1 et inventaire1 je devrais tomber sur inventaire-complet... non ? ou alors je dois retourner au CP ?

Ben... faut voir!

Ça dépend très fortement de ce qu'on définit par "retirer"!

"grep -v" va "retirer" de "inventaire-complet" toutes les lignes dont au moins une partie est une des lignes de "format1".
En conséquence, le nombre de lignes retirées peut être égal, inférieur ou supérieur au nombre de lignes de "format1"!

Le "égal", c'est, par exemple (mais pas exclusivement), lorsque chaque ligne de "format1" matche exactement une ligne de "inventaire-complet".
Le "inférieur", c'est, par exemple, si aucune ligne de "inventaire-complet" ne matche de ligne de "format1".
Le "supérieur", c'est, par exemple, si toutes les lignes de "inventaire-complet" matchent l'unique ligne de "format1".

Bref, on ne peut pas juste retirer et ajouter sans autre information...

[Flodelarab]

ou alors je dois retourner au CP ?

Oui, tu dois retourner au CP. Mais pas pour le calcul. Pour la lecture. (je n'ai pas dit "déchiffrage", mais "lecture").
Ceci est un forum. Sens-toi libre de lire et relire les messages, jusqu'à ce que tu les comprennes.

Dans l'exemple que je t'ai donné, on part d'un fichier de 15 lignes dont on filtre 2 sortes de lignes. Il en reste 5. Et toi, tu voudrais que 5 (résultat) + 2 (lignes servant de filtre) égalent 15 (fichier initial). Ce n'est pas bon. Ton addition n'a pas de sens.

Et encore, on n'a pas parlé des caractères spéciaux (.+?*\ et d'autres)

[disedorgue]

Bonjour,
Ici, le problème c'est qu'une seule regex peut être vrai pour 0,1 ou plusieurs lignes, tu ne peux donc pas être sur d'avoir une correspondance entre:
format1.txt + inventaire1.txt = inventaire-complet.txt.
Sauf si dans tes pré-requis, ton fichier de regex est injectif à ton fichier complet:
Chaque regex correspond à une seule ligne de ton fichier complet et qu'une ligne de ton fichier complet n'a qu'une seul regex lui correspondant.

[jack-ft]

Je dirais même plus (pour être vraiment injectif):
une ligne de ton fichier complet n'a, au plus, qu'une seule regex lui correspondant.

[disedorgue]

C'est vrai..., on peut même dire, au moins injective, car si elle est bijective, cela fonctionne aussi, mais je crois que l'on va arrêter là, car on peut vite perdre les gens...

S'il veut à tout pris faire une addition, dans ce cas, en reprenant l'exemple de Flodelarab:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ grep -c -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla")
10
$ grep -v -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla") | wc -l
5

Et jusqu'à preuve du contraire, 10+5=15

[Leinox]

Salut salut !

Bon, vous m'avez perdu et j'ai du me suis mal exprimer... ou alors je suis imperméable à vos explication : si c'est le cas j'en suis vraiment désolé je ne souhaite pas m'énerver avec vous, j'aime bien ce forum !
Quoi qu'il en soit je me suis débrouillé autrement. Merci de vos tentatives d'aide

Puis je poser une autre question ?

Je doit retirer un grand nombre de lignes d'un fichier en fonction d'un autre fichier. Pour faire ça j'utilise

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -vf fichierFiltre fichierSource > fichierResultat

Sauf qu'avec 15k lignes dans le fichier source et 14k dans le fichier source, grep me retourne gentiment :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep : Regular expression too big

Une petite idée svp ?

EDIT : Pour ajouter de la précision : mon fichierFiltre est un extract de fichierSource.
Pour le moment je me bat avec des choses comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

diff --old-line-format= --unchanged-line-format= --new-line-format=%L  txt1 txt2

trouvé sur ce même forum

[Flodelarab]

C'est quoi le projet ? Le vrai projet! Parce que, là, te voir te débattre avec tes grep me fait mal au coeur.

C'est pour comparer 2 fichier? Un outil comme comm ne te plaît-il pas?

[Leinox]

L'exercice
J'ai un extract de BDD dont certaines données ont été rentré à la main

Des exemple de ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
    13 AND 	04836-01 	2011-07-21	présent 		
    12-06 SPR 	02319-02 	2011-07-21	présent 		
    13 COX 	10904-01 		Disparu 		
    13 HIL 	06655-01 	2011-07-21	présent 	2010-03-03 	19.89

COTE NUM_INVENTAIRE DATE_VU STATUT DATE_EMPRUNT
où :
COTE : est la référence qui identifie le livre.
NUM_INVENTAIRE : est la référence unique qui identifie chaque exemplaire dans la bibliothèque. Vous pouvez avoir deux exemplaires du même livre, ils auront la même cote, mais leurs numéros d'inventaire seront distincts. Le numéro d'inventaire est de la forme numéro_livre, suivi d'un tiret "-" suivi du numéro d'exemplaire.
DATE_VU : s'il est présent, correspond à la date à laquelle le livre a été vu pour la dernière fois, soit par la douchette, soit par le système d'emprunt. Dans votre fichier, la date du scan est 2011-07-21
STATUT : indique si le livre a déjà été marqué comme "disparu" lors d'un récolement antérieur, ou s'il est considéré comme présent dans la base de données (ce qui ne signifie pas qu'il est effectivement présent dans la bibliothèque...)
DATE_EMPRUNT : si elle est présente indique la date à laquelle le livre a été emprunté.
Certaines lignes comportent une donnée supplémentaire, il s'agit du prix du livre, mais cette information ne nous intéresse pas ici.

Je doit générer un fichier contenant les livres selon ces catégories :
a) présent si DATE_VU est présent et est égal à la date du scan
b) emprunté si le livre possède une date d'emprunt valide ;
c) revenu, s'il est marqué comme disparu, mais qu'il a été vu par la douchette lors du dernier scan ;
d) ancien disparu s'il n'a pas été vu par la douchette, et qu'il était déjà marqué comme disparu ;
e) dans tous les autres cas le livre est considéré comme nouveau disparu.
f) Un groupe de livre est identifié par la forme de sa cote. Par exemple : "1er cycle...", " Publications...", "Secondaire..." sont tous des groupes différents. Déterminez la liste des différents groupes présents, et calculez pour chacun le nombre d'ouvrages associés.
g) les cotes des livres comportent un code à trois lettres (LAS, MUM, ENG, etc...) qui sert à localiser le livre sur les rayonnages. La bibliothèque est organisée en 4 salles :
o la salle A, qui comporte les livres de AAA à FER
o la salle B, qui comporte les livres de FES à TUV
o la salle C, qui comporte les livres de TUW à ZZZ
o la salle D, qui comporte les livres exclus du prêt.
Identifiez le nombre de livres présents dans chaque salle, et générez pour chacune d'elles un fichier qui contient, pour chaque livre, ce code à trois lettres et
son numéro d'inventaire, séparés par deux points ":". Le tout devra être trié par ordre croissant.

(désolé pour la mise en page parfois étrange, c'est un copier/coller depuis un pdf, j'ai fait au mieux)

Voici un lien vers le le fichier d'inventaire complet qui me cause tant de mal : https://www.dropbox.com/s/3tzca1ou85...mplet.txt?dl=0

J'en suis à la question e, ce qui met en évidence que je n'ai pas une liste complète des livres disparu.

Edit : d'après ce que je lis, comm est à utiliser sur des fichiers déjà trié, mais trié sur quoi ?

[Flodelarab]

Laisse tomber comm et grep. L'outil qu'il te faut est awk qui traite des fichiers textes organisés en colonnes.
Je ne sais pas qui a modifié l'extraction de base mais ce n'est pas très malin. Du coup, la colonne 6 et 7 s'entremêlent.

Sinon, pour ta question a, il aurait suffi de faire un truc du genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
$ awk '$6' inventaire-complet.txt
    00A30 CAS   04833-01        2011-06-17      présent         2011-06-17      18.00
    00A99 IFL   05706-01        2011-07-21      présent         2010-11-19      81.00
    01A05 HAL   06451-01        2011-07-21      présent         2010-01-04      87.00
    01A60 AUD   07581-01        2011-07-21      présent         2010-07-05      37.97
    03 BUS      06657-01        2010-01-25      présent         2010-01-25      121.58
    03 COH      06686-01        2011-07-21      présent         2010-01-25      13.26
    03 DEV      06684-01        2010-01-25      présent         2010-01-25      43.15
    03 FOR      07068-01        2010-03-09      présent         2010-03-09      191.69
    03 FOR      07070-01        2010-03-09      présent         2010-03-09      191.69
    03 FOR      07113-01        2010-03-09      présent         2010-03-09      191.69

D'ailleurs, il y a bien plus de champs que les 4 dont tu nous parles.

Si tu peux reprendre le fichier brut, FAIS-LE.

[Leinox]

Salut salut !

Merci pour ta réponse. Je m'en suis sorti avec mes grep et mes diff ^^
Comme tu l'as conseillé j'ai modifié le fichier original. Celui qui a modifié ce fichier afin de rendre son utilisation cauchemardesque n'est autre que mon prof : "vous verrez souvent ce genre de chose dans votre carrière" qu'il a dit !
De ma maigre expérience pro en tant qu'IT (3ans sous windows) je garanti pas l'intégrité physique des personnes touchant à mes bases de données pour obtenir ce résultat

Enfin je lui ai rendu son machin, merci encore pour votre aide