Le nombre de lignes ne correspond pas

Bonjour,

Mon prof n'a rien trouvé de mieux pour nous apprendre à utiliser les regex que de nous faire trier un extrait de base de données modifié (date sous des formats abracadabrant, encodages divers, identifiants au format random...) le tout sous la forme d'un fichier txt de 15504 lignes.
Alors j'ai commencé par découper le fichier selon divers critères mais je me heurte à un premier problème : lorsque j'additionne le nombre de lignes dans le fichier contenant des données sous un format (format1.txt) avec mon fichier original (inventaire1.txt) auquel j'ai retiré les lignes de format1.txt j'obtient 15505 lignes.
Savez vous d'où vient cette ligne supplémentaire ?
J'utilise

Code:

---

wc -l

---

pour afficher le nombre de ligne de mes fichiers, cette commande compte t elle une ligne en fin de fichier par exemple, quelque chose de non affiché et qui serait donc compté deux fois ?
pour retirer les lignes je fait

Code:

---

grep -v -f format1.txt inventaire-complet.txt > inventaire1.txt

---

Ou alors ce sont mes regex qui sont foireuses... possible aussi

Merci d'avance

PS : si vous avez aussi un logiciel capable de trier ce fichier texte, le mettre en forme, et répondre aux 5 requêtes que je souhaite faire dessus, ce serai super sympa de partager !

Bonjour,

'wc -l' compte le nombre de retours à la ligne. Donc, si ta dernière ligne n'est pas terminée, pour lui, elle n'existe pas.
Pour avoir le nombre de lignes, tu préféreras peut-être des techniques comme:

Code:

---

1 2	$ sed -n '$=' fichier 15505

---

'grep' est bien pour filtrer.
'sed' est bien pour faire de la modification brute de texte.
'awk' est bien pour modifier un texte organisé en champs (comme une extraction de base ...) ou s'il y a de l'arithmétique.
'sort' est généralement la commande utilisée pour trier élégamment.

Citation:

---

Envoyé par Flodelarab

'wc -l' compte le nombre de retours à la ligne. Donc, si ta dernière ligne n'est pas terminée, pour lui, elle n'existe pas.

---

Pour vérifier comment finit ton fichier, tu peux essayer ceci:

Code:

---

tail -1 format1.txt | od -c

---

Par exemple:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

$ cat fic_sans_CR.txt ligne 1 ligne 2 ligne 3 $ od -c fic_sans_CR.txt 0000000 l i g n e 1 \n l i g n e 2 \n 0000020 l i g n e 3 0000027 $ tail -1 fic_sans_CR.txt | od -c 0000000 l i g n e 3 0000007 $ tail -2 fic_sans_CR.txt | od -c 0000000 l i g n e 2 \n l i g n e 3 0000017

---

Bonjour,

Merci pour vos réponses :)

Concernant le nombre de ligne il reste identique que je fasse un sed ou un wc : j'ai toujours une ligne de trop.

Je ne comprend pas bien l'utilisation du od. On affiche les données ASCII de la page dernière ligne ?
Quoi qu'il en soit voici le résultat :

Code:

---

1 2 3 4 5

leinox@ubuntu:~/TP3-Unix/autre$ tail -1 format1.txt | od -c 0000000 0 1 A 9 9 G O L \t 1 0000020 1 6 3 6 - 0 1 \t 2 0 1 1 - 0 7 0000040 - 2 1 \t p r 303 251 s e n t \t \t \n 0000060

---

Ce que je déteste les regex quand même -_-

Merci encore !

Ta question n'a pas de sens. Tu additionnes des choux et des torchons:

Code:

---

1 2 3 4 5 6

$ grep -v -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla") Jean-Louis Mireille Balthazar Elodie Priscilla

---

Dans cet exemple avec ton même raisonnement, tu dirais: 5+2=7 alors que j'en avais 15...

Citation:

---

Envoyé par Flodelarab

Ta question n'a pas de sens. Tu additionnes des choux et des torchons:

Code:

---

1 2 3 4 5 6

$ grep -v -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla") Jean-Louis Mireille Balthazar Elodie Priscilla

---

Dans cet exemple avec ton même raisonnement, tu dirais: 5+2=7 alors que j'en avais 15...

---

Moi je ne comprend pas ta réponse. Ce que je voulais dire c'était que j'utilisais wc sur mes deux fichiers pour compter le nombre de ligne, puis j'ai essayé avec le sed que tu m'as proposé sur les deux fichiers a nouveau. J'addition chaque fois des lignes. A moins que ton sed fasse autre chose, et je n'ai pas compris.

En l'honneur de quoi le nombre de lignes de format1 + le nombre de lignes de inventaire1 devrait-il faire le nombre de ligne de inventaire-de-base?

Citation:

---

Envoyé par Flodelarab

En l'honneur de quoi le nombre de lignes de format1 + le nombre de lignes de inventaire1 devrait-il faire le nombre de ligne de inventaire-de-base?

---

Si je retire les lignes de format1 à inventaire-complet pour obtenir inventaire1, lorsque l'additionne format1 et inventaire1 je devrais tomber sur inventaire-complet... non ? ou alors je dois retourner au CP ?

Citation:

---

Envoyé par Leinox

Si je retire les lignes de format1 à inventaire-complet pour obtenir inventaire1, lorsque l'additionne format1 et inventaire1 je devrais tomber sur inventaire-complet... non ? ou alors je dois retourner au CP ?

---

Ben... faut voir!

Ça dépend très fortement de ce qu'on définit par "retirer"!

"grep -v" va "retirer" de "inventaire-complet" toutes les lignes dont au moins une partie est une des lignes de "format1".
En conséquence, le nombre de lignes retirées peut être égal, inférieur ou supérieur au nombre de lignes de "format1"!

Le "égal", c'est, par exemple (mais pas exclusivement), lorsque chaque ligne de "format1" matche exactement une ligne de "inventaire-complet".
Le "inférieur", c'est, par exemple, si aucune ligne de "inventaire-complet" ne matche de ligne de "format1".
Le "supérieur", c'est, par exemple, si toutes les lignes de "inventaire-complet" matchent l'unique ligne de "format1".

Bref, on ne peut pas juste retirer et ajouter sans autre information...

Citation:

---

Envoyé par Leinox

ou alors je dois retourner au CP ?

---

Oui, tu dois retourner au CP. Mais pas pour le calcul. Pour la lecture. (je n'ai pas dit "déchiffrage", mais "lecture").
Ceci est un forum. Sens-toi libre de lire et relire les messages, jusqu'à ce que tu les comprennes.

Dans l'exemple que je t'ai donné, on part d'un fichier de 15 lignes dont on filtre 2 sortes de lignes. Il en reste 5. Et toi, tu voudrais que 5 (résultat) + 2 (lignes servant de filtre) égalent 15 (fichier initial). Ce n'est pas bon. Ton addition n'a pas de sens.

Et encore, on n'a pas parlé des caractères spéciaux (.+?*\ et d'autres)

Bonjour,
Ici, le problème c'est qu'une seule regex peut être vrai pour 0,1 ou plusieurs lignes, tu ne peux donc pas être sur d'avoir une correspondance entre:
format1.txt + inventaire1.txt = inventaire-complet.txt.
Sauf si dans tes pré-requis, ton fichier de regex est injectif à ton fichier complet:
Chaque regex correspond à une seule ligne de ton fichier complet et qu'une ligne de ton fichier complet n'a qu'une seul regex lui correspondant.

Je dirais même plus (pour être vraiment injectif):
une ligne de ton fichier complet n'a, au plus, qu'une seule regex lui correspondant.

C'est vrai..., on peut même dire, au moins injective, car si elle est bijective, cela fonctionne aussi, mais je crois que l'on va arrêter là, car on peut vite perdre les gens...

S'il veut à tout pris faire une addition, dans ce cas, en reprenant l'exemple de Flodelarab:

Code:

---

1 2 3 4

$ grep -c -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla") 10 $ grep -v -f <( echo -e "Toto\nTata") <(echo -e "Toto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nToto\nJean-Louis\nMireille\nBalthazar\nElodie\nPriscilla") | wc -l 5

---

Et jusqu'à preuve du contraire, 10+5=15 :aie::ptdr:

Salut salut !

Bon, vous m'avez perdu et j'ai du me suis mal exprimer... ou alors je suis imperméable à vos explication : si c'est le cas j'en suis vraiment désolé je ne souhaite pas m'énerver avec vous, j'aime bien ce forum !
Quoi qu'il en soit je me suis débrouillé autrement. Merci de vos tentatives d'aide :)

Puis je poser une autre question ?

Je doit retirer un grand nombre de lignes d'un fichier en fonction d'un autre fichier. Pour faire ça j'utilise

Code:

---

grep -vf fichierFiltre fichierSource > fichierResultat

---

Sauf qu'avec 15k lignes dans le fichier source et 14k dans le fichier source, grep me retourne gentiment :

Code:

---

grep : Regular expression too big

---

Une petite idée svp ?

EDIT : Pour ajouter de la précision : mon fichierFiltre est un extract de fichierSource.
Pour le moment je me bat avec des choses comme :

Code:

---

diff --old-line-format= --unchanged-line-format= --new-line-format=%L txt1 txt2

---

trouvé sur ce même forum

C'est quoi le projet ? Le vrai projet! Parce que, là, te voir te débattre avec tes grep me fait mal au coeur.

C'est pour comparer 2 fichier? Un outil comme comm ne te plaît-il pas?

L'exercice
J'ai un extract de BDD dont certaines données ont été rentré à la main

Des exemple de ligne :

Code:

---

1 2 3 4 5

13 AND 04836-01 2011-07-21 présent 12-06 SPR 02319-02 2011-07-21 présent 13 COX 10904-01 Disparu 13 HIL 06655-01 2011-07-21 présent 2010-03-03 19.89

---

COTE NUM_INVENTAIRE DATE_VU STATUT DATE_EMPRUNT
où :
COTE : est la référence qui identifie le livre.
NUM_INVENTAIRE : est la référence unique qui identifie chaque exemplaire dans la bibliothèque. Vous pouvez avoir deux exemplaires du même livre, ils auront la même cote, mais leurs numéros d'inventaire seront distincts. Le numéro d'inventaire est de la forme numéro_livre, suivi d'un tiret "-" suivi du numéro d'exemplaire.
DATE_VU : s'il est présent, correspond à la date à laquelle le livre a été vu pour la dernière fois, soit par la douchette, soit par le système d'emprunt. Dans votre fichier, la date du scan est 2011-07-21
STATUT : indique si le livre a déjà été marqué comme "disparu" lors d'un récolement antérieur, ou s'il est considéré comme présent dans la base de données (ce qui ne signifie pas qu'il est effectivement présent dans la bibliothèque...)
DATE_EMPRUNT : si elle est présente indique la date à laquelle le livre a été emprunté.
Certaines lignes comportent une donnée supplémentaire, il s'agit du prix du livre, mais cette information ne nous intéresse pas ici.

Je doit générer un fichier contenant les livres selon ces catégories :
a) présent si DATE_VU est présent et est égal à la date du scan
b) emprunté si le livre possède une date d'emprunt valide ;
c) revenu, s'il est marqué comme disparu, mais qu'il a été vu par la douchette lors du dernier scan ;
d) ancien disparu s'il n'a pas été vu par la douchette, et qu'il était déjà marqué comme disparu ;
e) dans tous les autres cas le livre est considéré comme nouveau disparu.
f) Un groupe de livre est identifié par la forme de sa cote. Par exemple : "1er cycle...", " Publications...", "Secondaire..." sont tous des groupes différents. Déterminez la liste des différents groupes présents, et calculez pour chacun le nombre d'ouvrages associés.
g) les cotes des livres comportent un code à trois lettres (LAS, MUM, ENG, etc...) qui sert à localiser le livre sur les rayonnages. La bibliothèque est organisée en 4 salles :
o la salle A, qui comporte les livres de AAA à FER
o la salle B, qui comporte les livres de FES à TUV
o la salle C, qui comporte les livres de TUW à ZZZ
o la salle D, qui comporte les livres exclus du prêt.
Identifiez le nombre de livres présents dans chaque salle, et générez pour chacune d'elles un fichier qui contient, pour chaque livre, ce code à trois lettres et
son numéro d'inventaire, séparés par deux points ":". Le tout devra être trié par ordre croissant.

(désolé pour la mise en page parfois étrange, c'est un copier/coller depuis un pdf, j'ai fait au mieux)

Voici un lien vers le le fichier d'inventaire complet qui me cause tant de mal : https://www.dropbox.com/s/3tzca1ou85...mplet.txt?dl=0

J'en suis à la question e, ce qui met en évidence que je n'ai pas une liste complète des livres disparu.

Edit : d'après ce que je lis, comm est à utiliser sur des fichiers déjà trié, mais trié sur quoi ?

Laisse tomber comm et grep. L'outil qu'il te faut est awk qui traite des fichiers textes organisés en colonnes.
Je ne sais pas qui a modifié l'extraction de base mais ce n'est pas très malin. Du coup, la colonne 6 et 7 s'entremêlent.

Sinon, pour ta question a, il aurait suffi de faire un truc du genre:

Code:

---

1 2 3 4 5 6 7 8 9 10 11

$ awk '$6' inventaire-complet.txt 00A30 CAS 04833-01 2011-06-17 présent 2011-06-17 18.00 00A99 IFL 05706-01 2011-07-21 présent 2010-11-19 81.00 01A05 HAL 06451-01 2011-07-21 présent 2010-01-04 87.00 01A60 AUD 07581-01 2011-07-21 présent 2010-07-05 37.97 03 BUS 06657-01 2010-01-25 présent 2010-01-25 121.58 03 COH 06686-01 2011-07-21 présent 2010-01-25 13.26 03 DEV 06684-01 2010-01-25 présent 2010-01-25 43.15 03 FOR 07068-01 2010-03-09 présent 2010-03-09 191.69 03 FOR 07070-01 2010-03-09 présent 2010-03-09 191.69 03 FOR 07113-01 2010-03-09 présent 2010-03-09 191.69

---

D'ailleurs, il y a bien plus de champs que les 4 dont tu nous parles.

Si tu peux reprendre le fichier brut, FAIS-LE.

Salut salut !

Merci pour ta réponse. Je m'en suis sorti avec mes grep et mes diff ^^
Comme tu l'as conseillé j'ai modifié le fichier original. Celui qui a modifié ce fichier afin de rendre son utilisation cauchemardesque n'est autre que mon prof : "vous verrez souvent ce genre de chose dans votre carrière" qu'il a dit !
De ma maigre expérience pro en tant qu'IT (3ans sous windows) je garanti pas l'intégrité physique des personnes touchant à mes bases de données pour obtenir ce résultat 8O

Enfin je lui ai rendu son machin, merci encore pour votre aide :)