Suppression de lignes d'un fichier

**griese** · 05/12/2006, 16h18

Bonjour à tous,
J'avais un probleme avec un script shell et on m'a dit de me tourner vers le perl. Mais comme je n'y connais absolument rien en perl, je me permet donc de vous exposé mon problème. Alors voila, j'ai deux fichiers dans le premier j'ai une liste de numéro de clients dans le second, j'ai des informations sur les clients. En fait je voudrai pouvoir récupérer les infos du deuxieme fichiers ne concernant que les clients qui ne sont pas présent dans le premier fichier. Pourriez vous m'aider en me proposant quelques pistes car la je n'y comprends absolument rien ? Merci pour votre aide.

**MarneusCalgarXP** · 05/12/2006, 16h53

Peux-tu fournir des exemples de lignes des 2 fichiers de données ?

**griese** · 05/12/2006, 17h00

comme se sont des fichiers concernants des infos clients je ne peux pas vous les montrer mais je peux vous expliquer la structure. Ils sont de cette forme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
fichier 1 :
info1              info2           info3             info4
info1              info2           info3             info4
info1              info2           info3             info4
info1              info2           info3             info4
info1              info2           info3             info4
etc...
 
fichier 2 :
info12            info22          info32           info42         info52       info62
info12            info22          info32           info42         info52       info62
info12            info22          info32           info42         info52       info62
info12            info22          info32           info42         info52       info62
info12            info22          info32           info42         info52       info62
etc...

les champs communs à ces deux fichiers sont info2 et info52

**MarneusCalgarXP** · 05/12/2006, 17h20

Les séparations sont des tabulations ?

**griese** · 05/12/2006, 17h22

Oui

**MarneusCalgarXP** · 05/12/2006, 17h32

Une solution possible consisterait, à condition que les fichiers ne soient pas gigantesques (je veux dire moins de 1 Million de lignes), à charger les clés "info2" en mémoire, puis analyser le 2° fichier, et à chaque fois regarder si "info52" est déjà présent en mémoire. Si c'est le cas, on zappe la ligne.

ca donnerait ça (passer les 2 noms de fichiers en paramètres)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
#!/usr/bin/perl
use strict;
use warnings;
 
# récupération noms de fichiers
my ($file1, $file2) = @ARGV;
 
# vérification présence des fichiers
my $usage = "usage : $0 <fichier1> <fichier2>\n";
die($usage), unless($file1);
die($usage), unless($file2);
die("$file1 n'existe pas\n"), unless(-e $file1);
die("$file2 n'existe pas\n"), unless(-e $file2);
 
# lecture fichier1
my %KEYS = ();
open(INPUT1, '<', $file1) || die("impossible d'ouvrir $file1 en lecture\n");
while(<INPUT1>)
{
    my @fields = split( /\t/o ); # découpage selon tabulations
    my $key = $fields[1]; # on récupère le 2° champ (le 1° a l'indice 0)
    $KEYS{$key} = 1; # on stocke la clé en mémoire
}
close(INPUT1);
 
# lecture fichier2
open(INPUT2, '<', $file2) || die("impossible d'ouvrir $file2 en lecture\n");
while(<INPUT2>)
{
    my @fields = split( /\t/o ); # découpage selon tabulations
    my $key = $fields[4]; # on récupère le 5° champ (le 1° a l'indice 0)
    next, if ( exists $KEYS{$key} ); # on zappe, si la clé est déjà connue
    print $_; # on affiche la ligne
}
close(INPUT2);

**griese** · 05/12/2006, 17h50

Bah justement c'est ca le probleme, mes fichiers sont gigantesques. Environ 2 millions de lignes chacun...

**MarneusCalgarXP** · 05/12/2006, 20h12

Alors je te conseille plutot de le faire en bash.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
#!/bin/ksh
 
# Extraction des clés uniquement
echo "extraction des clés du fichier 1"
cut -f2 fichier1 > cles.txt
 
# tri du fichier des clés (nécessaire pour join)
echo "tri du fichier 1"
sort cles.txt -o cles.txt
# tri du 2° fichier, sur le 5° champ (nécessaire pour join)
echo "tri du fichier 2"
sort fichier2 -t "\t" -k 5 -o fichier2.tmp
 
# Jointure du fichier des clés avec le fichier de données pour marquage des lignes 
# * sur le champ 1 du fichier des clés et le champ 5 du 2° fichier
# * en marquant les lignes non reconnues
# on ne conserve que les lignes qui n'ont pas trouvé de correspondance
echo "jointure"
join -1 1 -2 5 -t "\t" -o "1.1 2.1 2.2 2.3 2.4 2.5 2.6" -a2 -e "NONMATCHED" cles.txt fichier2.tmp | egrep "^NONMATCHED" > jointure.txt
 
# A présent, on ne conserve que les champs du 2° fichier (ceux d'indice 2 et plus)
echo "formattage"
cut -d"\t" -f2- jointure.txt > resultat.txt
 
# un peu de nettoyage à présent
echo "nettoyage"
rm -f cles.txt
rm -f fichier2.txt
rm -f jointure.txt

Ca devrait fonctionner !

**griese** · 06/12/2006, 09h00

Merci beaucoup pour ton script, il est nickel a deux choses prêt. En fait je me suis trompé dans mon premier, post je veux récupérer toutes les infos du premier fichier dont les cles ne sont pas dans le deuxieme fichier (erreur de ma part

) et dans le fichier resultat.txt, il y a toujours les "NONMATCHED". Mais merci quand tu m'as fais beaucoup avancé

**MarneusCalgarXP** · 06/12/2006, 10h15

Ok, n'oublie pas

pour les nonmatched, c'est peut-être le cut qui ne supporte pas le "\t" comme séparateur, il doit le considérer comme séparateur intrinsèque, remplace la ligne par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cut -f2- jointure.txt > resultat.txt

**griese** · 06/12/2006, 10h41

Je l'ai déja fait mais le souci reste le meme, A la fin de chaque ligne du fichier de sortie j'ai : "\NONMATCHED\NONMATCHED\NONMATCHED\NONMATCHED\NONMATCHED\NONMATCHED"
Merci encore pour ton aide

**MarneusCalgarXP** · 06/12/2006, 11h03

Alors c'est peut-être mon join qui est foireux, essaie:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

join -1 1 -2 5 -t "\t" -o "1.1 2.1 2.2 2.3 2.4 2.5 2.6" -a1 -e "NONMATCHED" cles.txt fichier2.tmp | egrep "^NONMATCHED" > jointure.txt

**griese** · 06/12/2006, 11h30

Si je remplace le 2 par le 1, j'ai plus rien dans mon fichier de sortie resultat.txt

**MarneusCalgarXP** · 06/12/2006, 11h47

Je viens de relire le man de join, si je me fie à la doc, je peux réécrire mon script de cette manière:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
#!/bin/ksh
 
# Extraction des clés uniquement
echo "extraction des clés du fichier 1"
cut -f2 fichier1 > cles.txt
 
# tri du fichier des clés (nécessaire pour join)
echo "tri du fichier 1"
sort cles.txt -o cles.txt
# tri du 2° fichier, sur le 5° champ (nécessaire pour join)
echo "tri du fichier 2"
sort fichier2 -t "\t" -k 5 -o fichier2.tmp
 
# Jointure du fichier des clés avec le fichier de données pour marquage des lignes 
# * sur le champ 1 du fichier des clés et le champ 5 du 2° fichier
# * en marquant les lignes non reconnues
# on ne conserve que les lignes qui n'ont pas trouvé de correspondance
echo "jointure"
join -1 1 -2 5 -t "\t" -o "2.1 2.2 2.3 2.4 2.5 2.6" -v2 cles.txt fichier2.tmp > resultat.txt
 
# un peu de nettoyage à présent
echo "nettoyage"
rm -f cles.txt
rm -f fichier2.txt

**griese** · 06/12/2006, 11h53

ca ne change rien

**MarneusCalgarXP** · 06/12/2006, 12h44

Je viens de faire des tests, il fallait juste ne pas préciser les séparateurs

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#!/bin/ksh
 
# Extraction des clés uniquement
echo "extraction des clés du fichier 1"
cut -f2 fichier1 > cles.txt
 
# tri du fichier des clés (nécessaire pour join)
echo "tri du fichier 1"
sort cles.txt -o cles.txt
# tri du 2° fichier, sur le 5° champ (nécessaire pour join)
echo "tri du fichier 2"
sort fichier2 -k 5 -o fichier2.tmp
 
# Jointure du fichier des clés avec le fichier de données pour marquage des lignes 
# * sur le champ 1 du fichier des clés et le champ 5 du 2° fichier
# * en marquant les lignes non reconnues
# on ne conserve que les lignes qui n'ont pas trouvé de correspondance
echo "jointure"
join -1 1 -2 5 -o "2.1 2.2 2.3 2.4 2.5 2.6" -v2 cles.txt fichier2.tmp > resultat.txt
 
# un peu de nettoyage à présent
echo "nettoyage"
rm -f cles.txt
rm -f fichier2.txt

**griese** · 06/12/2006, 13h54

Youpi !!! ca marche nickel a un détail pret (je sais je suis chiant) la colonne NONMATCHED sur chaque début de ligne du fichier de sortie est toujours présente. pourtant je fais bien ce que tu m'as dit :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
cut  -f2- jointure.txt > resultat.txt

Si tu vois d'ou ca viens n'hésite pas, je cherche de mon côté. Encore merci à toi

**MarneusCalgarXP** · 06/12/2006, 14h00

Regarde le code que j'ai fourni juste au dessus, je n'utilise plus de "NONMATCHED"... (remplacer -a2 -e "NONMATCHED" par -v2 et retirer le egrep)

**griese** · 06/12/2006, 14h38

Mille excuses, je ne l'avais pas vu. En tout cas ca marche du feu de dieu. Encore merci pour ton aide précieuse, tu m'as donné un sacré coup de main.

Suppression de lignes d'un fichier

Langage Perl

Discussions similaires

Partager

Partager