Discussion :

[CarreNoir]

Bonsoir à tous,
En désespoir de cause, je viens voir si je peux trouver de l'aide ...
Mon problème : j'ai un fichier de départ FD et n fichiers F1, F2, ..., Fn (tous a un seul champ).
Je veux filtrer dans FD toutes les lignes existantes dans F1 = > créer un fichier Res1
Prendre Res1 : filtrer tout ce qui existe dans F2 => créer Res2
Prendre Res2 : filtrer tout ce qui existe dans F3 .....pour au final avoir un fichier de départ FD filtré de tout ce qui existe dans les n fichiers F1, F2, ..., Fn

Ce qui veut dire que le fichier de sortie de ma boucle devient le .... fichier d'entrée au tour d'après !
Et ça marche pas ....
Chaque fichier fait ~500 000lignes donc je me suis dit que mes fichiers devenant de plus en plus petits, j'irais de plus en plus vite ....
Ce que j'ai fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
#!/bin/bash
# Prend 2 arguments : le nom du fic a filtrer (pas son chemin) et un dossier qui contient les fichiers qui vont servir à filtrer. 
# NB : le fic a filtrer est aussi dans le dossier qui contient les fichiers filtrants 
 
FICHIERS=$(ls $2)
tmp=$1
cpt=1
for fichier in $FICHIERS
do
	if [ "$fichier" != "$1" ]
	then
	echo "Fichier trouve : $fichier"
 
	>resFiltration$cpt
 
	while read line
	do
		if ! grep -q -m 1 "$line" $2/$fichier		# si la ligne n'est pas au moins une fois dans le fichier
		then
			echo $line >> resFiltration$cpt
		fi
	done < $tmp	# on envoie $tmp sur l'entree standard du while
 
		((cpt++))
		tmp=$"resFiltration$cpt"
		echo "new tmp :$tmp"
	fi
done

Si vous avez une aide à m'apporter... merci infiniment !
Bonne soirée
CarréNoir

[N_BaH]

Bonjour,

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
shopt -s extglob nullglob
result=$(<FD)
for f in !(FD); do result=$(echo "$result" | grep -of - "$f"); done
echo "$result"

?

[Sve@r]

Je veux filtrer dans FD toutes les lignes existantes dans F1 = > créer un fichier Res1
Prendre Res1 : filtrer tout ce qui existe dans F2 => créer Res2
Prendre Res2 : filtrer tout ce qui existe dans F3 .....pour au final avoir un fichier de départ FD filtré de tout ce qui existe dans les n fichiers F1, F2, ..., Fn

Bonsoir

Pourquoi ne pas directement filtrer dans FD toutes les lignes se trouvant dans (F1+F2+F3+...+Fn) ?
Et au fait, qu'entends-tu par "filtrer" ? Tu veux garder de FD les lignes se trouvant dans F1 ou les supprimer ?

Ce qui veut dire que le fichier de sortie de ma boucle devient le .... fichier d'entrée au tour d'après !
Et ça marche pas

Pourtant ce n'est pas super compliqué...

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
 
liste=(F[0-9]*)
Fout="FD"
for i in $(seq 0 $((${#liste[*]} - 1)))
do
	Fin="$Fout"
	Fout="Res$(($i+1))"
	echo "Je filtre $Fin sur ${liste[$i]} pour créer $Fout "
done

...

[Flodelarab]

Bonjour,

à chacun sa solution. Je propose donc:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mv FD bozo; cat F*|grep -v -x -f - bozo;mv bozo FD

[CarreNoir]

Merci beaucoup à vous 3 de m'avoir aidé à débloquer la situation!!!!
La solution la plus simple pour moi vu la taille de mes fichiers était celle de Sve@r.
Bonne journée à tous !

[Sve@r]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mv FD bozo; cat F*|grep -v -x -f - bozo;mv bozo FD

Pourquoi renommer FD ?
Est-ce que ça n'irait pas aussi: cat F[0-9]*|grep -v -x -f - FD ???
(non testé)

La solution la plus simple pour moi vu la taille de mes fichiers était celle de Sve@r.

Tu dois vraiment avoir des fichiers mega mega énormes pour que la solution de Flodelarab (au bozo près) ne puisse pas être apliquée...

[Flodelarab]

C'est parfait.
Je n'utilise jamais ces intervalles. Je me demandais s'il y avait confusion avec les regex.

[CarreNoir]

En fait la solution de Floderalab me sort pas ce que je veux.
Je veux que ceux qui sont uniques dans FD. La ca me sort la "somme" de F1 ....Fn en supprimant ceux qui sont dans FD. Moi je veux garder tout ceux qui sont dans FD et que dans FD. Dès qu'une ligne de FD est trouvée dans F1 ou Fn , je veux la supprimer de FD....