Discussion :

[zeus2005]

Bonjour,

OS= solaris 10

J'ai des centaines de fichiers à traiter par jour, mais le problème c'est que je dois pas faire passer les lignes en doubles entre ces fichiers.
Donc pour chaque fichier arrivé, je dois vérifier ces lignes avec toutes les lignes des autres fichiers traités et archivés.
Une fois la ligne en double est détectée, je dois la supprimer.

Normalement un script ksh doit faire l'affaire, merci de me faire parvenir vos propositions.

[gangsoleil]

Bonjour,

Dois-tu supprimer les doublons dans un unique fichier ou dans plusieurs fichiers ?

Dans un unique fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 sort -u mon_fichier.txt > mon_nouveau_fichier.txt

Dans tous les fichiers :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in `ls`
do
cat $i >> all_files.txt
done
sort -u all_files.txt > all_files_unique.txt

Dans tous les fichiers mais en gardant le nom et l'arborescence : c'est effectivement faisable avec un script ksh. A toi de nous montrer ce que tu as fait et pourquoi ca ne fonctionne pas.