Discussion :

[ujoodha]

Bonjour,

Je dois faire un script unix qui permet de lire n fichier et de concatener les ligne entrantes dans un autre fichier en sortie sans faire de doublons.

Est ce que qq1 saurait comment concatener sans faire de doublons ?

Car mon probleme est que je ne vois pas comment eviter les doublons

[getupa]

A moins de coder l'outil qui va te permettre de le faire, je ne vois pas comment eviter les doublons lors de la concatenation. Par contre rien ne t'empeche de developper un pti script python ou perl qui supprime les doublons après la concatenation.

[gangsoleil]

Bonjour,

Je pense qu'effectivement, il va être difficile de tout faire en une seule passe. Donc je te conseillerait d'abord de concaténer les fichiers, puis ensuite de supprimer les doublons.

Pour concaténer les fichiers, tu peux utiliser simplement la commande find, avec un truc du genre (concaténation de tous les fichiers *.txt du répertoire courant, et de tous les sous-répertoires dan un fichier sortie.log ) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
touch sortie.log
find . -type f -name "*.txt" -exec cat \{} \; >> sortie.log

[getupa]

Voici une solution purement shell mais qui t'oblige à trier ton fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
cat file1 file2 file3 file4 > /tmp/filetmp
sort /tmp/filetmp | uniq > fileout
rm /tmp/filetmp

[ujoodha]

elle a l'air pas mal cette solution
si ca marche tu me sauve la vie

[ujoodha]

j'ai juste une question pourquoi est il necessaire de trier avant d'utiliser uniq

[vic]

uniq ne supprime que les lignes identiques qui se suivent, il faut donc trier si tu veux supprimer les doublons.

Version plus courte de la solution proposée par getupa :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat fichier* | sort -u > résultat.txt

[ujoodha]

j'ai teste la commande et elle marche plutot bien
seulement elle enleve la ligne qui se repete
Mais seulement si ma ligne est en 3 exemplaire alors elle enleve qu'une seule au lieu d'en elever deux

Par exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
sfr:/batchs/sfr/SFR_DEV/bin>cat file2.data
toto est arrive
toto est parti
toto parti
toto est arrive
toto mange
toto est arrive

Resultat de la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
sfr:/batchs/sfr/SFR_DEV/bin>sort file2.data | uniq > resultat.data
sfr:/batchs/sfr/SFR_DEV/bin>cat resultat.data
toto est arrive
toto est arrive
toto est parti
toto mange
toto parti

Mais il est vrai que j'ai dit doublon donc cela pretait peut etre à confusion

[melmouj]

Bonjour,
mais comment tu concatène les fichiers lignes avec lignes

exemple j'ai 2 fic

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
>cat fic1
x
y
z
>cat fic2
1
2
3
4
 
ça marche pas le cat fic1 fic2 |  sort -u> toto
 
Merci

[getupa]

comprend pas ....
man paste peut-etre !

[melmouj]

Bonjour,
mais comment tu concatène les fichiers lignes avec lignes

exemple j'ai 2 fic

Code:

>cat fic1
x
y
z
>cat fic2
1
2
3
4

ça marche pas le cat fic1 fic2 | sort -u> toto

Merci

[getupa]

Toujours pas compris ..... t'as regardé la commande paste ?
Tu veux que ton fichier de sortie resemble à quoi ???

[getupa]

j'ai teste la commande et elle marche plutot bien
seulement elle enleve la ligne qui se repete
Mais seulement si ma ligne est en 3 exemplaire alors elle enleve qu'une seule au lieu d'en elever deux

Non, j'ai fait le test, je n'ai pas se problème. Il n'y aurais pas un espace deriere ou quelque chose dans le genre ?
J'ai mis express 10 toto dans mon fichier et il ne m'en sort bien qu'un. Par contre si je met toto (avec un espace derriere), j'ai 2 toto en sortie. Un avec l'espace et l'autre sans.

[melmouj]

Merci getupa

paste fait le travail