Script Unix

Bonjour,

Je dois faire un script unix qui permet de lire n fichier et de concatener les ligne entrantes dans un autre fichier en sortie sans faire de doublons.

Est ce que qq1 saurait comment concatener sans faire de doublons ?

Car mon probleme est que je ne vois pas comment eviter les doublons

A moins de coder l'outil qui va te permettre de le faire, je ne vois pas comment eviter les doublons lors de la concatenation. Par contre rien ne t'empeche de developper un pti script python ou perl qui supprime les doublons après la concatenation.

Bonjour,

Je pense qu'effectivement, il va être difficile de tout faire en une seule passe. Donc je te conseillerait d'abord de concaténer les fichiers, puis ensuite de supprimer les doublons.

Pour concaténer les fichiers, tu peux utiliser simplement la commande find, avec un truc du genre (concaténation de tous les fichiers *.txt du répertoire courant, et de tous les sous-répertoires dan un fichier sortie.log ) :

Code:

---

1 2 3

touch sortie.log find . -type f -name "*.txt" -exec cat \{} \; >> sortie.log

---

Voici une solution purement shell mais qui t'oblige à trier ton fichier :

Code:

---

1 2 3 4

cat file1 file2 file3 file4 > /tmp/filetmp sort /tmp/filetmp | uniq > fileout rm /tmp/filetmp

---

elle a l'air pas mal cette solution
si ca marche tu me sauve la vie

j'ai juste une question pourquoi est il necessaire de trier avant d'utiliser uniq

uniq ne supprime que les lignes identiques qui se suivent, il faut donc trier si tu veux supprimer les doublons.

Version plus courte de la solution proposée par getupa :

Code:

---

cat fichier* | sort -u > résultat.txt

---

j'ai teste la commande et elle marche plutot bien
seulement elle enleve la ligne qui se repete
Mais seulement si ma ligne est en 3 exemplaire alors elle enleve qu'une seule au lieu d'en elever deux

Par exemple

Code:

---

1 2 3 4 5 6 7 8

sfr:/batchs/sfr/SFR_DEV/bin>cat file2.data toto est arrive toto est parti toto parti toto est arrive toto mange toto est arrive

---

Resultat de la commande

Code:

---

1 2 3 4 5 6 7 8

sfr:/batchs/sfr/SFR_DEV/bin>sort file2.data | uniq > resultat.data sfr:/batchs/sfr/SFR_DEV/bin>cat resultat.data toto est arrive toto est arrive toto est parti toto mange toto parti

---

Mais il est vrai que j'ai dit doublon donc cela pretait peut etre à confusion

Bonjour,
mais comment tu concatène les fichiers lignes avec lignes

exemple j'ai 2 fic

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

>cat fic1 x y z >cat fic2 1 2 3 4   ça marche pas le cat fic1 fic2 | sort -u> toto   Merci

---

comprend pas ....
man paste peut-etre !

Bonjour,
mais comment tu concatène les fichiers lignes avec lignes

exemple j'ai 2 fic

Code:

>cat fic1
x
y
z
>cat fic2
1
2
3
4

ça marche pas le cat fic1 fic2 | sort -u> toto

Merci

Toujours pas compris ..... t'as regardé la commande paste ?
Tu veux que ton fichier de sortie resemble à quoi ???

Citation:

---

Envoyé par ujoodha

j'ai teste la commande et elle marche plutot bien
seulement elle enleve la ligne qui se repete
Mais seulement si ma ligne est en 3 exemplaire alors elle enleve qu'une seule au lieu d'en elever deux

---

Non, j'ai fait le test, je n'ai pas se problème. Il n'y aurais pas un espace deriere ou quelque chose dans le genre ?
J'ai mis express 10 toto dans mon fichier et il ne m'en sort bien qu'un. Par contre si je met toto (avec un espace derriere), j'ai 2 toto en sortie. Un avec l'espace et l'autre sans.

Merci getupa

paste fait le travail