[BASH] find -execdir et cat

Bonjour,

je suis confronté a un probleme auquel je ne trouve pas de solution dans les man respectifs. J'ai une arborescence de fichiers dans laquelle certains sous-dossiers contiennent des fichiers de type *.fastq. (de 1 à 5 en general)
Pour chaque fichier fastq j'ai un ou plusieurs fichiers .map du meme nom, donc par exemple :

Racine
|
+ A
| | monfic1.fastq
| | monfic1.fastq.0.map
| | monfic1.fastq.1.map
| | monfic1.fastq.2.map
| | monfic2.fastq
| | monfic2.fastq.0.map
| | monfic2.fastq.1.map
|
+ B
| | monfic1.fastq
| | monfic1.fastq.0.map
| | monfic2.fastq
| | monfic2.fastq.0.map
| | monfic2.fastq.1.map
| | monfic2.fastq.2.map
| | monfic2.fastq.3.map
|
etc etc...


Bref pour simplifier la suite de mon analyse j'aimerais concatener tous les fichiers map correspondant a chaque fichier fastq et les garder dans le meme sous dossier.

Donc par exemple pour le sous-dossier A me retrouver avec deux fichiers supplementaires :
monfic1.fastq.CONCATENATED_MAP.map
et
monfic2.fastq.CONCATENATED_MAP.map

J'ai fait un premier test pour verifier la concatenation (sans prendre en compte qu'il peut y avoir plusieurs fastq dans le meme sous dossier) :

find Racine/ -name *.fastq.*.map - execdir cat '{}' > TEST +

=> resultat le fichier TEST est créé dans Racine... premier echec, je n'arrive pas a rediriger le resultat du cat dans le sous-dossier, je pensais que si la redirection etait avant le "+" toute la commande etait consodérée comme executée dans le sous dossier..

Deuxieme test pour vérifier si je peux passer au cat tous les fichiers map correspondant à un seul fichier fastq du sous dossier :

find Racine/ -name *.fastq - execdir cat '{}'*.map > TEST \;

bon la c'est stupide j'avoue mais j'ai au moins appris que c'est le bash au moment de lancer la commande qui remplace les etoiles par le nom des fichiers... mais comment faire alors ? Peut on imbriquer plusieurs find ? Peut on appeler la fonction de completion des noms de fichiers ?

Voila j'ai fait de nombreux tests, beaucoup stupides, et je n'arrive pas a mes fins, si vous avez des indices des pistes ou meme une solution je vous en serait super reconnaissant... L'arboresence est gigantesque et les fichiers imposants :)

Merci @ bientot !

pas optimisé/ni testé mais l'idée est là

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

#!/bin/ksh find . -type f -name '*.fastq' | while read f do cat $f > $f.CONCATENATED_MAP.map for i in `seq 0 10` do if [ -f $f.$i.map ] then cat $f.$i.map >> $f.CONCATENATED_MAP.map fi done done

---

peux être améliorier en comptant le nombre de fichier.map, et en itérant dessus au lieu d'une bête sequence `seq 0 10`

Bonjour et merci pour ton aide !

Ok merci il faut donc passer par du scripting carrement :)

Je vais voir ca et adapter pour le faire fonctionner alors, merci !!

Citation:

---

Envoyé par Bouteille

Bonjour et merci pour ton aide !

Ok merci il faut donc passer par du scripting carrement :)

Je vais voir ca et adapter pour le faire fonctionner alors, merci !!

---

pas forcement, ce que j'ai tappé tiens aussi sur une ligne de commande, mais quand ça commence à devenir un traitement complexe passer au script est plus pertinent/clair/efficace.

en ligne de commande ça donne (au vue de mon history sur le shell)

Citation:

---

Envoyé par History

$history
...
354 set -x
355 find . -type f -name '*.fastq' | while read f; do cat $f > $f.CONCATENATED_MAP.map; for i in `seq 0 10`; do if [ -f $f.$i.map ]; then cat $f.$i.map >> $f.CONCATENATED_MAP.map; fi; done; done
...

---

Ok, c'est juste l'emploi d'un for qui me faisait faire reference au scripting, mais peu importe ;)

et sinon quelque chose comme ca du coup ca pourrait marcher ?

Code:

---

1 2 3 4 5 6

## Concatenate all the map files in one for each fastq find ./ -type f -name '*.fastq' | while read fastqFILE do find ./ -type f -name '$fastqFILE.*.map' -execdir cat {} > $fastqFILE.CONCATENATED_MAP.map + done

---

En fait je vais tester et je te tiens au courant ;)

Citation:

---

Envoyé par Bouteille

Ok, c'est juste l'emploi d'un for qui me faisait faire reference au scripting, mais peu importe ;)

et sinon quelque chose comme ca du coup ca pourrait marcher ?

Code:

---

1 2 3 4 5 6

## Concatenate all the map files in one for each fastq find ./ -type f -name '*.fastq' | while read fastqFILE do find ./ -type f -name '$fastqFILE.*.map' -execdir cat {} > $fastqFILE.CONCATENATED_MAP.map + done

---

En fait je vais tester et je te tiens au courant ;)

---

Quelque chose te garantie que cela va te les concaterner dans le bon ordre 0,1,2,3,4,...?

En plus je pense que "cat {} >" va ecraser successivement les fichiers et te laisser le contenu du dernier traité.

Ensuite imbriquer des find je ne suis pas très fan, déjà que on ne sait jamais trop ou find nous mène....
Maintenant que tu as le fichier avec son chemin complet, tu peux utiliser la commande dirname pour avoir le chemin et l'utiliser, et ls pour parcourir le contenu du repertoire.
http://linux.die.net/man/1/dirname

Et voila la solution retenue qui marche :

Code:

---

1 2 3 4 5

find ./ -type f -name '*.fastq' | while read fastqFILE do basename=`basename "$fastqFILE"` find ./ -type f -name $basename*aligned*.map -execdir cat {} > $fastqFILE.CONCATENATED_MAP.map + done

---

En fait ma derniere proposition ne marchait pas car j'avais le chemin complet dans $fastqFILE donc le deuxieme find faisait la gueule...

D'ailleurs je n'ai pas été assez précis dans ma question, en effet, les fichiers maps sont de la forme monfic1.fastq.ALIGNED.0.map, ce qui me permet de faire le second find avec "aligned" et ainsi eviter de recuperer le resultat d'une premiere concatenation (le CONCATENATED_MAP)... Ca aurait fait une belle boucle infinie et rempli le disque dur je pense ;)

Maintenant tout fonctionne merci bcp pour ton aide précieuse ! A l'ordi de bosser un peu ;)

Ah on a posté en meme temps :mrgreen:

J'ai oublié de preciser que l'ordre n'importe pas dans la concatenation... et apparement le cat se comporte comme il faut du moment que l'on utilise le find avec execdir et surtout +...
enfin je crois 8O

Je te tiens au courant quand le premier repertoire est traité ;)

Ca marche du tonerre !!!

Merci encore !