Discussion :

[Bouteille]

Bonjour,

je suis confronté a un probleme auquel je ne trouve pas de solution dans les man respectifs. J'ai une arborescence de fichiers dans laquelle certains sous-dossiers contiennent des fichiers de type *.fastq. (de 1 à 5 en general)
Pour chaque fichier fastq j'ai un ou plusieurs fichiers .map du meme nom, donc par exemple :

Racine
|
+ A
| | monfic1.fastq
| | monfic1.fastq.0.map
| | monfic1.fastq.1.map
| | monfic1.fastq.2.map
| | monfic2.fastq
| | monfic2.fastq.0.map
| | monfic2.fastq.1.map
|
+ B
| | monfic1.fastq
| | monfic1.fastq.0.map
| | monfic2.fastq
| | monfic2.fastq.0.map
| | monfic2.fastq.1.map
| | monfic2.fastq.2.map
| | monfic2.fastq.3.map
|
etc etc...


Bref pour simplifier la suite de mon analyse j'aimerais concatener tous les fichiers map correspondant a chaque fichier fastq et les garder dans le meme sous dossier.

Donc par exemple pour le sous-dossier A me retrouver avec deux fichiers supplementaires :
monfic1.fastq.CONCATENATED_MAP.map
et
monfic2.fastq.CONCATENATED_MAP.map

J'ai fait un premier test pour verifier la concatenation (sans prendre en compte qu'il peut y avoir plusieurs fastq dans le meme sous dossier) :

find Racine/ -name *.fastq.*.map - execdir cat '{}' > TEST +

=> resultat le fichier TEST est créé dans Racine... premier echec, je n'arrive pas a rediriger le resultat du cat dans le sous-dossier, je pensais que si la redirection etait avant le "+" toute la commande etait consodérée comme executée dans le sous dossier..

Deuxieme test pour vérifier si je peux passer au cat tous les fichiers map correspondant à un seul fichier fastq du sous dossier :

find Racine/ -name *.fastq - execdir cat '{}'*.map > TEST \;

bon la c'est stupide j'avoue mais j'ai au moins appris que c'est le bash au moment de lancer la commande qui remplace les etoiles par le nom des fichiers... mais comment faire alors ? Peut on imbriquer plusieurs find ? Peut on appeler la fonction de completion des noms de fichiers ?

Voila j'ai fait de nombreux tests, beaucoup stupides, et je n'arrive pas a mes fins, si vous avez des indices des pistes ou meme une solution je vous en serait super reconnaissant... L'arboresence est gigantesque et les fichiers imposants

Merci @ bientot !

[jabbounet]

pas optimisé/ni testé mais l'idée est là

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
#!/bin/ksh
find . -type f -name '*.fastq' | while read f
do
   cat $f > $f.CONCATENATED_MAP.map
   for i in `seq 0 10`
   do
      if [ -f $f.$i.map ]
      then
           cat $f.$i.map >> $f.CONCATENATED_MAP.map
      fi
   done
done

peux être améliorier en comptant le nombre de fichier.map, et en itérant dessus au lieu d'une bête sequence `seq 0 10`

[Bouteille]

Bonjour et merci pour ton aide !

Ok merci il faut donc passer par du scripting carrement

Je vais voir ca et adapter pour le faire fonctionner alors, merci !!

[jabbounet]

Bonjour et merci pour ton aide !

Ok merci il faut donc passer par du scripting carrement

Je vais voir ca et adapter pour le faire fonctionner alors, merci !!

pas forcement, ce que j'ai tappé tiens aussi sur une ligne de commande, mais quand ça commence à devenir un traitement complexe passer au script est plus pertinent/clair/efficace.

en ligne de commande ça donne (au vue de mon history sur le shell)

$history
...
354 set -x
355 find . -type f -name '*.fastq' | while read f; do cat $f > $f.CONCATENATED_MAP.map; for i in `seq 0 10`; do if [ -f $f.$i.map ]; then cat $f.$i.map >> $f.CONCATENATED_MAP.map; fi; done; done
...

[Bouteille]

Ok, c'est juste l'emploi d'un for qui me faisait faire reference au scripting, mais peu importe

et sinon quelque chose comme ca du coup ca pourrait marcher ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
## Concatenate all the map files in one for each fastq
find ./ -type f -name '*.fastq' | while read fastqFILE
do
   find ./ -type f -name '$fastqFILE.*.map' -execdir cat {} > $fastqFILE.CONCATENATED_MAP.map +
done

En fait je vais tester et je te tiens au courant

[jabbounet]

Ok, c'est juste l'emploi d'un for qui me faisait faire reference au scripting, mais peu importe

et sinon quelque chose comme ca du coup ca pourrait marcher ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
## Concatenate all the map files in one for each fastq
find ./ -type f -name '*.fastq' | while read fastqFILE
do
   find ./ -type f -name '$fastqFILE.*.map' -execdir cat {} > $fastqFILE.CONCATENATED_MAP.map +
done

En fait je vais tester et je te tiens au courant

Quelque chose te garantie que cela va te les concaterner dans le bon ordre 0,1,2,3,4,...?

En plus je pense que "cat {} >" va ecraser successivement les fichiers et te laisser le contenu du dernier traité.

Ensuite imbriquer des find je ne suis pas très fan, déjà que on ne sait jamais trop ou find nous mène....
Maintenant que tu as le fichier avec son chemin complet, tu peux utiliser la commande dirname pour avoir le chemin et l'utiliser, et ls pour parcourir le contenu du repertoire.
http://linux.die.net/man/1/dirname

[Bouteille]

Et voila la solution retenue qui marche :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
find ./ -type f -name '*.fastq' | while read fastqFILE
do
   basename=`basename "$fastqFILE"`
   find ./ -type f -name $basename*aligned*.map -execdir cat {} > $fastqFILE.CONCATENATED_MAP.map +
done

En fait ma derniere proposition ne marchait pas car j'avais le chemin complet dans $fastqFILE donc le deuxieme find faisait la gueule...

D'ailleurs je n'ai pas été assez précis dans ma question, en effet, les fichiers maps sont de la forme monfic1.fastq.ALIGNED.0.map, ce qui me permet de faire le second find avec "aligned" et ainsi eviter de recuperer le resultat d'une premiere concatenation (le CONCATENATED_MAP)... Ca aurait fait une belle boucle infinie et rempli le disque dur je pense

Maintenant tout fonctionne merci bcp pour ton aide précieuse ! A l'ordi de bosser un peu