Aide pour faire un script sh

Version imprimable

18/04/2007, 09h59
Madmax61

Aide pour faire un script sh

Salut à tous et toutes, j'essaye de faire un script bash sous debian et j'avoue ne pas y arriver à cause de mes piètres connaissances (je commence mes 1ers scripts :cry: ).

Je vous explique donc mon idée, j'ai tout un tas de fichiers 1.txt 2.txt 3.txt... qui sont composés de la manière suivante :
#blablaInnutiles
#Fri Mar 31 16:38:03 CEST 2006
Valeur1=xxx
Valeur2=www
_valeur3_=ddd.ddd
Valeur4=
Valeur5= 02 02 02 02 02
...
Et je voudrait en fait "regrouper" tous ses fichiers en un seul fichier txt (pour exploiter ensuite en csv) dont les valeurs serraient séparée par un signe = (ou autre) et donc former au final un seul fichier qui serai de la forme :
#blablaInnutiles=#blablaInnutiles2=#blablaInnutiles3
#Fri Mar 31 16:38:03 CEST 2006=#Fri Mar 31 16:39:03 CEST 2006=#Fri Mar 31 17:38:03 CEST 2006
Valeur1=xxx=zzz=eee
Valeur2=www=rrr=ttt
_valeur3_=ddd.ddd=sfsf=vcbn
Valeur4==vcnb=nbv
Valeur5= 02 02 02 02 02=00 00 00=000 00 00

Est ce que ce genre d'opération est possible ? et surtout si oui comment...

D'avance merci.
18/04/2007, 10h35
Korko Fain

Je pense que sa va pas etre facil lol faudrait que tu arrives à parcourir les n fichiers en meme temps ligne par ligne
18/04/2007, 11h09
Madmax61

Bah oui pour un premier script je veux pas faire ce qu'il y a de plus simple... :lol:

C'est carrément pas simple, en effet, comme premier script. Tu peux t'en sortir mais avec des gruges. Le truc que je vois, c'est d'imbriquer 2 boucles : 1 boucle d'ensemble pour traiter les fichiers les uns après les autres et une seconde boucle qui lit un fichier ligne à ligne. Par rapport à tout ça, il te faut un compteur pour repérer les lignes que tu traites. Mais attention : je suppose ici que tous les fichiers font exactement le même nombre de ligne et sont ordonnés strictement de la même façon. Il n'y a pas de vérification du style "le paramètre en question est toto, donc je dois compléter la ligne de toto". Si c'est ce que tu cherches parce que les fichiers ne font pas tous le même nombre de lignes ou que les lignes ne sont pas toutes dans le même ordre, faut passer dans un langage plus évolué genre Perl ou PHP qui te permettra plus facilement de jouer avec les tableaux associatifs ou d'autres structures de données du même genre.

Algo :
Code:

1 2 3 4 5 6 7 8 9 10 11 Pour chaque fichier $fichier Si $fichier est le premier fichier de la liste initialisation du fichier final avec ce premier fichier Sinon $compteur = 0 Pour chaque ligne $ligne de $fichier $compteur = $compteur + 1 concaténation de $ligne à la $compteur-ième ligne du fichier final Fin Pour Fin Si Fin Pour
En gros, en shell, ça donne ça (j'ai pas testé) :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 #!/bin/bash FICHIER_OUT="fichier.txt" FICHIERS_IN="fichier1.txt fichier2.txt fichier3.txt" PREMIER_FICHIER=1 for $FICHIER in $FICHIERS_IN do if [ $PREMIER_FICHIER -eq 1 ] then cat $FICHIER > $FICHIER_OUT PREMIER_FICHIER=0 else $COMPTEUR=0 cat $FICHIER | while read LIGNE do $COMPTEUR=$(COMPTEUR+1) sed -i ''$COMPTEUR' s/^.*$/&='$LIGNE'/' $FICHIER_OUT done fi done
Tu peux changer FICHIERS_IN pour mettre un truc du style FICHIERS_IN=`ls *.txt` pour récupérer tous les fichier .txt d'un répertoire (attention à ne pas récupérer le résultat d'une ancienne exécution de script si le fichier de sortie porte aussi l'extension .txt).

Bon courage

18/04/2007, 16h17
Madmax61

Merci beaucoup de l'info !
J'ai essayer ta méthode mais j'y arrive pas :cry:

./regroupement.sh: line 20: `$FICHIER': not a valid identifier

:cry:

J'ai en effet pas du tout l'impression de vouloir faire un truc simple... je vous dirais si je trouve

Faut virer le $ devant FICHIER dans la boucle for :

Code:

for FICHIER in ...

Pareil après le else et dans le do :
Code:

1 2 3 4 5 6 7 8 9 else COMPTEUR=0 cat $FICHIER | while read LIGNE do COMPTEUR=$(COMPTEUR+1) sed -i ''$COMPTEUR' s/^.*$/&='$LIGNE'/' $FICHIER_OUT done fi done
J'ai pas testé et ça se voit :yaisse2:

Le pb c'est qu'en shell, pour affecter une variable, faut pas mettre de $ devant le nom. Tu mets un $ devant le nom quand c'est pour "utiliser" la variable.

Citation:

Envoyé par Madmax61

Et je voudrait en fait "regrouper" tous ses fichiers en un seul fichier txt (pour exploiter ensuite en csv) dont les valeurs serraient séparée par un signe = (ou autre) et donc former au final un seul fichier qui serai de la forme :

Pourquoi pas "join" :?

Fichiers :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 Fichier toto01.txt Valeur1=xxx Valeur2=www _valeur3_=ddd.ddd Valeur4= Valeur5= 02 02 02 02 02 Fichier toto02.txt Valeur1=xtoto2 Valeur2=wtoto2 _valeur3_=ddd.toto2 Valeur4= toto2 Valeur5= 02 02 02 02 02toto2 Fichier toto03.txt Valeur1=xtoto3 Valeur2= _valeur3_=ddd.toto3 Valeur4= toto3 Valeur5= 02 02 02 02 02toto3 Fichier toto04.txt Valeur1= Valeur2=wtoto4 _valeur3_=ddd.toto4 Valeur4= Valeur5= 02 02 02 02 02toto4
Script utilisant la commande "join" ( join - Fusionner les lignes de deux fichiers ayant un champ commun. )
http://man.developpez.com/man1/join.1.php
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 > TmpFile > TravFile typeset -i CtrFile=0 for file in toto??.txt ; do ((CtrFile=$CtrFile+1)) if [[ $CtrFile -eq 1 ]] ; then echo "* 1er fichier $file" cp $file TravFile continue fi echo "+ join de $file" join -t"=" TravFile $file > TmpFile mv TmpFile TravFile done echo "* Resultat dans TravFile" cat TravFile
Résultat :

Valeur1=xxx=xtoto2=xtoto3=
Valeur2=www=wtoto2==wtoto4
_valeur3_=ddd.ddd=ddd.toto2=ddd.toto3=ddd.toto4
Valeur4== toto2= toto3=
Valeur5= 02 02 02 02 02= 02 02 02 02 02toto2= 02 02 02 02 02toto3= 02 02 02 02 02toto4

19/04/2007, 10h53
Madmax61

Ca m'a l'air parfait cela ! :D
Je doit aller aux 24h00 du mans, je regarde cela à mon retour mardi et vous redit si cela fonctionne.

D'avance merci.
19/04/2007, 15h23
Madmax61

En fait j'ai eu un peu de temps avant le départ et cela fonctionne PARFAITEMENT !!! :king:
Merci beaucoup BlaireauOne ! :yaisse2: :yaisse2: :yaisse2:

Me reste plus qu'à étudier ton script pour savoir comment il fonctionne ;)

Bon en fait j'ai encore deux ptit problèmes, si les fichiers sont pas structurés de la même manière cela ne fonctionne plus du tout :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 --> more toto1.txt #commentaire a la con a=ValeurAtoto1 b=ValeurBtoto1 c=ValeurCtoto1 d=ValeurDtoto1 e=Valeur E toto 1 --> more toto2.txt #blabla a=ValeurAtoto2 b=ValeurBtoto2 c=ValeurCtoto2 d=ValeurDtoto2 e=ValeurEtoto2 --> ./join.sh * 1er fichier toto1.txt + join de toto2.txt * Resultats dans resultat.txt d=ValeurDtoto1=ValeurDtoto2 e=Valeur E toto 1=ValeurEtoto2
Les valeurs des champs a,b, et c ont en effet disparues

De la même manière si je n'ai pas le bon ordre des valeurs cela ne fonctionne pas non plus :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 --> more toto1.txt a=ValeurAtoto1 b=ValeurBtoto1 c=ValeurCtoto1 d=ValeurDtoto1 e=Valeur E toto 1 --> more toto2.txt a=ValeurAtoto2 b=ValeurBtoto2 d=ValeurDtoto2 e=ValeurEtoto2 c=ValeurCtoto2 --> ./join.sh * 1er fichier toto1.txt + join de toto2.txt * Resultats dans resultat.txt a=ValeurAtoto1=ValeurAtoto2 b=ValeurBtoto1=ValeurBtoto2 d=ValeurDtoto1=ValeurDtoto2 e=Valeur E toto 1=ValeurEtoto2
La valeur c à disparut alors qu'elle est présente dans les 2 fichiers...

27/04/2007, 09h23
Madmax61

bon en fait pour info j'ai réussis !
J'ai fait en premier un script qui fait une boucle dans laquelle il analyse tous les fichiers pour en extraire les valeurs une par une et les classer dans le bon ordre, il enregistre ensuite le tout dans un nouveau fichier.
Pour finir il fait le join sur les nouveaux fichiers et voilà ! :D

Encore merci de votre aide.