Boucle while dans boucle while

**paytabass** · 12/03/2017, 18h29

Bonjour à tous

je suis auto didactique et débutant en script shell. veuillez m'excuser par avance pour cette question mais après plusieurs recherches dans le forum et lecture de cours bash je ne trouve pas ma réponse ou en tout cas comment réaliser cette opération.

Le but est d'itérer tout les fichiers d'un dossier comprenant des fichiers .txt de 7lignes chacun et de comparer avec un fichier de 400 lignes pour trouver une concordance.

je souhaite imbriquer plusieurs boucles while comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
i=1
# boucle fichier
while (($i <= Nombrefichier)) ; do
    echo $i 
    j=1 
    # boucle ligne
    while (($j <= Nombreligne)) ; do
 
        echo $j
        ((j=j+2))
    done
    ((i++))
done

il me semble avoir compris que le problème vient de la création de sous shell. et qu'un while read ... done<<< fichier.txt
permet de résoudre le problème. mais j'arrive pas à le faire

voici mon code désolé car il est pas très propre.

##############################

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
echo "Demarrage comparaison"
 
find . -type f -name "tmpdat*.txt" | awk -F. '
{a[$NF]++;} END{for (i in a) print a[i];}'| cat > NBtmpdat.txt 
# recherche groupe de fichier à iterer "fichier*" et renvoie leur nombre dans NBtmpdat.txt
 
NBFichier=$( awk 'NR == 1 {print}' NBtmpdat.txt)
#renvoie le nb de fichier à itérer
 
echo "nb de fichier: $NBFichier"
#controle insertion NBtmpdat.txt dans valeur dans $NBFichier
 
ITFichier=1
Ri=1
ARC=Final.dat
#insertion nom gros fichier dans variable
 
$CNbLigne=$(awk 'END {print NR}' $ARC)
#renvoie le nb de ligne à itérer
 
echo $CNbLigne
#controle insertion Nb ligne dans valeur dans $CNbLigne
 
while (($ITFichier <= $NBFichier)) ; do
 
# Courbe Reférence
 
	Rj=1
	RJ1=$(awk -F';' 'NR=='$Rj' {print $3}' tmpdat$Ri.txt)
	((Rj=Ri+1))
	RJ2=$(awk -F';' 'NR=='$Rj' {print $3}' tmpdat$Ri.txt)
	((Rj=Ri+2))
	RJ3=$(awk -F';' 'NR=='$Rj' {print $3}' tmpdat$Ri.txt)
	((Rj=Ri+3))
	RJ4=$(awk -F';' 'NR=='$Rj' {print $3}' tmpdat$Ri.txt)
	((Rj=Ri+4))
	RJ5=$(awk -F';' 'NR=='$Rj' {print $3}' tmpdat$Ri.txt)
	((Rj=Ri+5))
	RJ6=$(awk -F';' 'NR=='$Rj' {print $3}' tmpdat$Ri.txt)
	((Rj=Ri+6))
	RJ7=$(awk -F';' 'NR=='$Rj' {print $3}' tmpdat$Ri.txt)
 
	RNom=$(awk -F';' 'NR=='$Ri' {print $1}' $ARC)
	echo "Nom courbe comparateur" $RNom
 
       #Courbes A Comparer
 
	echo "nb de ligne" $CNbLigne
	i=1
        ItLigne=1
 
	while (( $ItLigne <= $CNbLigne )) ; do
 
		((j=i))
		CJ1=$(awk -F';' 'NR=='$j' {print $3}' $ARC)
		((j=i+1))
		CJ2=$(awk -F';' 'NR=='$j' {print $3}' $ARC)
		((j=i+2))
		CJ3=$(awk -F';' 'NR=='$j' {print $3}' $ARC)
		((j=i+3))
		CJ4=$(awk -F';' 'NR=='$j' {print $3}' $ARC)
		((j=i+4))
		CJ5=$(awk -F';' 'NR=='$j' {print $3}' $ARC)
		((j=i+5))
		CJ6=$(awk -F';' 'NR=='$j' {print $3}' $ARC)
		((j=i+6))
		CJ7=$(awk -F';' 'NR=='$j' {print $3}' $ARC)
 
 
		Nom=$(awk -F';' 'NR=='$i' {print $1}' $ARC)
		echo "Nom courbe comparée " $Nom
 
 
		((i=i+7))
		echo "Iteration i" $i
		((CItLigne=CItLigne+7))
		echo "Iteration Iterateur de ligne" $CItLigne
	done
 
	((Ri++))
    ((ITFichier++))
 
done

je vous remercie d'avance pour vos conseils

merci à tous

**N_BaH** · 12/03/2017, 19h33

Bonjour,

Le but est d'itérer tout les fichiers d'un dossier comprenant des fichiers .txt de 7lignes chacun et de comparer avec un fichier de 400 lignes pour trouver une concordance.

tu dois d'abord détailler les opérations (pas à pas) à effectuer pour atteindre ce but.

Code pseudo-code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
pour un_fichier parmi les_fichier_.txt
faire
   quoi avec quoi et quoi d'autre ?
   quoi d'autre avec quoi et quoi d'autre ?
fait

oublie ton script.

je sais : c'est dur, mais nécessaire.
décris la méthode, l'enchainement des opérations... fais un schéma...
d'abord !

comment ferais-tu "à la main" ?

on verra pour le code après.

**paytabass** · 12/03/2017, 20h49

merci N_BaH pour ta réponse rapide
je comprends. Je vais poser au clair mes idées et reviens avec un post plus clair.

**paytabass** · 12/03/2017, 22h55

Pour être plus précis, j'ai un fichier contenant un ensemble de courbes doubles. X fois 2 colonnes 7 lignes. je cherche à trouver celles-qui se ressemblent à +-5%. Ma première solution a été de décomposer le groupe de courbes en une multitude de fichiers contenant l'ensemble "courbe double". courbes1( 2 colonnes 7 lignes) courbe2( 2 colonnes 7 lignes) .... Courbes n( 2 colonnes 7 lignes). Puis de prendre cette ensemble (2 colonnes 7 lignes) et scanner le document contenant l'ensemble des courbes doubles afin de trouver une correspondance. Le problème c'est que je ne connait pas à l'avance le nombre de courbes.

d'ou mon while prendre fichier (pattern)
while comparer chaque (pattern) à l'ensemble de ligne.

je peux tourner autrement le problème pour contourner le while dans le while. créer 7 array (tableau) composé de :
array1 = valeur 1, valeur 8, Valeur 15,...valeur n+7
array2 = valeur 2, valeur 9, Valeur 16,...valeur n2+7
array3 = valeur 3, valeur 10, Valeur 17,...valeur n3+7
......
array7 = valeur 7, valeur 14, Valeur 21,...valeur n7+7.

si valeur 8 array1 - 5% < valeur 1 array1 < valeur 8 array1 +5% alors
si valeur 9 array2 - 5% < valeur 2 array2 < valeur 9 array2 +5% alors
si valeur 10 array3 - 5% < valeur 3 array3 < valeur 10 array3 +5% alors
......
si valeur 14 array7 - 5% < valeur 7 array7 < valeur 14 array7 +5% alors echo "les courbes sont similaires"

sinon echo "les courbes ne sont pas similaires"
puis continu test

si valeur 15 array1 - 5% < valeur 1 array1 < valeur 15 array1 +5% alors
si valeur 16 array2 - 5% < valeur 2 array2 < valeur 16 array2 +5% alors
si valeur 17 array3 - 5% < valeur 3 array3 < valeur 17 array3 +5% alors
......
si valeur 21 array7 - 5% < valeur 7 array7 < valeur 21 array7 +5% alors echo "les courbes sont similaires"

sinon echo "les courbes ne sont pas similaires"
puis continu test

et ce jusqu'à la fin du fichier

puis si concordance courbe 1 essai sur courbe 2...

bon voila étant nouveau en programmation désolé si je suis pas assez précis mais j'ai mal à la tête avec les si/sinon/while/sous shell..........

j'espère que c'est plus clair

en annexe le type de txt généré. composé de :

nom de la courbe | nom du point | courbe 1 | courbe 2 |

je vous remercie pour vos conseils et toutes aides car j'ai vraiment du mal

**byjav** · 12/03/2017, 23h26

Mais pourquoi pas utiliser un langage plus convenable et plus adapté aux calculs numeriques que bash? Disons, python ou perl.

**byjav** · 12/03/2017, 23h35

Alors, chaque courbe est représentée par 14 valeurs. Les courbes a1, ..., a14 et b1, ..., b14 sont similaires si a_k et b_k diffèrent de 5% au maximum pour tout k. Il s’agit de 5% de quoi ?

**paytabass** · 12/03/2017, 23h59

Envoyé par byjav

Alors, chaque courbe est représentée par 14 valeurs. Les courbes a1, ..., a14 et b1, ..., b14 sont similaires si a_k et b_k diffèrent de 5% au maximum pour tout k. Il s’agit de 5% de quoi ?

bonsoir byjav j'ai commencé à apprendre le python mais comme j'ai eu des difficultés à travailler avec des xls je suis passé en bash. maintenant il faudrait que je me remette au python mais le bash est de prime abord plus facile pour faire des extractions Excel (awk/grep/...) pour moi qui suis néophyte et je commence à manquer de temps pour ce projet là. Mais dés que possible je retourne sur le python qui est le langage des programmes que j'utilise en cours.

chaque courbe est représentée par 7 valeurs. Les courbes a1, ..., a7 et b1, ..., b7 sont similaires si a_k et b_k diffèrent de 5% au maximum pour tout k. Il s’agit de 5% de la valeur a1, ...,a7 et similaire pour courbe b. ex si a1 =100 courbe a_k1 entre 95 min et 105 max ok sinon nok

**paytabass** · 13/03/2017, 00h13

Pour que ce soit plus facile à comprendre j'étudie le signal satellite émis par des objets au sol. J'ai réalisé un traitement statistique me permettant de créer une "signature" personalisée de ces objets (courbe 7 points) d'une image satellite "Landsat" mais vu que ma précision est au minimum un carré de 30m par 30m j'ai des parasites. j'accepte donc une marge d'erreur de 5%. je souhaite regrouper les signaux qui ont une ressemblance et ainsi dissocier l'occupation de mon sol entre agriculture, bâti, végétations...

**jlliagre** · 13/03/2017, 03h14

Je ne comprends pas pourquoi tu te compliques la vie à créer une multitude de fichiers.

Toutes tes données sont dans un seul fichier. Tu charges le fichier en mémoire une fois pour toute dans un ou deux tableaux et après, tu fais tes comparaisons en utilisant les index qui vont bien.

Tu peux écrire ça dans à peu près n'importe quel langage interprété ou compilé qui existe.

Si tes valeurs ne sont pas entières, bash n'est pas très adapté mais ksh irait bien, sinon, je ferais probablement ça en awk, mais c'est plus une affaire de préférence. D'autres le feraient en Perl, python, java, php, javascript, visualbasic, fortran, C, C++, C#, Cobol, Pascal, etc.

**N_BaH** · 13/03/2017, 07h21

je plussoie l'emploi de awk.
c'est un langage simple et puissant, léger et rapide.

**paytabass** · 13/03/2017, 07h50

merci jlliagre et N_BaH, comme je disais je suis débutant d'où mes erreurs.

j'ai pas précisé mais je souhaite réaliser le tracé (gnuplot) de ces courbes (2 part 2) puis celles-qui se ressemblent. D'où cette extraction de fichiers en multi "courbes" prés à tracer dans (gnuplot). Surement pas la bonne solution...J'ai voulu peut être faire trop de choses en même temps et mal posé mon problème. ceci dit je ne connais pas les tableaux... Je perçois que les index sont la solution de mon problème. Couplé avec awk comme le souligne N_BaH. Et seulement après je m'occuperai de mes courbes dans gnuplot.

**N_BaH** · 13/03/2017, 07h56

non, non. ce n'est "couplé avec awk", c'est en awk; totalement codé en awk !

**paytabass** · 13/03/2017, 08h20

désolé pour la méprise, mais là,

ça dépasse mes petites connaissances de awk. Je sais récupérer des parties de textes ou autres mais toujours dirigé dans une variable que j'utilise après. Non un document entier rassemblé sous forme d'index...

**N_BaH** · 13/03/2017, 08h29

si tu as l'intention de poursuivre l'analyse de fichier CSV, il va falloir t'y mettre

tu peux confirmer : le nom des courbes est dans le premier champ, et les valeurs des courbes sont dans les deux derniers champs, c'est ça ?
le deuxième champ c'est la référence du point...

je ne trouve aucune courbe qui corresponde au critère ±5% ?

la deuxième "mesure" du premier point de toutes les courbes est toujours supérieur à la première mesure +5%.

**paytabass** · 13/03/2017, 09h55

Oui je vais me pencher dessus dés que je trouve un peu de temps.

je te confirme que le fichier contient en première colonne : le nom de la courbe
en deuxième colonne: le nom du point
en troisième colonne : courbe 1
(représente la signature de mon objet en hiver)
en quatrième colonne : courbe 2
(représente la signature de mon objet en été)

Le 5% de chacune des courbes n'est pas calculé car je comptais le faire après avoir récupéré mes points "courbes de référence" et mes points "courbe à comparer".

**jlliagre** · 13/03/2017, 11h38

Envoyé par paytabass

je te confirme que le fichier contient en première colonne : le nom de la courbe
en deuxième colonne: le nom du point
en troisième colonne : courbe 1
(représente la signature de mon objet en hiver)
en quatrième colonne : courbe 2
(représente la signature de mon objet en été)

Un exemple concret de ton fichier source présentant une quinzaine de lignes permettrait de mieux comprendre de quoi il s'agit.

**byjav** · 13/03/2017, 12h25

C’est, peut-être, ce qu’il te faut. Mais je ne garantis pas que ce soit correct, et en plus, ça fait longtemps que je n’ai pas codé en python.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
#!/usr/bin/python
 
import sys
 
def is_similar(a, b, error = 0.05):
    return all(abs(x - y) < error * x for (x, y) in zip(a, b))
 
def parse_line(line):
    items = line.split(";")
    return items[0], [float(x) for x in items[2:]]
 
def read_file(filename):
    data = {}
    with open(filename, "r") as f:
        for line in f:
            ID, values = parse_line(line)
            if ID in data:
                data[ID].extend(values)
            else:
                data[ID] = values
    return data;
 
def find_similar(data):
    return [(id1, id2) for id1, values1 in data.iteritems()
            for id2, values2 in data.iteritems()
            if id1 != id2 and is_similar(values1, values2)]
 
if __name__ == "__main__":
 
    for (id1, id2) in find_similar(read_file(sys.argv[1])):
        print id1, id2

Mode d’emploi:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

similar Final.txt

**paytabass** · 13/03/2017, 13h11

Je te remercie byjav pour ton aide. Je test ce soir chez moi et reviens pour te confirmer si ok en tout cas merci à tous pour vos conseils

**N_BaH** · 13/03/2017, 14h17

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
$ ./byjav_similar Final.txt 
F_PRAIRIES_1 VERGER_1
F_PRAIRIES_1 F_MELANGE_1
F_PRAIRIES_1 AG1_1
F_PRAIRIES_1 ROCHE_1
F_PRAIRIES_1 AG2_1
F_PRAIRIES_1 B_CONTINU_1
F_PRAIRIES_1 ROUTE_1
F_PRAIRIES_1 F_MELANGE_2
F_PRAIRIES_1 EAU
F_PRAIRIES_1 F_AUTRES_1
F_PRAIRIES_1 EAU_2
F_PRAIRIES_1 EAU_1
F_PRAIRIES_1 F_MAQUIS_G_1
F_PRAIRIES_1 F_CONIFERES_1
F_PRAIRIES_1 CLAIRSEM_1
F_PRAIRIES_1 VIGNES_1
F_PRAIRIES_1 ESPACE_VERT_1
F_PRAIRIES_1 B_INDUS_1
VERGER_1 F_PRAIRIES_1
VERGER_1 F_MELANGE_1
VERGER_1 AG1_1
VERGER_1 ROCHE_1
VERGER_1 AG2_1
[...]

on n'a pas la même interprétation de ce que veut faire paytabass.
j'ai compris qu'il fallait comparer la valeur de chaque point de la courbe "Hiver" avec celle de la courbe "Été"...
c'est-à-dire dansAG1_1;PV0115B1;7360;8554 : localisation/courbe: AG1_1; point: PV0115B1; comparer que 7360-(7360-5%) < 8554 < 7360+(7360+5%)...

de l'importance de montrer avant/après, et de détailler ce qui conduit de l'un à l'autre.

**jlliagre** · 13/03/2017, 14h35

Ah, je n'avais pas vu qu'un exemple de fichier en entrée avait été rajouté à un post.

Je suis d'accord, l'objectif souhaité n'est toujours pas très clair...

Boucle while dans boucle while

Shell et commandes GNU

Discussions similaires

Partager

Partager