Discussion :

[Invité]

Bonsoir à tous,

Effectivement je ne m'étais pas posé la question de garder ou non le curl en erreur.
Spontanément je pensais le mettre pour voir ceux qui sont en erreur mais est ce que ça ne rajoute pas du parasite, à voir.

Donc vu qu'on passe cette première partie on voit dans les captures que je vais bien dans le if avec "format_3"
Le fichier temp est rempli mais rien après

[disedorgue]

C'est bien, le fichier temp est rempli mais de quoi donc ?

A-t-il ce qu'il faut pour json_reformat ?

si tu dis qu'avant avec le curl cela fonctionnait, donc ceci devrait fonctionner aussi (pour faire abstraction des redirection) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat $fichier | json_reformat | awk -F : '(NR<11){next;} { $3 = "" ; print $4}'> valeurs_def.json

[Invité]

salut,
Le fichier temp est rempli de valeurs par exemple:

J'essaie avec le cat demain mais effectivement j'ai passé plus d'une journée à essayer de comprendre pourquoi si on fait tout en même temps que le curl ça marche et si on fait séparé non.
ça reste un grand mystère à l'heure actuelle.

Bonne soirée

[N_BaH]

ne fais pas de captures d'écran : c'est inutilisable.
il vaut mieux faire des copier/coller.

[Invité]

Salut à tous,
J'ai pas mal avancé sur le problème cette semaine.
J'ai fait quelques changements comme rajouter le "json_reformat" à la suite du curl, ça a l'air de marcher maintenant.
En testant le code je n'ai plus d'erreurs, mais certaines fois lors des curl la valeur 1 se met dans la variable codeErreur, alors que le curl à l'air de bien se faire: pas de message d'erreur, le compteur de tentative n'est pas incrémenté
Et chose encore plus bizarre pour tous les autres curl qui suivent la valeur reste dans la variable errCode comme si elle gardait en mémoire la valeur.
Il faut peut-être que j'écrase la valeur à chaque fois?

Bonne fin d'après-midi

[jack-ft]

Hello !
As-tu essayé la proposition avec la boucle gérée en interne par "curl --retry" et qui permet de s'abstenir de gérer les codes de retour?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
if ! curl --retry ${maxRetry:-5} --retry-delay ${delay:-1} -o "$fichier" "$url"
then echo "ça marche pô : $?" ; exit 1
fi
 
# Si on arrive ici, c'est que curl a bien réussi à récupérer le fichier.
# On continue en formatant pour extraire l'info souhaitée
if [ "$formatage" == "format_1" ]
   then
   ...
fi

Et chose encore plus bizarre pour tous les autres curl qui suivent la valeur reste dans la variable errCode comme si elle gardait en mémoire la valeur.
Il faut peut-être que j'écrase la valeur à chaque fois?

Je crois qu'il faudrait surtout que tu postes la version courante de ton script afin qu'on puisse voir s'il y a des problèmes, bugs ou améliorations à effectuer.

[Invité]

Salut jack-ft,
Voilà la version du code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
curl(){
        url=$1
        formatage=$2
        echo "$1 - URL : "$url
        echo "$2 - formatage : "$formatage
        fichier=temp.json
        declare -i retry=0 maxRetry=5;
        until curl $url | json_reformat>$fichier|| errCode=$? && ((retry < maxRetry))
        do
                retry+=1
                sleep ${delay:-1}
        done
        ((retry >=maxRetry)) && {>&2 echo "$maxRetry , code echec: $errCode"
                exit $errCode
        }
 
        if [ "$formatage" == "format_1" ]
        then
                cat $fichier | sed '1,10d' |sed '$d'|sed '$d'|sed '$d'| sed 's/,$//'| sed "s/^\ *//g"| sed "s/\" *//g"| sed "s/\:*//g" > valeurs.json
 
        elif [ "$formatage" == "format_2" ]
        then
                cat $fichier | sed '1,10d' |sed '$d'|sed '$d'|sed '$d'| sed 's/,$//'| sed "s/^\ *//g"| sed "s/\" *//g"| sed "s/\:*//g"| sed '1d' > valeurs.json
 
        elif [ "$formatage" == "format_3" ]
        then
                cat $fichier | awk -F ":" '{ $1 = "" ; print $0 }'|sed '1,10d'>valeurs.json
        fi
 
        echo "code : " $errCode
        echo "retry : " $retry
        echo "maxRetry : " $maxRetry
 
}

Et par exemple dans cette exemple on voit qu'il y a eu un problème avec le curl et pourtant rien n'est rejoué car le compteur de tentative n'est pas incrémenté.
De plus le la valeur 1 reste dans la variable ErrCode jusqu'à la fin de l'éxécution alors que les autres curl ont l'air de bien s'exécuter.
C'est ce que j'ai du mal à comprendre on dirait qu'on récupére le code mais que le curl en erreur n'est pas re-executé


Bon après-midi

[N_BaH]

tu ne dois pas mettre le json_reformat dans le until :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
until curl -o /tmp/sortieCurl.json "$url" || exCode=$? && ((retry>=max))
do
   retry+=1
   sleep $delay
done
 
# condition de sortie du script
...
 
# et ensuite
json_reformat </tmp/sortieCurl.json | awk ...

[Flodelarab]

retry+=1

Ce n'est pas du bash.

until curl -o /tmp/sortieCurl.json "$url" || exCode=$? && ((retry>=max))
do

Même si le curl fonctionne, il va recommencer max fois, car le until va tester ce que renvoie le test. Et pas curl.

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

retry+=1

Ce n'est pas du bash.

si si :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ declare -i i
$ i+=1
$ echo $i
1
$ i+=1
$ echo $i
2

il ne faut pas oublier le declare, sinon on obtiendrait 11

[Invité]

Salut,
Je n'ai pas utilisé le declare. Pourtant ça n'a pas l'air d'être gênant. En rajoutant le déclare la variable sera renitialisée à chaque fois ?
Sans le déclare ce n'est pas du bash, mais alors qu'est-ce que c'est ?

Je vais essayer d'enlever le json_reformat du until, par contre je ne comprends pas en quoi cela est problématique de le mettre là.

Bonne journée

[Flodelarab]

Toutes mes excuses. Je me suis doublement trompé. Je ne pensais pas qu'il y avait une arithmétique en dehors de $(( )). Et on peut même faire les choses de façon naturelle quand la variable est déclarée en nombre entier. (concaténation pour les textes et addition pour les nombres)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$ i=1
$ i+=1
$ echo $i
11
$ declare -i a
$ a=1
$ a+=1
$ echo $a
2
$ a=a+1
$ echo $a
3
$ i=i+1
$ echo $i
i+1

[N_BaH]

Je n'ai pas utilisé le declare. Pourtant ça n'a pas l'air d'être gênant.

comme je l'ai montré, la concaténation de uns reste un nombre.

En rajoutant le déclare la variable sera renitialisée à chaque fois ?

non

Sans le déclare ce n'est pas du bash, mais alors qu'est-ce que c'est ?

si si, c'est du bash.

Je vais essayer d'enlever le json_reformat du until, par contre je ne comprends pas en quoi cela est problématique de le mettre là.

on veut tester le curl.
à ce stade, il est inutile de refaire le formatage du JSON.

[Invité]

Bonjour,
Alors je suis arrivé à faire fonctionner le Curl en séparant le json_reformat.
C'est vrai que c'est logique de séparer les deux actions car ça ne sert à rien de faire du reformat si la requête n'aboutit pas.

Mais après je pense que mon problème est toujours d'actualité (cf capture plus haute) ou un Curl tombe en erreur et que pourtant il n'est pas re exécuté, avec la valeur qui reste dans errCode.

Bon week-end à tous

[N_BaH]

c'est le sens de l'inégalité qui est erroné.

on lit :

Code pseudo-code :

Sélectionner tout - Visualiser dans une fenêtre à part

jusqu'à curl (isOK) OU assigner errCode ET retry inférieur_à maxRetries

alors que ça doit être jusquà ... retry supérieur_à maxRetries

[disedorgue]

Et moi j'insiste:
ce que son until fait quand curl est toujours ko:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
$ declare -i retry=0 max=5;until { echo ko; false ;} ||  echo assigne  && ((retry>=max)) ; do retry+=1 ; done
ko
assigne
ko
assigne
ko
assigne
ko
assigne
ko
assigne
ko
assigne

Là, on est ok.

Par contre, quand le curl est ok, on a:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ declare -i retry=0 max=5;until { echo ok; true ;} ||  echo assigne  && ((retry>=max)) ; do retry+=1 ; done
ok
ok
ok
ok
ok
ok

Ce qui veut dire qu'on charge tout le temps 6 fois le même url, qu'il soit vrai ou faux, et que c'est uniquement le dernière qui compte quelque soit le résultat.
Alors que l'on devrait avoir ceci quand curl est vrai:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ declare -i retry=0 max=5;until { echo ok; true ;} || {  echo assigne  && ((retry>=max)) ;} ; do retry+=1 ; done
ok

Et quand curl est toujours faux:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
$ declare -i retry=0 max=5;until { echo ko; false ;} || {  echo assigne  && ((retry>=max)) ;} ; do retry+=1 ; done
ko
assigne
ko
assigne
ko
assigne
ko
assigne
ko
assigne
ko
assigne

Là, on a une vrai boucle retry...

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ declare -i retries=1; max=5; until curl -o "$sortie" "$url" || ((lastErrCode=$?, retries>=max)); do retries+=1; done

[Invité]

Bonjour,
Ca semble bien marcher maintenant.
Il fallait juste changer les parenthèses.
Merci beaucoup pour votre aide