Bash - Utilisation de awk

Version imprimable

Voir 40 message(s) de cette discussion en une page

13/08/2021, 22h03
Invité

Bonsoir à tous,

Effectivement je ne m'étais pas posé la question de garder ou non le curl en erreur.
Spontanément je pensais le mettre pour voir ceux qui sont en erreur mais est ce que ça ne rajoute pas du parasite, à voir.

Donc vu qu'on passe cette première partie on voit dans les captures que je vais bien dans le if avec "format_3"
Le fichier temp est rempli mais rien après
13/08/2021, 22h27
disedorgue

C'est bien, le fichier temp est rempli mais de quoi donc ?

A-t-il ce qu'il faut pour json_reformat ?

si tu dis qu'avant avec le curl cela fonctionnait, donc ceci devrait fonctionner aussi (pour faire abstraction des redirection) :

Code:

cat $fichier | json_reformat | awk -F : '(NR<11){next;} { $3 = "" ; print $4}'> valeurs_def.json
15/08/2021, 22h31
Invité

1 pièce(s) jointe(s)

salut,
Le fichier temp est rempli de valeurs par exemple:
Pièce jointe 603357
J'essaie avec le cat demain mais effectivement j'ai passé plus d'une journée à essayer de comprendre pourquoi si on fait tout en même temps que le curl ça marche et si on fait séparé non.
ça reste un grand mystère à l'heure actuelle.

Bonne soirée
15/08/2021, 22h37
N_BaH

ne fais pas de captures d'écran : c'est inutilisable.
il vaut mieux faire des copier/coller.
18/08/2021, 16h37
Invité

Salut à tous,
J'ai pas mal avancé sur le problème cette semaine.
J'ai fait quelques changements comme rajouter le "json_reformat" à la suite du curl, ça a l'air de marcher maintenant.
En testant le code je n'ai plus d'erreurs, mais certaines fois lors des curl la valeur 1 se met dans la variable codeErreur, alors que le curl à l'air de bien se faire: pas de message d'erreur, le compteur de tentative n'est pas incrémenté
Et chose encore plus bizarre pour tous les autres curl qui suivent la valeur reste dans la variable errCode comme si elle gardait en mémoire la valeur.
Il faut peut-être que j'écrase la valeur à chaque fois?

Bonne fin d'après-midi

Hello !
As-tu essayé la proposition avec la boucle gérée en interne par "curl --retry" et qui permet de s'abstenir de gérer les codes de retour?
Code:

1 2 3 4 5 6 7 8 9 10 if ! curl --retry ${maxRetry:-5} --retry-delay ${delay:-1} -o "$fichier" "$url" then echo "ça marche pô : $?" ; exit 1 fi # Si on arrive ici, c'est que curl a bien réussi à récupérer le fichier. # On continue en formatant pour extraire l'info souhaitée if [ "$formatage" == "format_1" ] then ... fi
Citation:

Envoyé par flash026

Et chose encore plus bizarre pour tous les autres curl qui suivent la valeur reste dans la variable errCode comme si elle gardait en mémoire la valeur.
Il faut peut-être que j'écrase la valeur à chaque fois?

Je crois qu'il faudrait surtout que tu postes la version courante de ton script afin qu'on puisse voir s'il y a des problèmes, bugs ou améliorations à effectuer.

1 pièce(s) jointe(s)

Salut jack-ft,
Voilà la version du code:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
curl(){
        url=$1
        formatage=$2
        echo "$1 - URL : "$url
        echo "$2 - formatage : "$formatage
        fichier=temp.json
        declare -i retry=0 maxRetry=5;
        until curl $url | json_reformat>$fichier|| errCode=$? && ((retry < maxRetry))
        do
                retry+=1
                sleep ${delay:-1}
        done
        ((retry >=maxRetry)) && {>&2 echo "$maxRetry , code echec: $errCode"
                exit $errCode
        }
 
        if [ "$formatage" == "format_1" ]
        then
                cat $fichier | sed '1,10d' |sed '$d'|sed '$d'|sed '$d'| sed 's/,$//'| sed "s/^\ *//g"| sed "s/\" *//g"| sed "s/\:*//g" > valeurs.json
 
        elif [ "$formatage" == "format_2" ]
        then
                cat $fichier | sed '1,10d' |sed '$d'|sed '$d'|sed '$d'| sed 's/,$//'| sed "s/^\ *//g"| sed "s/\" *//g"| sed "s/\:*//g"| sed '1d' > valeurs.json
 
        elif [ "$formatage" == "format_3" ]
        then
                cat $fichier | awk -F ":" '{ $1 = "" ; print $0 }'|sed '1,10d'>valeurs.json
        fi
 
        echo "code : " $errCode
        echo "retry : " $retry
        echo "maxRetry : " $maxRetry
 
}

Et par exemple dans cette exemple on voit qu'il y a eu un problème avec le curl et pourtant rien n'est rejoué car le compteur de tentative n'est pas incrémenté.
De plus le la valeur 1 reste dans la variable ErrCode jusqu'à la fin de l'éxécution alors que les autres curl ont l'air de bien s'exécuter.
C'est ce que j'ai du mal à comprendre on dirait qu'on récupére le code mais que le curl en erreur n'est pas re-executé
Pièce jointe 603547

Bon après-midi

tu ne dois pas mettre le json_reformat dans le until :

Code:

1
2
3
4
5
6
7
8
9
10
11
until curl -o /tmp/sortieCurl.json "$url" || exCode=$? && ((retry>=max))
do
   retry+=1
   sleep $delay
done
 
# condition de sortie du script
...
 
# et ensuite
json_reformat </tmp/sortieCurl.json | awk ...

19/08/2021, 18h04
Flodelarab

Citation:

retry+=1

Ce n'est pas du bash.

Citation:

until curl -o /tmp/sortieCurl.json "$url" || exCode=$? && ((retry>=max))
do

Même si le curl fonctionne, il va recommencer max fois, car le until va tester ce que renvoie le test. Et pas curl.
19/08/2021, 19h21
N_BaH
Citation:

Code:

retry+=1

Ce n'est pas du bash.

si si :
Code:

1 2 3 4 5 6 7 $ declare -i i $ i+=1 $ echo $i 1 $ i+=1 $ echo $i 2
il ne faut pas oublier le declare, sinon on obtiendrait 11 :aie:
:)
20/08/2021, 07h38
Invité

Salut,
Je n'ai pas utilisé le declare. Pourtant ça n'a pas l'air d'être gênant. En rajoutant le déclare la variable sera renitialisée à chaque fois ?
Sans le déclare ce n'est pas du bash, mais alors qu'est-ce que c'est ?

Je vais essayer d'enlever le json_reformat du until, par contre je ne comprends pas en quoi cela est problématique de le mettre là.

Bonne journée
20/08/2021, 14h30
Flodelarab
Toutes mes excuses. Je me suis doublement trompé. Je ne pensais pas qu'il y avait une arithmétique en dehors de $(( )). Et on peut même faire les choses de façon naturelle quand la variable est déclarée en nombre entier. (concaténation pour les textes et addition pour les nombres)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 $ i=1 $ i+=1 $ echo $i 11 $ declare -i a $ a=1 $ a+=1 $ echo $a 2 $ a=a+1 $ echo $a 3 $ i=i+1 $ echo $i i+1
20/08/2021, 15h40
N_BaH

Citation:

Je n'ai pas utilisé le declare. Pourtant ça n'a pas l'air d'être gênant.

comme je l'ai montré, la concaténation de uns reste un nombre.

Citation:

En rajoutant le déclare la variable sera renitialisée à chaque fois ?

non

Citation:

Sans le déclare ce n'est pas du bash, mais alors qu'est-ce que c'est ?

si si, c'est du bash.

Citation:

Je vais essayer d'enlever le json_reformat du until, par contre je ne comprends pas en quoi cela est problématique de le mettre là.

on veut tester le curl.
à ce stade, il est inutile de refaire le formatage du JSON.
20/08/2021, 18h36
Invité

Bonjour,
Alors je suis arrivé à faire fonctionner le Curl en séparant le json_reformat.
C'est vrai que c'est logique de séparer les deux actions car ça ne sert à rien de faire du reformat si la requête n'aboutit pas.

Mais après je pense que mon problème est toujours d'actualité (cf capture plus haute) ou un Curl tombe en erreur et que pourtant il n'est pas re exécuté, avec la valeur qui reste dans errCode.

Bon week-end à tous
20/08/2021, 20h08
N_BaH

c'est le sens de l'inégalité qui est erroné.

on lit :

Code:

jusqu'à curl (isOK) OU assigner errCode ET retry inférieur_à maxRetries

alors que ça doit être jusquà ... retry supérieur_à maxRetries

Et moi j'insiste:
ce que son until fait quand curl est toujours ko:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 $ declare -i retry=0 max=5;until { echo ko; false ;} || echo assigne && ((retry>=max)) ; do retry+=1 ; done ko assigne ko assigne ko assigne ko assigne ko assigne ko assigne
Là, on est ok.

Par contre, quand le curl est ok, on a:
Code:

1 2 3 4 5 6 7 $ declare -i retry=0 max=5;until { echo ok; true ;} || echo assigne && ((retry>=max)) ; do retry+=1 ; done ok ok ok ok ok ok
Ce qui veut dire qu'on charge tout le temps 6 fois le même url, qu'il soit vrai ou faux, et que c'est uniquement le dernière qui compte quelque soit le résultat.
Alors que l'on devrait avoir ceci quand curl est vrai:
Code:

1 2 $ declare -i retry=0 max=5;until { echo ok; true ;} || { echo assigne && ((retry>=max)) ;} ; do retry+=1 ; done ok
Et quand curl est toujours faux:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 $ declare -i retry=0 max=5;until { echo ko; false ;} || { echo assigne && ((retry>=max)) ;} ; do retry+=1 ; done ko assigne ko assigne ko assigne ko assigne ko assigne ko assigne
Là, on a une vrai boucle retry...

21/08/2021, 18h01
N_BaH

Code:

$ declare -i retries=1; max=5; until curl -o "$sortie" "$url" || ((lastErrCode=$?, retries>=max)); do retries+=1; done
31/08/2021, 14h17
Invité

Bonjour,
Ca semble bien marcher maintenant.
Il fallait juste changer les parenthèses.
Merci beaucoup pour votre aide

Voir 40 message(s) de cette discussion en une page