Redirection bloquante

Bonsoir,

J'essaie de faire des curl mais je veux récupérer le code retour http pour relancer les curl en erreur comme timed out.
J'ai trouvé un bout de code qui fonctionne bien, par contre, le reformat_json ne fonctionne plus avec cette façon de faire , le code à droite du pipe n'est pas exécuté.

Code:

---

1 2 3 4 5 6

# creates a new file descriptor 3 that redirects to 1 (STDOUT) exec 3>&1   HTTP_STATUS=$(curl -w "%{http_code}" -o >(cat >&3) 'http://URL.fr' | json_reformat | awk -F ":" '{ $1 = "" ; print $0 }' |sed '1,10d')   echo "HTTP_STATUS : "$HTTP_STATUS

---

Je récupère bien le code retour dans HTTP_STATUS mais à partir du json_reformat rien ne semble s'exécuter.

Une idée pour permettre que ce bout de code soit exécuté ?

Merci par avance.

En fait, tu te complique la vie, le pipe ne concerne que le stdout et comme ici tu utilises le fd 3 et non le fd 1 , le pipe ne voit rien.

Pour faire plus simple, tu as la variable (tableau) PIPESTATUS qui te donne le status de chaque commande du pipeline (mais on ne peut la lire qu'en une seule fois) :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

$ false | true | false | false | true $ echo ${PIPESTATUS[0]} 1 $ echo ${PIPESTATUS[1]}   $ false | true | false | false | true $ echo ${PIPESTATUS[@]} 1 0 1 1 0 $ echo ${PIPESTATUS[@]} 0 $ false | true | false | false | true $ xx=(${PIPESTATUS[@]}) $ echo ${xx[0]} 1 $ echo ${xx[1]} 0 $ echo ${xx[2]} 1

---

Salut et merci de ta réponse.
Depuis j'ai remplacé &1 par un nom de fichier : res.json

Je comprends que le pipe n'est pas pris en compte.
Mais j'ai absolument besoin de reformater en json comme indiqué après le pipe car il y a un traitement qui va en découler.
Je pense que c'est possible de le faire hors de la requête en lisant le fichier et le modifiant mais j'ai peut que ça ajoute beaucoup de temps d'exécution.
Est-ce qu-il y aurait une façon de faire?

Sauf si je dois remplacer le 3 par 1 (stdout)?
Merci

Bonjour :coucou:

En vrac :

• Tu sembles te heurter à la différence entre ces 2 commandes :
  
  Code:

  ---

  commande fichier

  ---

  Code:

  ---

  commande < fichier

  ---

  Il faut que la commande accepte la deuxième syntaxe pour utiliser une conduite (pipe). Or, ton json_reformat, dont on ne sait rien, semble relever uniquement de la première syntaxe.
• Si utiliser un fichier intermédiaire te file des boutons, tu peux utiliser la substitution de processus (en bash ! ) :
  
  Code:

  ---

  json_reformat <( curl blablabla ) | awk blablabla

  ---

• Utiliser awk et sed à la suite est rarement une bonne idée. Ici, on résume ton code awk/sed par :
  
  Code:

  ---

  awk -F ":" '(NR<11){next;} { $1 = "" ; print $0 }'

  ---

• Supprimer les 10 premières lignes d'un JSON est-il une bonne idée ? N'y a-t-il pas une accolade ouvrante essentielle ?
• Prends ton temps et la place. Tu n'es pas obligé de tout faire en une ligne. Exemple :
  
  Code:

  ---

  1 2 3 4 5

  { commande1 commande2 # ... commanden } | commandepostpipe

  ---

• Est-ce un timeout serveur ou un timeout http ? Ce n'est pas pareil.

Salut,
Merci pour ta réponse.
Le json_reformat est une commande bash à ce que j'ai compris.
Les 10 première lignes du json sont enlevées car je besoin que des valeurs a partir de la 11 lignes pour faire des calculs.
Concernant le type de timeout c'est une bonne question et pour être honnête je n'en sais rien.
Après pour le pipe je ne vois pas comment je peux adapter le code que j'ai et qui marche bien pour reformater le json

J'ai en tête de faire qu'une seule commande parceque si je fais 2 commandes avec les curls la première peut très bien fonctionner mais la deuxième tomber en timeout c'est pour ça que le code initial était intéressant

A quoi ressemblait ton code avant de vouloir récupérer le statut pour le rejouer en cas de problème ?

Je n'avais que cette ligne:

Code:

---

curl 'http://URL.fr' | json_reformat | awk -F ":" '{ $1 = "" ; print $0 }' |sed '1,10d'

---

Citation:

---

Envoyé par flash026

je veux récupérer le code retour http

---

qu'appelles-tu "code de retour http" ?

Ok, et pourquoi donc pas ça, si on s'appuie aussi sur ton premier post:

Code:

---

1 2	curl 'http://URL.fr' | json_reformat | awk -F ":" '{ $1 = "" ; print $0 }' |sed '1,10d' HTTP_STATUS=${PIPESTATUS[0]}

---

J'entends par code retour http: 200 0k et tout ce qui n'est pas 200 = problème
Je fais donc faire un if sur http_status.

Alors avec ce code je ne récupère plus le code 200 mais juste une valeur de 0

Citation:

---

Envoyé par disedorgue

Ok, et pourquoi donc pas ça, si on s'appuie aussi sur ton premier post:

Code:

---

1 2	curl 'http://URL.fr' | json_reformat | awk -F ":" '{ $1 = "" ; print $0 }' |sed '1,10d' HTTP_STATUS=${PIPESTATUS[0]}

---

---

en effet, c'est à ça que je pensais : curl a des codes de sortie différents selon l'erreur qu'il a rencontrée.

par contre, pourquoi tenter de piper la sortie de curl si il échoue ? alors que la lecture d'un fichier peut n'être réalisée que quand la commande réussit !
donc :

Code:

---

1 2 3 4

fichier=/chemin/fichier.html curl ... || errCode=$? (($errCode)) && exit $errCode # on peut avoir un tableau qui reprend tous les code de sortie pour avoir un message explicatif... jsonReform "$fichier" | awk ...

---

Merci de ton retour.
Avec ton code la requête est réalisée donc ça c'est cool par contre le json_reformat ne marche pas.
Json_reformat: reformat json from stdin usage: json reformat [options]
D'ailleurs le fichier que j'ai déclaré dans la variable : résultats.json n'est même pas créé

De plus je me demande, avec ce code on récupère le code Curl dans &errCode?

Citation:

---

avec ce code on récupère le code Curl dans &errCode?

---

c'est ça, ou presque, c'est dans $errCode.

montre-nous le code que tu testes, stp.

Voilà le code que j'exécute :

Code:

---

1 2 3

Curl 'url.fr'|json_reformat | awk -F ":" '(NR<11){next;} {$1=""; print &0}' >result.json ||errCode=$? (($errCode)) && exit $errCode Écho "code : " $errCode

---

Avec cette version j'arrive maintenant à écrire dans le fichier avec la bonne forme, mais rien n'est mis dans la variable errCode

ça ne correspond pas à la méthode que j'ai proposée :
- on fait le curl, tout seul*, et s'il échoue on enregistre son code d'erreur
- on teste s'il existe un code d'erreur, ET s'il est supérieur à zéro, on quitte le script
- ensuite, on traite le fichier obtenu avec json_reformat.

--
* on peut éventuellement le mettre dans une boucle until, adjointe d'un compteur pour stopper la boucle en cas de succès, ou quand le nombre max de tentatives a été atteint

Alors en utilisant ce code:

Code:

---

1 2 3 4 5

Fichier=pwd/res.json curl URL.fr || errCode=$? (($errCode)) && exit $errCode # on peut avoir un tableau qui reprend tous les code de sortie pour avoir un message explicatif... json_Reformat | awk -F ":" '(NR<11){next;} {$1=""; print &0}' Écho "code : " $errCode

---

Mais ça bloque au niveau du json_reformat en mettant ou non la variable fichier

il faut indiquer le fichier de sortie à curl, ainsi que (le même :) ) en entrée à json_reformat !

Pour Curl avec l'option -o je suppose.
Par contre pour json_reformat j'ai mis juste après $fichier mais ça ne fonctionnait pas

je ne connais pas json_reformat, je ne sais pas ce qu'il attend comme entrée : le nom d'un fichier (json_reformat "$nomFichier", apparemment pas), ou le fichier lui-même (json_refomat <"$nomFichier" (ce qui devrait équivaloir à un pipe), ...).

Bonjour,
Alors la nouvelle version est:

Code:

---

1 2 3 4 5 6

Fichier=res.json curl -o $fichier URL.fr || errCode=$? (($errCode)) && exit $errCode # on peut avoir un tableau qui reprend tous les code de sortie pour avoir un message explicatif... json_Reformat | awk -F ":" '(NR<11){next;} {$1=""; print &0}' <$fichier Écho "code : " $errCode

---

Le problème est encore une fois sur la ligne json reformat, avec cette version il semble faire une boucle infinie.
Après les différents tests que j'ai pu faire des que le json_reformat est séparé du Curl ça ne semble plus marcher.
Je me demande si ce que je souhaite faire est vraiment possible

PS: je n'ai plus de valeur dans la variable errCode

MAJ 10H25: je suis sur le point de régler le problème de json reformat par contre toujours rien dans la variable errCode

Citation:

---

Envoyé par N_BaH

je ne connais pas json_reformat, je ne sais pas ce qu'il attend comme entrée : le nom d'un fichier (json_reformat "$nomFichier", apparemment pas), ou le fichier lui-même (json_refomat <"$nomFichier" (ce qui devrait équivaloir à un pipe), ...).

---

errCode n'est assigné qu'en cas d'échec ce curl; comme son nom le suggère, cette variable contient un code d'erreur :)

Citation:

---

avec cette version il semble faire une boucle infinie.

---

Parce qu'il attend une entrée que tu ne lui donnes pas. L'entrée devrait être $fichier. Le fait de le mettre en fin de ligne fait que awk reçoit le fichier; et tout ce qui est avant le pipe ne sert à rien (si ce n'est à tout bloquer). Il attend donc sur l'entrée standard, ici, le clavier.

Quand la console attend une entrée, Ctrl+D finit et rend la main.

Citation:

---

Je me demande si ce que je souhaite faire est vraiment possible

---

Comme on n'a jamais su ce que tu voulais faire, on ne peut pas t'aider. Harceler un serveur en demandant infiniment la même question est une bêtise. Et je reste poli.

Salut Flodelarab et N_Bah,
Merci pour vos réponses.
J'ai effectivement résolu le problème de boucle infinie.

@N_bah pou la variable errCode donc si le Curl tombe en Time Out ou autre chose il y a aura une valeur dans cette variable

Donc si je veux rejouer le Curl en cas d'erreur il me suffit de faire un if en testant si la valeur de errCode est différente de 0 ou nulle?

Parce que si la requête marche il n'y a pas de valeur dans la variable donc il faut peut être tester si errCode!=nulle?

Citation:

---

Envoyé par N_BaH

par contre, pourquoi tenter de piper la sortie de curl si il échoue ? alors que la lecture d'un fichier peut n'être réalisée que quand la commande réussit !

---

Si curl est bien fait, en principe, il s'arrête en cas d'erreur et surtout il clos ses FD, donc le pipe est fermé et les autres commandes s'arrêtent faute de participant.

Dans le cas d'une redirection vers un fichier temporaire, il faudra à la toute fin, penser à supprimer celui-ci.

Mais si le but est de boucler jusqu'à ce que curl retourne ok, soit il a une option de retry, soit rien n'empêche de lancer celui-ci dans un sous-shell pour intégrer la mécanique de bouclage:

Code:

---

{ curl .... ; si error .... ; ... ; } | json_reformat | ....

---

Et là, en plus, on peut justement utiliser un fd supplémentaire si on veut rajouter du printing autre que de l'erreur et qui n'entrera pas dans le pipe.

Mais bon, votre approche est plus habituel et donc, disons, plus sereine :mrgreen:

Citation:

---

pou la variable errCode donc si le Curl tombe en Time Out ou autre chose il y a aura une valeur dans cette variable

Donc si je veux rejouer le Curl en cas d'erreur il me suffit de faire un if en testant si la valeur de errCode est différente de 0 ou nulle?

Parce que si la requête marche il n'y a pas de valeur dans la variable donc il faut peut être tester si errCode!=nulle?

---

tu pourrais, comme je l'ai indiqué précédemment, mettre curl dans une boucle until ("jusqu'à réussite de la commande", et incrémentation d'une variable "maxRetry")...

le test de la valeur de errCode est effectué par les parenthèses doubles.

Alors j'ai cherché sur le net pour la boucle until
Je ne suis pas sûr d'avoir tout saisie car spontanément je ferais ça :

Code:

---

1 2 3 4 5 6 7 8 9

Fichier=res.json Until [ $errCode != Null] Do curl -o $fichier URL.fr || errCode=$? (($errCode)) && exit $errCode # on peut avoir un tableau qui reprend tous les code de sortie pour avoir un message explicatif... json_Reformat<$fichier | awk -F ":" '(NR<11){next;} {$1=""; print &0}' >résultats.json echo "code : " $errCode Done

---

- Le problème c'est que en faisant ça, errCode n'est pas encore déclaré ?
- on est d'accord que l'ajout de maxretry n'est pas obligatoire ?

Où bien je garde le premier Curl comme initialement puis je fais la boucle en testant (($errCode)) et je duplique le Curl?

tu dois formuler (en termes simples) le raisonnement AVANT de coder !

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

declare -i retry maxRetry=5 until curl ... || { errCode=$?; (( retry >= maxRetry ));} # ou bien # until curl ... || errCode=$? && (( retry < maxRetry )) do retry+=1 sleep ${delay:-1} done (( retry >= maxRetry )) && { >&2 echo "$maxRetry tentatives de téléchargement. dernier code d'échec de téléchargement : $errCode je quitte." exit $errCode } json_reformat "$fichier" | awk ...

---

Bonjour et merci pour ton aide.

Alors si je comprends bien ton code.

On fait le Curl, si le code retour est différent de 0 alors on fait errCode=$? && ((Retry < maxRetry))
Donc dans cette seconde partie on analyse la première partie et si le code de retour est égal à 0 alors on test ((Retry < maxRetry))

Je suppose que le Retry+1 et le sleep ne sont exécutés que si le Curl ne fonctionne pas.
D'ailleurs à quoi correspond le sleep ${delay:-1}?
Sur internet je trouve des sleep 10 ou autre mais rien avec une variable.

Enfin à quoi correspond >&2 ?
Pour moi &2 est le second argument donc je ne comprends pas ce bout de code

Très bonne journée à tous

Citation:

---

On fait le Curl, si le code retour est différent de 0 alors on fait errCode=$? && ((Retry < maxRetry))
Donc dans cette seconde partie on analyse la première partie et si le code de retour est égal à 0 alors on test ((Retry < maxRetry))

---

c'est ça.

Citation:

---

Je suppose que le Retry+1 et le sleep ne sont exécutés que si le Curl ne fonctionne pas.

---

c'est ça.

Citation:

---

D'ailleurs à quoi correspond le sleep ${delay:-1}?

---

ça indique une valeur par défaut (1) quand delay n'est pas défini. cf. man bash /Remplacement de paramètres

Citation:

---

Sur internet je trouve des sleep 10 ou autre mais rien avec une variable.

---

toute donnée peut être "variabilisée".

Citation:

---

Enfin à quoi correspond >&2 ?

---

c'est la sortie d'erreur.
il existe, par défaut trois descripteurs de fichiers (file descriptor) pour gérer les entrées/sorties :
0 entrée standard (stdin)
1 sortie standard (stdout)
2 sortie d'erreur (stderr)

Citation:

---

Pour moi &2 est le second argument donc je ne comprends pas ce bout de code

---

le deuxième argument d'un script ou d'une fonction c'est $2

C'est beaucoup plus clair.
Je vous remercie tous pour votre aide et votre temps.
En plus j'ai appris plein de choses :)