Mise à jour Minecraft : wget et conditions

**Feneck91** · 11/04/2022, 08h41

Bonjour à tous et à toutes.

J'ai des scripts qui mettent à jour mes docker Minecraft. Seulement, lorsque les dockers sont mis à jour, les plugins eux ne le sont pas et le serveur ne fonctionne plus.
J'utilise deux plugins : floodgate et Geyser. Pour eux, c'est facile :

$backup_source est une variable qui contient le chemin vers les fichiers du docker.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
# Update floodgate-api.jar
if [ -e "${backup_source}/plugins/floodgate-api.jar" ]
then
    wget -N "https://ci.opencollab.dev/job/GeyserMC/job/Floodgate/job/master/lastSuccessfulBuild/artifact/api/target/floodgate-api.jar" -O "${backup_source}/plugins/floodgate-api.jar"
fi
 
# Update Geyser-Spigot.jar
if [ -e "${backup_source}/plugins/Geyser-Spigot.jar" ]
then
    wget -N "https://ci.opencollab.dev//job/GeyserMC/job/Geyser/job/master/lastSuccessfulBuild/artifact/bootstrap/spigot/target/Geyser-Spigot.jar" -O "${backup_source}/plugins/Geyser-Spigot.jar"
fi

Jusque là, c'est facile !
Mais...
J'ai aussi besoin de mettre à jour WorldEdit et là, ça se corse, l'URL est la suivante : https://dev.bukkit.org/projects/worldedit/files/latest
Mais cette URL pose deux problèmes :

Avec wget, le fichier téléchargé s'appelle latest, or si on le fait dans un navigateur, le fichier est un fichier du genre "worldedit-bukkit-7.2.10.jar" dont le nom change à chaque version.
dans mon répertoire plugin, le nom s'appelle worldedit-bukkit-7.1.5.jar par exemple => il faut donc le supprimer, mieux, ne le mettre à jour que si besoin

Une solution rapide serait de supprimer systématiquement worldedit-bukkit-*.jar et de télécharger la dernière version, mais
Je ne sais pas comment télécharger le fichier dans le bon nom, il me télécharge et me le nomme latest !
La meilleur solution est de chercher la version du fichier -bukkitxxxxx dans le répertoire plugin, de demander à wget le nom du fichier qui se trouve derrière l'URL, de comparer les versions et de finalement ne télécharger le fichier (et supprimer l'ancien) que s'il y a une nouvelle version.
Et là, il y a beaucoup de choses que je ne sais pas faire

Une idée, un coup de main ? Merci à tous et portez vous bien.

**N_BaH** · 11/04/2022, 14h03

Bonjour,

le mieux, ce serait de faire digérer la page des téléchargements (https://dev.bukkit.org/projects/worldedit/files) par python pour récupérer le lien et la version de la dernière mise à jour (la première ligne du tableau), voire de lui demander de télécharger le lien proprement...
en shell, ça sent la grosse galère.

**N_BaH** · 12/04/2022, 02h00

parce que je suis têtu

:

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ read url nomFichier < <(wget -qO- 'https://dev.bukkit.org/projects/worldedit/files' \
    | sed 's/^M//g' \
    | sed -zn 's/<a class="overflow-tip twitch-link"/\x00/;
               s/.*\x00/<a class="overflow-tip twitch-link"/;
               s@\(<a class="overflow-tip twitch-link" href="/projects/worldedit[^>]*[^>]*>\).*@\1@;
               s@.*href="\([^"]*\).*data-name="\([^"]*\).*@https://dev.bukkit.org/\1/download \2@p')

à utiliser ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ wget -qO "$nomFichier.jar" "$url"

la transformation du nom dans un format qui te convient mieux est triviale.

edit :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

               s/.*\x00]*/<a class="overflow-tip twitch-link"/;

**Feneck91** · 12/04/2022, 03h02

Eh..... Je dis respect et merci....

Bon, ça me donne un nom de fichier => WorldEdit 7.2.10 (1.13.2 - 1.18.2) et non pas "worldedit-bukkit-7.2.10.jar", je vais tenter de comprendre ce que tu as fait...
Tu peux juste expliquer ta démarche ? C'est un poil compliqué là... Comme ça je pourrais le faire évoluer pour ce que je veux faire et surtout que j'en ai d'autres.

En plus tu fais ça à deux heures du mat !

**N_BaH** · 12/04/2022, 03h18

seule la partie du milieu varie, tu peux la récupérer en plaçant la variable nomFichier un tableau indexé, pour rester ±full-bash, ou alors la récupérer avec un cut...
l'extension, et le préfixe (wordedit-bukkit-), eux, sont constants.

**N_BaH** · 12/04/2022, 03h32

le premier sed sert à convertir le fichier au format UNIX (\n uniquement).

ensuite, en gros, le second sed met plus ou moins tout le fichier sur une seule ligne (pour "casser" le format aléatoire du HTML),
remplace la première occurrence du début du lien par NULL,
puis supprime tout ce qui précède ce NULL,
récupère tout ce qu'il y a jusqu'au deuxième >,
et, finalement, récupère les infos pertinentes.

sed : simply esoteric dialect.

**Feneck91** · 12/04/2022, 03h36

Je n'ai pas compris, quelle partie du milieu ?
Et comment tu récupères ce qu'il faut parser ? J'ai exécuté wget -qO- 'https://dev.bukkit.org/projects/worldedit/files/latest' et le moins qu'on puisse dire c'est que ça fou le bordel dans la console !

EDIT : ok, je viens de faire wget -qO- 'https://dev.bukkit.org/projects/worldedit/files' et en effet, j'obtient un fichier en retour qu'il faut parser, je vais examiner sed (que j'ai pas utilisé depuis la fac) pour comprendre les différentes expressions régulières que tu as utilisé.

EDIT 2 : Ok, super, j'avais pas vu que tu avais déjà répondu.
Il va falloir que je le fasse en deux temps mais quand j'exécute la commande, je vois que j'ai le lien sur le fichier => https://dev.bukkit.org/projects/worldedit/files/3559523
En refaisant un nouveau wget il y a le nom du vrai fichier inscrit dans la page web, je vais creuser ça, merci.

Je vous tient au courant et donnerai l'état de mes recherches...

**N_BaH** · 12/04/2022, 03h45

Envoyé par Feneck91

Je n'ai pas compris, quelle partie du milieu ?

le numéro de version.

Et comment tu récupères ce qu'il faut parser ? J'ai exécuté wget -qO- 'https://dev.bukkit.org/projects/worldedit/files/latest' et le moins qu'on puisse dire c'est que ça fou le bordel dans la console !

ça affiche le contenu compressé du jar sur la console. Ça doit pas être beau.

**Feneck91** · 12/04/2022, 08h46

Envoyé par N_BaH

ça affiche le contenu compressé du jar sur la console. Ça doit pas être beau.

Comment dire.... C'est exactement ça !

**Feneck91** · 12/04/2022, 22h26

Envoyé par N_BaH

parce que je suis têtu

:

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
read url nomFichier < <(wget -qO- 'https://dev.bukkit.org/projects/worldedit/files' \
    | sed 's/^M//g' \
    | sed -zn 's/<a class="overflow-tip twitch-link"/\x00/;
               s/.*\x00]*/<a class="overflow-tip twitch-link"/;
               s@\(<a class="overflow-tip twitch-link" href="/projects/worldedit[^>]*[^>]*>\).*@\1@;
               s@.*href="\([^"]*\).*data-name="\([^"]*\).*@https://dev.bukkit.org/\1/download \2@p')

à utiliser ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ wget -qO "$nomFichier.jar" "$url"

la transformation du nom dans un format qui te convient mieux est triviale.

Bon, je décortique le bignou pour comprendre...
read url nomFichier Lit dans l'entrée standard les deux variables url et nomFichier.
< c'est pour rediriger le wget vers le read.
<( ..... blah blah blah commande ) : aucune espèce d'idée mais l'espace entre les deux << est important ainsi que le fait que <( soit collé. Mais je ne sais pas à quoi ça sert.
wget -qO- 'url' : -q –> Évite l'affichage des messages du wget / -O spécifie le fichier de sortie et le - après le O signifie de mettre sur la sortie standard pour pouvoir le piper.
Ensuite des instruction sed pipées...

Et là... j'ai la migraine...

sed 's/^M//g' : s/ c'est substitution : s/<chercher>/<remplacer>/[g] le g est optionnel et permet de remplacer toutes les occurrences sur la ligne et non pas uniquement la première.
Toutes les lignes qui commencent par M : on supprime le M du début de ligne et toutes les occurences (mais il doit y en avoir qu'une seule puisque c'est en début de ligne)............. bizarre ce truc...

**N_BaH** · 12/04/2022, 22h44

<( ... ) est une Substitution de processus.
ça fonctionne comme un pipe, mais ça permet de conserver les variables dans l'environnement courant, alors qu'un [i]pipe[/c] crée un sous-processus en dehors duquel les variables qui y sont créées n'existent plus.

oops!
^M j'ai oublié de te dire qu'il s'agit d'un caractère unique obtenu avec la combinaison de touches Ctrl-V Ctrl-M, qui est équivalent au retour chariot (\r) des alinéas au format Windows (\r\n).
plutôt que ce sed, s'il est disponible sur ton système tu peux utiliser dos2unix.

**Feneck91** · 13/04/2022, 05h49

La ligne du premier sed peut donc être replacée par sed 's/\x0D$//'

Bon, on reprend calmement.

Le code est donc le suivant :

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
read url nomFichier < <(wget -qO- 'https://dev.bukkit.org/projects/worldedit/files' \
    | sed 's/\x0D$//' \
    | sed -zn 's/<a class="overflow-tip twitch-link"/\x00/;
               s/.*\x00]*/<a class="overflow-tip twitch-link"/;
               s@\(<a class="overflow-tip twitch-link" href="/projects/worldedit[^>]*[^>]*>\).*@\1@;
               s@.*href="\([^"]*\).*data-name="\([^"]*\).*@https://dev.bukkit.org/\1/download \2@p')

Bon, je décortique le bignou pour comprendre...
read url nomFichier Lit dans l'entrée standard les deux variables url et nomFichier.
< c'est pour rediriger le wget vers le read.
<( ..... blah blah blah commande ) : est une Substitution de processus, ça fonctionne comme un pipe, mais ça permet de conserver les variables dans l'environnement courant, alors qu'un pipe crée un sous-processus en dehors duquel les variables qui y sont créées n'existent plus.
wget -qO- 'url' : -q –> Évite l'affichage des messages du wget / -O spécifie le fichier de sortie et le - après le O signifie de mettre sur la sortie standard pour pouvoir le piper.

Ensuite des instruction sed pipées...

's/\x0D$//' : s/ c'est substitution : s/<chercher>/<remplacer>/[g] le g est optionnel (je ne le met pas) et permet de remplacer toutes les occurrences sur la ligne et non pas uniquement la première. Toutes les lignes qui finissent par \r (OxD) avant la fin de ligne (\n, ici représenté par le $ de l'expression régulière) : on supprime le \r, on passse ainsi de \r\n à \n uniquement => conversion au format unix. Avec la version GNU-sed (gsed 3.02.80 et supérieur), on peut utiliser la notation ASCII
| sed -zn 's/<a class="overflow-tip twitch-link"/\x00/; :

**N_BaH** · 13/04/2022, 12h00

le g n'est pas optionnel. Si tu ne le mets pas, seule la première correspondance sera modifiée !

**Feneck91** · 13/04/2022, 23h40

A priori la première occurence de chaque ligne or le \r ne se retrouve normalement QUE en fin de ligne, donc.. une seule fois par ligne... J'ai raison ou pas ?

**N_BaH** · 13/04/2022, 23h49

exact ! j'étais focalisé sur l'option -z du deuxième sed.

le g du premier sed est tout à fait i nu tile, et pas facultatif.

tu as eu raison d'insister.

**Feneck91** · 14/04/2022, 00h09

Je suis pas très à l'aise avec le bash mais j'aime comprendre ce que je fais (et ça va me resservir crois moi). Je suis ingé développement C++ / C# / Python / Java / ROR et je dois en oublier...
Donc tout ça ne m'est pas familier mais j'apprend vite.
Je vais continuer à décortiquer tout ça (et ça pourra servir pour les autres) mais là je suis crevé... dodo
En tout cas, merci pour tout.

**Flodelarab** · 14/04/2022, 16h57

Bonjour

Lis man wget car wget sait lui-même ne re-télécharger que les fichiers qui ont changé.

**N_BaH** · 14/04/2022, 17h07

c'est ce que fait l'option -N* indiquée dans le premier message de Feneck91, et le lien qu'il utilisait dirigeait tout seul vers le dernier fichier disponible.

son problème portait davantage sur le nom à attribuer (numéro de version) au fichier téléchargé.

--
* j'ai constaté l'inefficacité de cette option de nombreuses fois.

**Feneck91** · 17/04/2022, 22h54

La ligne du premier sed peut donc être replacée par sed 's/\x0D$//'

Bon, on reprend calmement.

Le code est donc le suivant :

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
read url nomFichier < <(wget -qO- 'https://dev.bukkit.org/projects/worldedit/files' \
    | sed 's/\x0D$//' \
    | sed -zn 's/<a class="overflow-tip twitch-link"/\x00/;
               s/.*\x00]*/<a class="overflow-tip twitch-link"/;
               s@\(<a class="overflow-tip twitch-link" href="/projects/worldedit[^>]*[^>]*>\).*@\1@;
               s@.*href="\([^"]*\).*data-name="\([^"]*\).*@https://dev.bukkit.org/\1/download \2@p')

Bon, je décortique le bignou pour comprendre...
read url nomFichier Lit dans l'entrée standard les deux variables url et nomFichier.
< c'est pour rediriger le wget vers le read.
<( ..... blah blah blah commande ) : est une Substitution de processus, ça fonctionne comme un pipe, mais ça permet de conserver les variables dans l'environnement courant, alors qu'un pipe crée un sous-processus en dehors duquel les variables qui y sont créées n'existent plus.
wget -qO- 'url' : -q –> Évite l'affichage des messages du wget / -O spécifie le fichier de sortie et le - après le O signifie de mettre sur la sortie standard pour pouvoir le piper.

Ensuite des instruction sed pipées...

's/\x0D$//' : s/ c'est substitution : s/<chercher>/<remplacer>/[g] le g est optionnel (je ne le met pas) et permet de remplacer toutes les occurrences sur la ligne et non pas uniquement la première. Toutes les lignes qui finissent par \r (OxD) avant la fin de ligne (\n, ici représenté par le $ de l'expression régulière) : on supprime le \r, on passe ainsi de \r\n à \n uniquement => conversion au format unix. Avec la version GNU-sed (gsed 3.02.80 et supérieur), on peut utiliser la notation ASCII
| sed -zn 's/<a class="overflow-tip twitch-link"/\x00/; : -z ignore les retours chariots / n filtrer (ne retenir que ce qui est donné et ignorer tout le reste).

Je ne comprend pas les 4 dernières lignes. Si on met que | sed -zn 's/<a class="overflow-tip twitch-link"/\x00/; on récupère une chaine vide, si on met | sed -z 's/<a class="overflow-tip twitch-link"/\x00/; alors ça supprimer de la chaine <a class="overflow-tip twitch-link", du coup les expressions suivantes ne doivent pas trouver or elles se base sur ça !!!
C'est l'option n qui me gène, sinon je dirais le premier remplace <a class="overflow-tip twitch-link" par \0 puis la deuxième recherche tout le début du fichier jusque \0 et remplace par s/.*\x00]*/<a class="overflow-tip twitch-link"/;, en gros on supprime tout ce qu'il y a avant.
Après....

Tu pourrais m'expliquer ce que ça fait ? ça serait sympa. Merci.

**N_BaH** · 17/04/2022, 23h45

oui, c'est ça : on remplace la première expression (la référence au dernier fichier à jour) par un repère (\x00) qu'on espère unique dans le fichier analysé.
on supprime tout jusque cette marque "unique", et out ce qu'il y a après la fin des infos qu'on veut garder.
il ne reste donc à traiter que les informations pertinentes.

NB : j'ai fait un edit du code de mon message du 12/04/2022, 02h00 : il y avait une expression inutile.

Mise à jour Minecraft : wget et conditions

Shell et commandes GNU

Discussions similaires

Partager

Partager