Discussion :

[Marco46]

npm en version 5.7.0,
l'alignement vers les pratiques DevOps se poursuit.

npm de npm, Inc est à JavaScript ce que le célèbre Maven de la fondation Apache est à Java. Il fournit des outils de gestion du cycle de vie de l'application, et il s'adosse à un registre de packages pour gérer efficacement les dépendances d'exécution et de développement des projets JavaScript, qu'ils soient backend ou frontend.

npm est aussi le package manager par défaut de Node.js.

En dépit du foisonnement d'outils disponibles pour l'écosystème JavaScript et malgré les spécificités des développements backend et frontend, npm a su s'imposer comme la référence en la matière, notamment depuis que Bower arrive en fin de vie.

Le 8 février dernier, Laurie Voss a annoncé sur le compte Twitter de npm que le nombre de packages téléchargés chaque semaine avait atteint 4 milliards, publiant la courbe de l'évolution des téléchargements depuis 2013 :

Les premières versions de npm avaient de nombreux défauts (gestion du cache, gestion de la hiérarchie des packages, lenteurs dues à des téléchargements séquentiels des packages, gestion non déterministe des relations de dépendances...), aboutissant même à la création de Yarn, un gestionnaire de paquets s'adossant sur le registre npm et capable également d'utiliser celui de Bower.

Ces principaux problèmes ont été traités dans la version 5, au point de remettre en cause l'intérêt de l'usage de Yarn.


CHANGELOG condensé de la version 5 de npm et des différentes versions mineures :

v5.0.0 26/05/2017

• Amélioration très significative des performances en implémentant le téléchargement concurrentiel et une meilleure gestion de la mémoire. Les performances de npm se rapprochent de celles de Yarn.
• Une dépendance installée via npm install <nom-package> est désormais insérée par défaut dans le package.json. L'option --save devient donc dépréciée et une option --no-save a été ajoutée.
• Un nouveau fichier package-lock.json est désormais généré automatiquement à chaque usage de npm install s'il est manquant. Ce fichier joue le même rôle que le trop méconnu npm-shrinkwrap.json. Le package-lock.json n'étant pas destiné à être publié sur le registre avec son package, le shrinkwrap est conservé si l'auteur du package souhaite le publier sur le registre afin de forcer le verrouillage des dépendances de son package.
• Le CLI npm n'affiche plus l'arbre des dépendances complet dans la console, à la place un résumé plus simple et plus lisible est affiché.
• Réécriture complète du système de cache et d'intégrité (utilisation de SHA512). Si votre projet utilise une version inférieure de npm, un npm cache clean est nécessaire avant de jouer un npm install pour mettre à niveau votre projet. Ajout de la commande npm cache verify pour vérifier l'intégrité du cache. Ajout de nouvelles options à la commande npm cache (--prefer-offline, --prefer-online, et --offline). Gestion des accès concurrents au cache.

v5.1.0 06/07/2017

• La commande npm ls servant à lister les packages installés sur un projet affiche toutes les dépendances, ainsi que les dépendances manquantes.
• Le fichier package-lock.json se met à jour automatiquement lors de l'ajout d'une dépendance via npm install <package-name>.

v5.2.0 11/07/2017

• Ajout du binaire npx, écrit pour remplacer la commande npm run-script. En association avec le récent package node, il permet d'ajouter l'environnement Node.js souhaité aux dépendances de votre projet, et donc de choisir quelle version de Node.js utilisera votre projet indépendamment de la version globale installée sur votre machine.

v5.3.0 14/07/2017

• Beaucoup de corrections de bogues sur npx.

v5.4.0 23/08/2017

• Nouvelle fonctionnalité "did you mean" sur le CLI (Vérification des fautes de frappe sur les commandes à la manière du CLI de git).
• Corrections de bogues de npx sur Windows.

v5.5.0 04/10/2017

• Ajout de fonctionnalités de sécurité pour le registre (authentification à deux facteurs, gestion des tokens...).

v5.6.0 28/11/2017

• Ajout de la possibilité de générer un package-lock.json sans pour autant réinstaller les dépendances via une nouvelle option --package-lock-only sur la commande npm install.
• Corrections de bogues avec node9 empêchant l'exécution correcte de npm.

v5.7.0 21/02/2018

Et enfin le 21 février, l'équipe npm a publié la version 5.7.0 dont les apports principaux sont :

• npm install résout automatiquement les conflits levés par les git merge sur les fichiers package-lock.json et npm-shrinkwrap.json.
• Ajout d'une nouvelle commande npm ci. Cette commande doit être jouée dans le cadre d'une intégration continue à la place de npm install. Elle assure que l'installation des dépendances se fait exclusivement sur la base du fichier package-lock.json, et si l'installation n'est pas possible, elle sort en erreur permettant de faire échouer le job d'intégration continue proprement. Le répertoire node_modules/ est toujours réinstallé en intégralité.

Cette dernière fonctionnalité complète les efforts effectués tout au long du développement de la version 5 de npm pour obtenir un comportement rigoureux, consistant et compatible avec les pratiques promues par le mouvement DevOps.

L'équipe de développement indique par la voix de Rebecca Turner que les mises à jour futures arriveront à un rythme plus soutenu qu'auparavant, leur backlog étant manifestement chargé, ce qui n'augure que du bon compte tenu de la qualité des dernières versions.


Une nouvelle version du site d'exploration des packages en préparation

Notons également la publication d'une version preview du site d'exploration des packages.


Sources :
- Annonce sur le blog officiel.
- Notes de versions sur github.
- Compte Twitter de npm, Inc.

Et vous ?

Utilisez-vous npm ou un autre package manager pour vos projets ?
Préférez-vous Yarn à npm malgré les améliorations de la version 5 ?

[bilgetz]

Attention avec cette version, il semble que certain ai eu des problemes avec :
https://github.com/npm/npm/issues/19883

il faut passer en 5.7.1

[Michael Guilloux]

npm 5.7.0 retiré de la circulation à peine deux jours après sa sortie
la version 5.7.1 publiée pour corriger un problème critique

Comme nous l’avons annoncé récemment, l’équipe npm a publié la version 5.7.0 du gestionnaire de paquets de Node.js. Pour information, un gestionnaire de paquets est un système qui permet d'automatiser le processus d'installation, désinstallation, et de mise à jour de logiciels installés sur un système informatique. Il permet d'effectuer différentes opérations, comme l'utilisation de paquets provenant de supports variés (CD d'installation, dépôts sur internet, partage réseau…), la vérification des sommes de contrôle de chaque paquet récupéré pour en vérifier l'intégrité et la vérification des dépendances logicielles afin d'obtenir une version fonctionnelle d'un paquetage.

Il existe de nombreux gestionnaires de paquets en fonction des systèmes d'exploitation et plateformes de développement. NuGet par exemple est un gestionnaire de paquets conçu pour les plateformes de développement de Microsoft, y compris .NET. Pour les utilisateurs de JavaScript et Node.js, c'est le gestionnaire de paquets npm qui, depuis la version 0.6.3 de Node, fait partie de l'environnement et est donc automatiquement installé par défaut.

Pour revenir à npm 5.7.0, parmi ses principaux apports on notera la résolution automatique des conflits levés par les git merge sur les fichiers package-lock.json et npm-shrinkwrap.json, mais surtout l’introduction de la commande npm ci que l’équipe npm espère voir apporter un gros avantage pour les environnements d'intégration continue.

Certains utilisateurs qui se sont rués vers cette version du gestionnaire de paquets de JavaScript et Node.js ont toutefois eu une surprise désagréable. Sur Linux, un utilisateur a signalé sur GitHub avoir constaté que les autorisations critiques du système de fichiers ont été modifiées par la dernière version de npm.

« Ce problème est survenu depuis la sortie de 5.7.0 il y a quelques heures, [cette version] semble avoir complètement changé les permissions de mon système de fichiers et m'a obligé à corriger manuellement les permissions des fichiers et dossiers critiques », a-t-il rapporté. « En exécutant sudo npm en tant qu'utilisateur non root (les utilisateurs root n'ont pas le même effet), les permissions du système de fichiers sont fortement modifiées. Par exemple, si je lance les commandes sudo npm --help ou sudo npm update -g, mon système de fichiers change les propriétaires des répertoires tels que /etc, /usr, /boot, et d'autres répertoires nécessaires pour exécuter le système. Il semble que la propriété est récursivement attribuée à l'utilisateur qui exécute npm. »

D’autres utilisateurs sur d’autres plateformes ont confirmé avoir constaté des problèmes similaires après l’installation de npm 5.7.0 ; ce qui a suscité beaucoup d'interrogations sur la stabilité de npm 5.7.0. Certains ont indiqué que si vous regardez le dépôt de npm, vous remarquerez que npm 5.7.0 est une préversion et ne devrait donc pas être installée, et ils semblent avoir raison.

Quoi qu’il en soit, npm 5.7.1 a été publié avec un patch pour corriger ce problème critique. On ne sait pas encore ce qui s’est passé exactement pour que l’équipe npm annonce la sortie officielle de npm 5.7.0. S’il s’agit d’un incident, alors c’est au moins le deuxième depuis le début de cette année. Rappelons en effet que le 6 janvier, de nombreux paquets avaient soudainement disparu. L'équipe npm évoquait un incident opérationnel avec le registre npm qui a provoqué l'indisponibilité temporaire de 97 paquets pendant environ 30 minutes, et 9 paquets supplémentaires pendant environ trois heures.

L'incident a été causé par les systèmes de npm pour détecter les spams et les codes malveillants sur le registre. Les systèmes automatisés effectuent une analyse statique de plusieurs façons pour signaler des codes et auteurs suspects. Le personnel de npm passe ensuite en revue les éléments marqués pour savoir s’il faut empêcher la distribution des paquets concernés. Mais dans l’examen des éléments signalés avant l'incident, ils se sont trompés dans leur jugement. Et comme conséquence, cela a empêché la distribution du code légitime d'un éditeur aux développeurs dont les projets en dépendent.

L'erreur a été rapidement identifiée et des procédures ont été suivies pour annuler le blocage. Mais des actions entreprises de manière indépendante par des membres de la communauté ont compliqué le processus entamé par l'équipe npm pour annuler le blocage des paquets, et ont donc nécessité des étapes et du temps supplémentaires. Des changements immédiats ont par la suite été faits pour éviter que ce problème se reproduise à l'avenir.

Sources : Problèmes causés par npm 5.7.0, Sortie de npm 5.7.1

Et vous ?

Qu’en pensez-vous ?
Avez-vous eu le temps d’installer npm 5.7.0 ? Si oui, avez-vous rencontré des problèmes similaires ?

Voir aussi :

Un incident opérationnel a provoqué la disparition d'une centaine de paquets npm, l'équipe derrière le gestionnaire de paquets de Node.js s'explique
Node.js 8.9.0 LTS est disponible pour une utilisation en production et Node.js 9.0.0 à des fins de tests et d'expérimentation

[headmax]

Peut être une boulette dans une récursivité comme tu le dit en employant un chown -R user:user *

[Marco46]

Avez-vous eu le temps d’installer npm 5.7.0 ? Si oui, avez-vous rencontré des problèmes similaires ?

Wouaw ! Hier soir après avoir rédigé la news j'ai mis à jour mon npm et je me rappelle pas de quelle version j'ai installé. J'avais la tête dans le sac (ça m'a pris 3h pour rédiger la news) et je voulais absolument tester npx et l'exécution de node en tant que dépendance de projet ou dynamiquement via npm avant d'aller me coucher.

J'ai même pas fait gaffe à cette histoire :'(

Grand merci à Michael Guilloux pour le gros complément d'information !

EDIT : Moralité, ne jamais se fier au blog, toujours se fier aux notes de releases techniques !

[Luckyluke34]

Ajout d'une nouvelle commande npm ci. Cette commande doit être jouée dans le cadre d'une intégration continue à la place de npm install. Elle assure que l'installation des dépendances se fait exclusivement sur la base du fichier package-lock.json, et si l'installation n'est pas possible, elle sort en erreur permettant de faire échouer le job d'intégration continue proprement. Le répertoire node_modules/ est toujours réinstallé en intégralité.

Je suis pas expert de npm, mais c'est pas un gros bout de scotch avec un nom beaucoup trop conceptuel cette commande ?

[Marco46]

Je comprends pas trop ta question/remarque.

Dans une CI quand tu veux builder un tag donné, tu veux que le résultat soit invariable dans le temps, y compris en tenant compte des dépendances, et des dépendances des dépendances, et des dépendances des dépendances des dépendances, etc ...

Cette commande permet de réaliser ça, et elle permet surtout de forcer l'équipe de dev à gérer ses dépendances de manière stricte. Si un DevOps impose l'usage de npm ci sur son job Jenkins de build du livrable, l'équipe de dev est obligée :
- de fixer toutes ses dépendances.
- d'avoir un package-lock.json à jour.

Sinon la commande exit en erreur, et le job est en échec.

Sans cette commande ce n'est pas garanti.

[Luckyluke34]

Je ne remets pas en cause l'utilité mais le fait de l'appeler npm ci. Il y aurait peut-être eu moyen de trouver un nom qui reste agnostique par rapport au contexte extérieur. Continuous Integration ne me parait pas faire partie du vocabulaire qui devrait être utilisé dans des primitives d'un package manager. Là ça fait très "fan service magique rien que pour vous"...

[koyosama]

Ouais tester et ça fait mal au cul.

[Marco46]

Merci pour ta contribution mais pourrais-tu développer stp ? :p

[Marco46]

npm 6.2.0, passe en @latest,
et quatre news d'importance autour

Si les développements du CLI npm se sont beaucoup calmés ces dernières semaines, 2 nouvelles versions ont été publiées et surtout de nombreuses nouvelles et évènements sont venus émailler l'actualité du gestionnaire de paquet.

Les nouveautés de la version 6.1.0

La principale nouvelle fonctionnalité est la commande npm audit fix.

Cette commande permet de mettre à jour votre package.json et vos dépendances en respectant la philosophie semver, et ce sur la base du résultat du rapport d'audit.

La norme semver a pour principe de publier les hotfix de bugs et les patchs de sécurité en tant que version "patch", c'est-à-dire en n'incrémentant que le dernier numéro de version sur les trois disponibles afin de limiter l'impact de la montée de version à ce seul correctif.

Évidemment le respect de ce principe est à la charge du mainteneur du paquet mais la commande npm audit fix respectant cette idée générale, elle n'effectuera aucune montée de version mineure ou majeure sans la demande explicite de l'utilisateur.

Autres fonctionnalités mineures, la possibilité d'afficher l'audit au format json (npm audit --json).

Lors de l'exécution de la commande npm install le nombre de paquets audités est désormais affiché. Le rapport d'audit a été revu.

Le célèbre John-David Dalton (auteur de Lodash) a ajouté à la commande npm init le support des URL git, des chemins, des URL et des paquets versionnés.

Cette contribution enrichit la fonctionnalité de gestion des create-app ajoutée dans la version 6.0.0 du CLI npm.


Les nouveautés de la version 6.2.0

Une petite livraison avec seulement 2 nouvelles fonctionnalités.

Ajout d'une option --parseable sur la commande npm audit pour permettre de chainer facilement des commandes grep ou awk.

Ajout du support de la signature des commits git lors de l'exécution de npm version via l'option de configuration npm sign-git-commit.

Cette nouvelle option s'ajoute à sign-git-tag qui était déjà disponible.


Au-delà des nouvelles versions du CLI, différents évènements autour de l'écosystème npm ont eu lieu ces dernières semaines.


Le Node Security Platform service sera décommissionné le 30 septembre 2018

Suite à l'acquisition de Lift Security et de sa plateforme NSP, l'équipe npm a ajouté la fonctionnalité npm audit à son CLI fusionnant en quelque sorte la NSP au registre npm.

La plateforme web de la NSP n'a donc plus de raison d'être.

Les clients payants de la NSP seront transférés aux services payants de la plateforme npm.


npm se dote d'un forum discourse

L'équipe npm estime que le bug tracker de github et son système d'issue est trop primitif pour leur besoin.

Ils ont donc décidé de se doter d'un forum de type Discourse mieux adapté pour gérer leur type de communauté.

Ainsi, les anciens dépôts npm/npm (code source du CLI), npm/www (issues à propos du site npm), npm/registry (issues à propos du registre npm) ont été archivés.

Un nouveau dépôt pour le code source du CLI a été ouvert sur npm/cli. Il contient donc le code source du CLI mais ne permet pas la saisie d'issues.

Désormais les rapports de bogues et les demandes de nouvelles fonctionnalités doivent se faire sur le forum pour être discutés et sont formalisés plus sérieusement via un système de RFC qui existait déjà avant ce changement de fonctionnement.


npm rejoins ECMA International et donc le TC39

Le TC39 a pour rôle de débattre, de proposer puis de définir le standard ECMAScript qui est ensuite implémenté dans les différents moteurs d'exécution lesquels sont alors utilisés dans les navigateurs et par Node.js.

npm est devenu en 6 ans d'existence une brique indispensable de l'écosystème JavaScript. Utilisé par 11 millions de développeurs JavaScript de par le monde, c'est le package manager par défaut du backend, et c'est également désormais le plus utilisé pour le frontend.

En prenant part aux discussions sur l'avenir de JavaScript, npm souhaite influer sur les décisions qui seront prises et qui impacteraient le périmètre du package manager et du tooling autour.


Sources : Billets sur le blog officiel à propos de la v6.1.0, de la v6.2.0, de la fermeture de la NSP, des changements sur la gestion de la communauté et de l'arrivée de npm au TC39 .

Et vous ?

Que pensez-vous de toutes ces nouveautés ?
Avez-vous eu le temps d’installer la dernière version de npm ?
Que pensez-vous de la stratégie de npm de déplacer le bug tracker et les demandes de fonctionnalités de github vers un forum ?
Que pensez-vous de l'intérêt de npm pour le TC39 et son processus de normalisation du JavaScript ?

Voir aussi :

Un paquet npm, gestionnaire de paquets pour la bibliothèque populaire JavaScript Node.js, a été infecté par un hacker
Un développeur JavaScript estime que l'écosystème Node.js est « chaotique et peu sûr »