Traitement de lots de fichiers

Bonjour !

Suite à des réponses satisfaisantes sur ce topic (http://www.developpez.net/forums/d13...lusieurs-json/), j'en ouvre un second afin de mettre en évidence un autre problème qui m'empêche d'arriver à ce que je veux.

En effet, maintenant que j'ai lancé mon script sur le gros dossier de villes (~3.5 millions), awk me dit qu'il n'est pas content car il a trop d'arguments à traiter. J'aimerais donc pouvoir lancer mon script plusieurs fois sur un lot de fichiers à chaque fois différent. Pour rappel voici le dernier code en date :

Code:

---

1 2 3 4 5 6

#!/bin/bash   echo '{ "docs" : [' > tmp awk 'FNR!=NR{$0=","$0}1' ./cities2/* >> tmp echo ' ] }' >> tmp curl -vX POST http://root:*******@127.0.0.1:5984/cities/_bulk_docs -H 'Content-Type: application/json' -d "`cat tmp`"

---

J'aimerais pouvoir traiter mes fichiers par lot, c'est à dire lancer la commande awk d'abord sur les fichiers 1 à 10.000, puis 10.001 à 20.000, etc. Le nom de mes fichiers est i.json, i étant un entier compris entre 1 et environ 3.500.000.

Y'a t-il un moyen d'appliquer cette contrainte lors de la sélection du nom de fichier tout en gardant une vitesse d'exécution honorable ? Le fait de devoir traiter les fichiers par lot m'embête déjà beaucoup (car forcément, on y perd en performances)...

Code:

---

printf '%s\n' ./cities/* | xargs -L2092497 awk 'FNR!=NR{$0=","$0}1' > tmp

---

2092497 correspond à la Limite supérieure POSIX de longueur d'argument (sur ce système) récupérée avec xargs --show-limits.
est-ce la bonne limite à utiliser
...
?

Bonjour,
Allez, un petit dernier pour la route, ensuite vacances...:D

Code:

---

1 2 3 4 5 6 7

#!/bin/bash   echo '{ "docs" : [' > tmp cat premierfichier.json >>tmp find . -name '*.json' -not -name 'premierfichier.json' -printf "," -exec cat {} \; >> tmp echo ' ] }' >> tmp curl -vX POST http://root:*******@127.0.0.1:5984/cities/_bulk_docs -H 'Content-Type: application/json' -d "`cat tmp`"

---

Reste à modifier la partie . -name '*.json' -not -name 'premierfichier.json' pour faire correspondre à la réalité.
Le principe étant de prendre tous les fichiers que l'on a besoin sauf le premier...
Après est-ce un peu ou beaucoup plus lent...? à tester.

Citation:

---

Envoyé par N_BaH

Code:

---

printf '%s\n' ./cities/* | xargs -L2092497 awk 'FNR!=NR{$0=","$0}1' > tmp

---

2092497 correspond à la Limite supérieure POSIX de longueur d'argument (sur ce système) récupérée avec xargs --show-limits.
est-ce la bonne limite à utiliser
...
?

---

Tout d'abord merci d'être aussi présent sur les forums pour aider ton prochain.

Ensuite, la longueur d'argument correspond certainement au nombre de caractères maximum, ce qui fait que xargs -L2092497 renverra un 'xargs: liste d'arguments trop longue'. Par contre, le script avec une valeur plus petite pour xargs (1000 fonctionne bien) résous le problème d'une manière plutôt rapide ! Merci donc. :)