Discussion :

[StevenCigale]

Bonjour !

Suite à des réponses satisfaisantes sur ce topic (http://www.developpez.net/forums/d13...lusieurs-json/), j'en ouvre un second afin de mettre en évidence un autre problème qui m'empêche d'arriver à ce que je veux.

En effet, maintenant que j'ai lancé mon script sur le gros dossier de villes (~3.5 millions), awk me dit qu'il n'est pas content car il a trop d'arguments à traiter. J'aimerais donc pouvoir lancer mon script plusieurs fois sur un lot de fichiers à chaque fois différent. Pour rappel voici le dernier code en date :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
#!/bin/bash
 
	echo '{ "docs" : [' > tmp
	awk 'FNR!=NR{$0=","$0}1' ./cities2/* >> tmp
	echo ' ] }' >> tmp
	curl -vX POST http://root:*******@127.0.0.1:5984/cities/_bulk_docs -H 'Content-Type: application/json' -d "`cat tmp`"

J'aimerais pouvoir traiter mes fichiers par lot, c'est à dire lancer la commande awk d'abord sur les fichiers 1 à 10.000, puis 10.001 à 20.000, etc. Le nom de mes fichiers est i.json, i étant un entier compris entre 1 et environ 3.500.000.

Y'a t-il un moyen d'appliquer cette contrainte lors de la sélection du nom de fichier tout en gardant une vitesse d'exécution honorable ? Le fait de devoir traiter les fichiers par lot m'embête déjà beaucoup (car forcément, on y perd en performances)...

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

printf '%s\n' ./cities/* | xargs -L2092497 awk 'FNR!=NR{$0=","$0}1' > tmp

2092497 correspond à la Limite supérieure POSIX de longueur d'argument (sur ce système) récupérée avec xargs --show-limits.
est-ce la bonne limite à utiliser
...
?

[StevenCigale]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

printf '%s\n' ./cities/* | xargs -L2092497 awk 'FNR!=NR{$0=","$0}1' > tmp

2092497 correspond à la Limite supérieure POSIX de longueur d'argument (sur ce système) récupérée avec xargs --show-limits.
est-ce la bonne limite à utiliser
...
?

Tout d'abord merci d'être aussi présent sur les forums pour aider ton prochain.

Ensuite, la longueur d'argument correspond certainement au nombre de caractères maximum, ce qui fait que xargs -L2092497 renverra un 'xargs: liste d'arguments trop longue'. Par contre, le script avec une valeur plus petite pour xargs (1000 fonctionne bien) résous le problème d'une manière plutôt rapide ! Merci donc.

[disedorgue]

Bonjour,
Allez, un petit dernier pour la route, ensuite vacances...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
#!/bin/bash
 
	echo '{ "docs" : [' > tmp
        cat premierfichier.json >>tmp
	find . -name '*.json' -not -name 'premierfichier.json' -printf "," -exec cat {} \; >> tmp
	echo ' ] }' >> tmp
	curl -vX POST http://root:*******@127.0.0.1:5984/cities/_bulk_docs -H 'Content-Type: application/json' -d "`cat tmp`"

Reste à modifier la partie . -name '*.json' -not -name 'premierfichier.json' pour faire correspondre à la réalité.
Le principe étant de prendre tous les fichiers que l'on a besoin sauf le premier...
Après est-ce un peu ou beaucoup plus lent...? à tester.