Discussion :

[jeromed1]

Bonjour,

Voilà, j'ai un problème sur un script que j'ai écrit. Il doit traiter un fichier de 3Go, et selon mes calculs si je laisse ce que j'ai écrit cela mettra 69 jours à s'exécuter ....
Le fichier est un fichier plat. Chaque ligne contient des infos mises bout à bout.
ex :

info1info2l'info3 info4 info5......

Je dois insérer ces valeurs dans une requête sql pour obtenir :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

insert into (xx,xx,xx,...) VALUES ('info1','info2','l\'info3','info4','info5'....)

Donc, je traite le fichier ligne par ligne.

- J'utilise le cut pour séparer les champs.
- Pour chaque champs je lui demande avec un sed de remplacer les ' par \' (Je ne peux pas le faire pour la ligne entière car je me base sur les positions des caractères pour retrouver les champs)
- Je supprime également grâce au sed, pour chaque champ, les espaces situés en fin de champ.

ce qui donne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo "INSERT INTO TABLE(xx,xx,xx,xx,xx....) VALUES ('`echo ${ligne} | cut -b 1-14| sed s/\'/\\\\\\\\\'/g | sed s/' '*$/''/g`','`echo ${ligne} | cut -b 15-54| sed s/\'/\\\\\\\\\'/g | sed s/' '*$/''/g`','`echo ${ligne} | cut -b 55-61| sed s/\'/\\\\\\\\\'/g | sed s/' '*$/''/g`','`echo ${ligne} | cut -b 62-67| sed s/\'/\\\\\\\\\'/g | sed s/' '*$/''/g`');" | sed s/\'\'/"null"/g # >> ${FICHIER_REQUETE}

(en réduit car il y a une centaine de champs au total !)

Y'aurait-il une solution moins couteuse en temps qui vous viendrait à l'idée ?

Merci,

Jérôme

[Tchetch]

Salut,

Traiter ça avec un programme en Perl ou en C ne serait pas plus rapide ?

T.

[Spoutnik]

Hello,

A priori, script perl.
J'ai fait un script qui fait sensiblement la même chose que toi sur des fichiers plus petits (ordre de 2Mo), c'est de l'ordre de qq secondes.
La succession des echo | sed me parait couteuse pour pas grand chose.

++

Rq 1 : 3Go de données, tu va mettre des semaines à faire tes insert tu devrais utilser une syntaxe d'import de masse (COPY en PgSQL)
Rq2 : un certain nombre de SGBDR sont capable d'utiliser directement le format CSV, quel est ton SGBD ? A moins qu'il n'y ai des traitements specifique à faire sur les champs?

[jeromed1]

Merci, mais la commande copy ne prend en entrée, que des fichiers avec délimiteurs.
Si je le génère, j'aurais toujours à faire les cut, et ça prendra toujours autant de temps, non ?

Jérôme

[Spoutnik]

Ca dépend

quelle est ta base?
par quel moyen (caractère?) sépare tu tes champs? (par défaut, cut utilise la tabulation, est ce le cas pour toi?).

Si tu utilise un caratère, la syntaxe pour COPY de Pg :
COPY tableName [( colonne1 [, colonne2)...]] FROM 'fileName' USING DELIMITERS '\t'.

En plus, ta commande serait plus efficace avec un awk plutot qu'un cut (un seul passage sur la chaine d'entrée pour faire les séparartions) (en supposant que tu utilise un caractère comme séparateur)

[jeromed1]

et ouais ...... mais non ! Je n'utilise pas de caractère séparateur.
Mes données sont à la suite les unes des autres, et on les retrouve par leur position dans la ligne ...

[Spoutnik]

je viens de parcourir un peu plus le man awk, il semble qu'il puisse faire des substr. Ca pourrait peut eutre te servir (plus rapide?)?
un truc du genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
cat 'fichier.txt' | awk '{c1=substr($1,indicedebut,longueur); c2=substr($1,indicedebut,longueur); ...... print $c1";"$c2";"$c3 ... }' | psql ....

Il doit y avoir moyen d'applique le sed (pour virer les espaces finaux) dans le awk, voire avant, mais je ne sais pas comment faire.
A mon avis, tu devrais regarder plus en détail awk.

++

EDIT : correction du print de la commande