Discussion :

[erox44]

Hello,
j'ai en entrée, un fichier de la forme suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
COL1	COL2	COL3	COL4	COL5
-96534749670000		04967Z	1	B		
-97024749650000		04965Z	1	B

Et je dois générer un script SQL pour insérer ces données.

Le problème ici, c'est pour :

• encadrer chaque valeur par des simples côtes
• détecter la présence d'espace ou tabulation entre les valeurs pour déceler les colonnes "NULL" (ici la COL2 par exemple)

Actuellement j'essaye avec quelque chose comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

valeurs=$(echo $ligne | gawk '{gsub(" ", ",", $0);print valeurs=$0}')

Sauf que là, il remplace n'importe quel espace par une virgule, du coup, la valeur vide de ma col2 passe à la trappe


Il faudrait également que j'arrive à détecter pour chaque valeur si elle est de la forme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

02/10/2012 04:44:27.000000 +00:00

Pour la remplacer par un TO_DATE()




Quelqu'un pour éclairer ma lanterne?

[Invité]

Quelle colonne peut être une date?
Pour cette partie je n'ai pas d'idée pour le moment.

Pour le reste voici une solution avec sed (c'est sans doute plus simple avec awk):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed "s/^/'/; s/\t/','/g; s/$/'/" fichier

Chaque colonne sera encadrée par des simples quote.
Les colonnes seront séparées par une virgule.

Il reste à voir si c'est toujours séparé par des tabulations ou non.
Et aussi s'il peut y en avoir dans le nom.

Il faudrait aussi nous donner un exemple avec des espaces.

[erox44]

Salut,

si je fais un echo de cette commande, en effet, c'est pile ce que je veux.
Mais si j'essaye cette commande sur une ligne, ca me met juste un simple cote en début et fin de ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

val=$(echo $ligne |sed "s/^/'/; s/\t/','/g; s/$/'/")

Tu sais pourquoi?

Pour les dates, justement c'est le problème, ça peut être n'importe laquelle suivant le fichier que je parse.

[Invité]

Il manquait un espace après la redirection. Si cela ne fonctionne toujours pas essaie avec la deuxième ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
val=$(echo $ligne | sed "s/^/'/; s/\t/','/g; s/$/'/")
val=`echo $ligne | sed "s/^/'/; s/\t/','/g; s/$/'/"`

[erox44]

Re,
même résultat avec les deux lignes : juste une cote en début et fin de ligne.

[Invité]

Peux-tu regarder si la ligne contient bien des tabulations?
C'est peut être simplement des espaces contrairement à l'exemple que tu as mis plus haut.

[disedorgue]

Salut,

si je fais un echo de cette commande, en effet, c'est pile ce que je veux.
Mais si j'essaye cette commande sur une ligne, ca me met juste un simple cote en début et fin de ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

val=$(echo $ligne |sed "s/^/'/; s/\t/','/g; s/$/'/")

Tu sais pourquoi?

Bonjour,

Juste pour la petite explication, il faut écrire echo "$ligne" pour que le echo conserve le format de $ligne.
C'est le même principe que:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ echo  titi      tata      toto
titi tata toto
$ echo "titi      tata      toto"
titi      tata      toto

[erox44]

Ok merci de l'info

[erox44]

Pour la partie traitement des dates,
j'ai des données de la forme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

'03/10/2012 01:26:18.000000 +00:00'

C'est quoi le moyen le plus simple de transformer cette chaine en l'encadrant par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

to_timestamp_tz('$donnee','dd-mm-yyyy hh24:mi:ss TZH:TZM')

La regex devrait ressembler à ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[0-9]{1,2}\/[0-9]{1,2}\/[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{6} \+[0-9]{2}:[0-9]{2}

[Invité]

Tu as un peu de retard sur disedorgue

Bonjour,

Juste pour la petite explication, il faut écrire echo "$ligne" pour que le echo conserve le format de $ligne.
C'est le même principe que:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ echo  titi      tata      toto
titi tata toto
$ echo "titi      tata      toto"
titi      tata      toto

[jack-ft]

Tu as un peu de retard sur disedorgue

C'est pas faux!!!
J'avais pô bien lu les réponses

[jack-ft]

si je fais un echo de cette commande, en effet, c'est pile ce que je veux.
Mais si j'essaye cette commande sur une ligne, ca me met juste un simple cote en début et fin de ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

val=$(echo $ligne |sed "s/^/'/; s/\t/','/g; s/$/'/")

Tu sais pourquoi?

Oui. Je sais pourquoi.
C'est parce que tu n'as pas respecté la règle que je préconise habituellement:
toujours entourer les variables de double-quotes (sauf si raison valable bien comprise!)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ echo "$line" | od -c
0000000    -   9   6   5   3   4   7   4   9   6   7   0   0   0   0  \t
0000020   \t   0   4   9   6   7   Z  \t   1  \t   B  \t  \t  \n    
 
$ echo $line | od -c
0000000    -   9   6   5   3   4   7   4   9   6   7   0   0   0   0    
0000020    0   4   9   6   7   Z       1       B  \n

CQFD

[erox44]

De retour,
mon script fonctionne très bien quand je le teste via Cygwin, mais là où c'est moins cool, c'est quand je le lance sur le serveur Solaris, les traitements ne sont plus les mêmes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -r

n'est plus reconnu
et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed "s/'/''/g; s/\t/','/g" $nomFic

le \t n'est pas trouvé.

Et plus bas dans le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ligne4=$(echo "$ligne3" | sed "s#'[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}'#to_date(\0 ,'dd/mm/yyyy hh24:mi:ss')#g")

la partie \0 me renvoie non plus la chaine traitée, mais tout simplement la chaine "0"

Pour qu'une partie passe j'ai modifié :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

#!/bin/sh

en

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

#!/bin/bash

[al1_24]

La version de sed sur Solaris n'est pas GNU (comme Cygwin) mais POSIX

[erox44]

Ok donc il y a un impact sur le sed en lui même ainsi que les regex d'après Google

Ce qui m'étonne là c'est que, je balances ces commandes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e "s/'/''/g; s/	/','/g" $nomFic > tempo.txt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

colonnes=$(echo "$ligne" | nawk '{gsub("\047", "", $0);print colonnes=$0}')

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
			#on transforme les timestamp par la fonction oracle TO_TIMESTAMP_TZ()
			ligne3=$(echo "$ligne" | sed "s#\('[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\)\.[0-9]\{6\} \(+[0-9]\{2\}:[0-9]\{2\}'\)#to_timestamp_tz(\1 \2,'dd/mm/yyyy hh24:mi:ss TZH:TZM')#g")
			ligne4=$(echo "$ligne3" | sed "s#'[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}'#to_date(\0 ,'dd/mm/yyyy hh24:mi:ss')#g")
			ligne5="'${ligne4}'"
 
			echo "insert into ${nomTable} (${colonnes}) values ( ${ligne5}, to_date('${dateTechnique}', 'dd/mm/yyyy hh24:mi:ss') );" >> tmp.txt

Je concatène le tout, et pourtant , il me rajoute des retour chariots à gogo, et si impossible de les virer :/

[Invité]

Passe un coup de dos2unix sur tes fichiers avant de lancer le programme. Ca va enlever le caractère de retour chariot en trop (celui de windows)

[erox44]

Hm je viens de lancer la commande sur mes fichiers avant de les transferer sur mon serveur, j'ai relancé mon script:

les fichiers générés sont maintenant sans les retours chariot

par contre la ligne suivante semble encore poser soucis :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ligne4=$(echo "$ligne3" | sed "s#'[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}'#to_date(\0 ,'dd/mm/yyyy hh24:mi:ss')#g")

Dans mon fichier généré au lieu du param \0 j'ai la chaine "0"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

..., to_date(0 ,'dd/mm/yyyy hh24:mi:ss', ...

Pourtant la ligne suivante fonctionne nickel :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ligne3=$(echo "$ligne" | sed "s#\('[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\)\.[0-9]\{6\} \(+[0-9]\{2\}:[0-9]\{2\}'\)#to_timestamp_tz(\1 \2,'dd/mm/yyyy hh24:mi:ss TZH:TZM')#g")

Vous auriez une idée?