Génération script SQL

Hello,
j'ai en entrée, un fichier de la forme suivante :

Code:

---

1 2 3

COL1 COL2 COL3 COL4 COL5 -96534749670000 04967Z 1 B -97024749650000 04965Z 1 B

---

Et je dois générer un script SQL pour insérer ces données.

Le problème ici, c'est pour :

• encadrer chaque valeur par des simples côtes
• détecter la présence d'espace ou tabulation entre les valeurs pour déceler les colonnes "NULL" (ici la COL2 par exemple)

Actuellement j'essaye avec quelque chose comme :

Code:

---

valeurs=$(echo $ligne | gawk '{gsub(" ", ",", $0);print valeurs=$0}')

---

Sauf que là, il remplace n'importe quel espace par une virgule, du coup, la valeur vide de ma col2 passe à la trappe :(


Il faudrait également que j'arrive à détecter pour chaque valeur si elle est de la forme

Code:

---

02/10/2012 04:44:27.000000 +00:00

---

Pour la remplacer par un TO_DATE()




Quelqu'un pour éclairer ma lanterne?

Quelle colonne peut être une date?
Pour cette partie je n'ai pas d'idée pour le moment.

Pour le reste voici une solution avec sed (c'est sans doute plus simple avec awk):

Code:

---

sed "s/^/'/; s/\t/','/g; s/$/'/" fichier

---

Chaque colonne sera encadrée par des simples quote.
Les colonnes seront séparées par une virgule.

Il reste à voir si c'est toujours séparé par des tabulations ou non.
Et aussi s'il peut y en avoir dans le nom.

Il faudrait aussi nous donner un exemple avec des espaces.

Salut,

si je fais un echo de cette commande, en effet, c'est pile ce que je veux.
Mais si j'essaye cette commande sur une ligne, ca me met juste un simple cote en début et fin de ligne :(

Code:

---

val=$(echo $ligne |sed "s/^/'/; s/\t/','/g; s/$/'/")

---

Tu sais pourquoi?

Pour les dates, justement c'est le problème, ça peut être n'importe laquelle suivant le fichier que je parse.

Il manquait un espace après la redirection. Si cela ne fonctionne toujours pas essaie avec la deuxième ligne :

Code:

---

1 2	val=$(echo $ligne | sed "s/^/'/; s/\t/','/g; s/$/'/") val=`echo $ligne | sed "s/^/'/; s/\t/','/g; s/$/'/"`

---

Re,
même résultat avec les deux lignes : juste une cote en début et fin de ligne.

Peux-tu regarder si la ligne contient bien des tabulations?
C'est peut être simplement des espaces contrairement à l'exemple que tu as mis plus haut.

Il y a un truc bizarre :

Code:

---

valeurs=$(echo $ligne | gawk '{gsub(" ", ",", $0);print valeurs=$0}')

---

Si je fais un echo de ma ligne, et ensuite un echo du résultats de la commande ci-dessus, c'est comme si il ne détectait pas bien les tabulations.

Là, il y a beau avoir 15 espaces entre les valeurs, il ne me met qu'une seule virgule.

Au pire, s'il est possible de remplacer directement le contenu du fichier via le sed, pourquoi pas.


Je te joint un fichier

Bon, j'ai trouvé une solution:

Code:

---

1 2	sed "s/^/'/; s/\t/','/g; s/$/'/" $fichier > test.txt cat test.txt > $fichier

---

Ca fera l'affaire :p

Pour les dates, je vais essayer de les détecter via une regex à voir ce que ca donne...


Merci en tout cas. :ccool:

"sed -i" pour remplacer le fichier par le résultat du sed ;)

Citation:

---

Envoyé par erox44

Salut,

si je fais un echo de cette commande, en effet, c'est pile ce que je veux.
Mais si j'essaye cette commande sur une ligne, ca me met juste un simple cote en début et fin de ligne :(

Code:

---

val=$(echo $ligne |sed "s/^/'/; s/\t/','/g; s/$/'/")

---

Tu sais pourquoi?

---

Bonjour,

Juste pour la petite explication, il faut écrire echo "$ligne" pour que le echo conserve le format de $ligne.
C'est le même principe que:

Code:

---

1 2 3 4

$ echo titi tata toto titi tata toto $ echo "titi tata toto" titi tata toto

---

Ok merci de l'info

Pour la partie traitement des dates,
j'ai des données de la forme

Code:

---

'03/10/2012 01:26:18.000000 +00:00'

---

C'est quoi le moyen le plus simple de transformer cette chaine en l'encadrant par :

Code:

---

to_timestamp_tz('$donnee','dd-mm-yyyy hh24:mi:ss TZH:TZM')

---

La regex devrait ressembler à ça :

Code:

---

[0-9]{1,2}\/[0-9]{1,2}\/[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{6} \+[0-9]{2}:[0-9]{2}

---

Pour l'instant, sur une ligne :

Code:

---

'-96534746220000','','04622_20121002T044427Z','1','A01','','A02','02/10/2012 04:44:27.000000 +00:00','A02','A','','','','02/10/2012 04:44:23.000000 +00:00','02/10/2012 01:30:00.000000 +00:00','03/10/2012 22:00:00.000000 +00:00','02/10/2012 01:30:00.000000 +00:00','03/10/2012 22:00:00.000000 +00:00','','2012-10-02T04:44:27.0000Z','04622'

---

Si je fais :

Code:

---

ligne3=$(echo "$ligne" | sed -r 's#[0-9]{1,2}/[0-9]{1,2}/[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{6} \+[0-9]{2}:[0-9]{2}#toto#g')

---

Ma ligne n'est pas modifiée du tout, comme si il ne matchait rien :o

Edit ton ancien message plutôt que de faire des doubles post ;)

Code:

---

ligne3=$(echo "$ligne" | sed -r 's#[0-9]{1,2}/[0-9]{1,2}/[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{6} \+[0-9]{2}:[0-9]{2}#toto#g')

---

Cela fonctionne bien chez moi. As-tu testé dans le terminal ou dans le programme? Quel shebang utilises-tu dans ton programme?

Tu peux aussi essayer comme ceci:

Code:

---

ligne3=$(echo "$ligne" | sed 's#[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\.[0-9]\{6\} +[0-9]\{2\}:[0-9]\{2\}#toto#g')

---

Ah, avec la 2e version ça passe :ccool:

J'ai plus qu'à essayer d'encadrer la regexp par le to_timestamp :p


Merci du coup de main.

EDIT:

Là où je suis embeté, c'est que je suis sensé modifier :

Code:

---

'02/10/2012 09:42:17.000000 +00:00'

---

En

Code:

---

to_timestamp_tz('02/10/2012 09:42:17.000000 +00:00','yyyy-mm-dd hh24:mi:ss TZH:TZM')

---

Mais avec les simple quote dans la regex, le sed apprécie pas trop.
J'ai essayé en remplacant la ' par \047, ça a pas fonctionné non plus.

Bonjour,

Pour la commande sed, passe par des double quote au lieu du simple quote:

Code:

---

1 2 3 4

$ echo $XX '02/10/2012 09:42:17.000000 +00:00' $ echo "$XX" | sed "s/'/quote/g" quote02/10/2012 09:42:17.000000 +00:00quote

---

Code:

---

ligne3=$(echo "$ligne" | sed "s#\('[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\.[0-9]\{6\} +[0-9]\{2\}:[0-9]\{2\}'\)#to_timestamp_tz(\1,'yyyy-mm-dd hh24:mi:ss TZH:TZM')#g")

---

Ok, donc là ça donne :

Code:

---

ligne3=$(echo "$ligne" | sed "s#'[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\.[0-9]\{6\} +[0-9]\{2\}:[0-9]\{2\}'#to_timestamp_tz('[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\.[0-9]\{6\} +[0-9]\{2\}:[0-9]\{2\}','yyyy-mm-dd hh24:mi:ss TZH:TZM'\)#g")

---

seul soucis, voici le résultat :

Code:

---

to_timestamp_tz('[0-9]{1,2}/[0-9]{1,2}/[0-9]{4} [0-9]{2}:[0-9]{2}:[0-9]{2}.[0-9]{6} +[0-9]{2}:[0-9]{2}','yyyy-mm-dd hh24:mi:ss TZH:TZM')

---

En gros, ma date initiale n'est pas conservée.



EDIT:
Ah c'est bon avec ta version, merci bien à vous deux :ccool: :ccool:

Si ça intéresse , voici le les commandes finales :

Code:

---

1 2 3 4 5

# on transforme les timestamp par la fonction oracle TO_TIMESTAMP_TZ() ligne3=$(echo "$ligne" | sed "s#\('[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\.[0-9]\{6\} +[0-9]\{2\}:[0-9]\{2\}'\)#to_timestamp_tz(\1,'dd/mm/yyyy hh24:mi:ss TZH:TZM')#g") # on supprime les millisecondes du timestamp ligne4=$(echo "$ligne3" | grep "[0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\.[0-9]\{6\}" | gawk '{gsub("\\.[0-9]\\{6\\}","",$0);print ligne4=$0}' ) echo "insert into ${nomTable} ($colonnes) values ( ${ligne4} );" >> tmp.txt

---

Tu aurais du prévenir que tu ne voulais pas les millisecondes :p

Cette version sera mieux ;)

Code:

---

1 2 3

# on transforme les timestamp par la fonction oracle TO_TIMESTAMP_TZ() ligne3=$(echo "$ligne" | sed "s#\('[0-9]\{1,2\}/[0-9]\{1,2\}/[0-9]\{4\} [0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\)\.[0-9]\{6\} \(+[0-9]\{2\}:[0-9]\{2\}'\)#to_timestamp_tz(\1 \2,'dd/mm/yyyy hh24:mi:ss TZH:TZM')#g") echo "insert into ${nomTable} ($colonnes) values ( ${ligne3} );" >> tmp.txt

---