awk dans script + mysql

Version imprimable

21/10/2009, 08h33
mbozenko

awk dans script + mysql
Bonjour,

je cherche a lire un fichier txt ligne par ligne (ca je sais faire :) ) et inserer le tout dans mysql.
un exemple vaut mieux qu'un long discours:
contenu du fichier txt:
Code:

1 2 3 4 1 txt34 txt1 2 txtFR txt2 3 txt656 txt1
bien sur chaque ligne doit etre independante l'une de l'autre ;) parce que:
ensuite je fais un update sur MySQL, sauf que ca ne marche pas, en prenant en compte les variables de awk ($1 et $2) ca passe pas, sql me retourne une erreur.
en debugant un peu, je me suis rendu compte que le script n'aime pas(plus) trop les $1 et $2 donc j'ai essaye de remplacer les variables d'awk par d'autre, ca marche à moitie :S
concretement: voici le bout de code (/goret_mode_inside ;) )
Code:

1 2 awk 'BEGIN {etat=$3} {ident=$1} {etat=$3} {system(echo $updatesql);}' fic3
fic3 etant le fichier txt
et la ligne concernant mysql
Code:

1 2 updatesql=`echo "UPDATE table SET actif='$etat' WHERE ID='$ident'" | mysql -vvvv -h localhost -u user -ppassword base`
je crois que j'ai parcouru la moitie des resultat google (ca fait un paquet) depuis 1 semaine, essaye plein de truc, mais ca veut pas :((
si quelqu'un peut me donner un coup de main siouplait :)
Merci
21/10/2009, 09h01
jmelyn
Bonjour,

Il y a plusieurs choses que je ne comprends pas dans le code:
- BEGIN {etat=$3}: La clause BEGIN est exécutée au début avant toute lecture, donc $3 est une chaîne vide. Est-ce voulu?
- Il y a une série d'accodades qui suit. Normalement une seule est nécessaire, celle qui sera exécutée pour chaque ligne puisqu'il n'y a pas de sélection.
- Assigner des variables sans les utiliser ensuite est parfaitement inutile (ident et etat).
- Faire un system(echo ...) est lourd, la fonction print de awk est suffisante.
- La variable $updatesql est-elle bien globale? Parce qu'un nouveau shell est créé par la commande system de awk, et il faut être sûr que cette variable existe dans ce nouveau shell.
- le point-vigule est un séparateur et non un terminateur. Il est donc inutile après la commande system puisqu'il n'y a plus rien après.
Pour en revenir au programme, je ne comprends pas ce qu'il doit faire. Je vois bien le fichier d'entrée, mais quelles devraient être les données en sortie?
21/10/2009, 09h20
mbozenko

Bonjour,

effectivement, tout ce que vs dites n'est pas faux (je suis pas dev' à la base ;) )
concretement, je voudrais lire le fichier fic3 ligne par ligne et inserer 2 colonne de chaque ligne dans MySQL
la valeur 1 et la 3 (1 pour ident et 3 pour etat)

comme dit, j'ai essayer plein de choses (awk avec print) pour voir si la sorti en shell etait correct et pouvoir ainsi l'injecter sur la ligne sql par la suite.
la j'en suis au point ou sql me dit:
1 command not found
2 command not found
etc... pour chaque ligne du fichier fic

j'avoue que apres m'etre pris la tete pdt une semaine sur ces 2 lignes, je ne dois pas (plus) avoir l'esprit tres clair ;)
21/10/2009, 09h42
jmelyn
Ce n'est toujours pas clair. J'ai bien vu le fichier d'entrée avec ses trois colonnes, mais ce qu'il faut passer à la base de données, concrètement, c'est quoi? Est-ce:
Code:

1 2 3 UPDATE table SET actif = 'txt1' WHERE id = '1' UPDATE table SET actif = 'txt2' WHERE id = '2' UPDATE table SET actif = 'txt1' WHERE id = '3'
le tout dans une variable (si pas trop gros) ou dans un fichier (si HÉNOOORME)?
21/10/2009, 09h55
mbozenko

c'est exactement ca :D
je pense que ca peut tenir dans une variable ;)
21/10/2009, 10h10
ripat

Pourquoi pas simplement:

Code:

awk '{printf "UPDATE dbase.table SET col=\047%s\047 WHERE col2=\047%s\047;\n", $3, $1}' fichier.entree | mysql -u root -p
21/10/2009, 10h14
jmelyn

Il est important d'être précis dans ce que l'on veut obtenir, et sans diriger a priori le type de solution (d'où ma signature!). Voici donc ce que j'imagine (à tester...):

Code:

awk '{print "UPDATE table SET actif = \047" $3 "\047 WHERE id = \047" $1 "\047"} fic3 | mysql ...

Il est même inutile de passer par une variable: les données sont envoyées directement dans un tube vers mysql.

Edit: Grillé par ripat... Mais c'est assez proche, non?
21/10/2009, 10h47
ripat

Assez proche en effet. ;)

Si tu as plus de quelques dizaines d'UPDATE à faire, je t'encourage à te pencher sur les "Prepared Statement" de MySQL. Tu devrais avoir un gain de temps important car la requête ne sera compilée qu'une seule fois.

Je ferai quelques test cet après-midi pour te donner une idée de gain de temps sur une grosse table. Mais là, je suis un peu à la bourre.;)

Bon, les "prepared statement" de MySQL n'ont pas fourni les gains de performance escomptés. Ils sont plus rapides mais marginalement seulement. Je ne taxerai pas cet article de publicité mensongère, je pense simplement que la requête "UPDATE" étant assez simple à parser, l'avantage de ne la parser/compiler qu'une seule fois n'est pas énorme. Mais ce n'est pas une mauvaise habitude à prendre que de toujours utiliser les "Prepared Statements" ne fusse que pour des raisons de sécurité (injection SQL). Je ne travaille plus qu'avec cette technique. Du moins pour les requêtes dont je ne contrôle pas directement le contenu. La classe PDO de PHP gère ça très bien.

Si toutefois, cette manière de faire intéresse mbozenko, voici comment faire en shell avec awk:
Code:

1 2 3 4 5 6 7 8 9 10 11 awk 'BEGIN { print "PREPARE st_update FROM \"UPDATE base.table SET actif= ? WHERE ID= ?\";" } { printf "SET @v_actif=\047%s\047, @v_id=\047%s\047; EXECUTE st_update USING @v_actif, @v_id;\n", $3, $1 } END { print "DEALLOCATE PREPARE st_update;" }' infile | mysql -u user -p
Edit: Intrigué par le faible de gain de performance, enfin plus faible que les gains auxquels je suis habitué au travers de l'API PHP (classe PDO-mysql), j'ai un peu creusé et il apparaît que les commandes SQL PREPARE, EXECUTE etc... ne sont là qu'à des fins de test. Si on veut profiter de toute la puissance des Prepared Statement, il vaut mieux les utiliser au travers des API "binaires", PERL, C, PHP etc...

Citation:

This doesn't take advantage of the new binary protocol, so it should only be used for testing or when a native API isn't available.
http://dev.mysql.com/tech-resources/...tatements.html

Ripat, jmelyn,

merci bcp pour vos reponses (super rapide en + :) )

ripat: je garde qd même les premieres solutions :) (on verra pour la suite pour les "prepared statement" ;) )

du coup, ca recupere bien les valeurs (et je suis treeeeeeeessssss content :mouarf:)
sauf que j'ai ça:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
[localhost ~]# sh qu.sh
--------------
UPDATE table2 SET actif = 'UP' WHERE ID ='1'
UPDATE table2 SET actif = 'UP' WHERE ID ='2'
UPDATE table2 SET actif = 'UP' WHERE ID ='3'
UPDATE table2 SET actif = 'UP' WHERE ID ='4'
UPDATE table2 SET actif = 'DOWN' WHERE ID ='5'
--------------
 
ERROR 1064 (42000) at line 1: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'UPDATE table2 SET actif = 'UP' WHERE ID ='2'
UPDATE table2 SET actif = 'UP' WHERE ' at line 2
Bye

j'utilise donc votre soluce:

Code:

1
2
 
awk '{print "UPDATE table2 SET actif = \047" $3 "\047 WHERE ID = \047" $1 "\047"}' fic3 | mysql -vvvv -h localhost -u user -ppassword base

merci

grand message de remerciement :ccool:

celui là:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
awk 'BEGIN {
  print "PREPARE st_update FROM \"UPDATE base.table SET actif= ? WHERE ID= ?\";"
}
 
{
  printf "SET @v_actif=\047%s\047, @v_id=\047%s\047; EXECUTE st_update USING @v_actif, @v_id;\n", $3, $1
}
 
END {
  print "DEALLOCATE PREPARE st_update;"
}' infile | mysql -u user -p

fonctionne parfaitement :mouarf:

merci j'aurais jamais reussi tout seul :)