Discussion :

[minimoi1234]

Bonjour tout le monde,

J'ai un gros problème avec une de mes applications:

Je veux mettre à jour une table
Pour faire ca j'ai un fichier texte d'ou j'extrait le infos
Pour les extraire pas de problème c'est du php donc je m'etend pas

Je crée ensuite ma requete pour chaque ligne du fichier texte
(environ 60000);

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

UPDATE table SET dispo="info5" WHERE ref='info1'

Ca fait donc beaucoup de requete à balancer, et ca me prend 2h30 pour les executer et qui staure aussi au niveau des processus dans la base MySql .
Je voudrais donc savoir s'il il existe un moyen d'optimiser tout ca, comme tout mettre dans un fichier texte et executer tout ou autre chose

Si vous avez des idées je prend tout car la c vraiment galére
Merci d'avance

[Hubert Roksor]

L'idée c'est surtout que tu ne devrais pas avoir à exécuter autant de requêtes, surtout en une seule fois... N'y a-t'il pas moyen d'appliquer à la base les changements apportés à ce fichier texte en temps réel ?

Sinon, si tu dois malgré tout effectuer autant de modifications à la fois le mieux serait encore de le faire sur une nouvelle table. Si tu remplaces tous les enregistrements de "table" voici comment je procéderais:

1. Créer une nouvelle table identique à la première

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   CREATE TABLE tmptable LIKE table

2. Insérer les enregistrements par groupe

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   INSERT INTO tmptable (dispo, ref) VALUES ('info5', 'info1'), ('xxx', 'yyy'), ('mmm', 'nnn')

3. Remplacer l'ancienne table par la nouvelle. L'opération est atomique donc il y en permanence une table nommée "table"

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   RENAME TABLE table TO oldtable, tmptable TO table

4. effacer l'ancienne table

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   DROP TABLE oldtable

La raison de toute cette manœuvre est simple: faire des INSERTs (par séries, comme ici) est beaucoup plus rapide que de nombreux UPDATE. Tu peux également essayer le mot-clé "DELAYED" dans la requête INSERT, cela peut améliorer encore un peu les performances. Ne pas créer d'index sur tmptable avant insertion puis les créer une fois le traitement terminé est aussi une option à explorer car recréer tout un index à la fois est plus rapide que le mettre à jour plusieurs fois d'affilée.

Même dans le cas où la mise à jour ne concerne pas toute la table table je procéderais de façon similaire: créer tmptable, la remplir, faire un gros "DELETE" sur table du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
DELETE table.*
FROM table, tmptable
WHERE table.ref = tmptable.ref

(en supposant que "ref" est ta clé primaire) puis réinsertions des enregistrements à jour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
INSERT INTO table
SELECT * FROM tmptable

Attention, dans ce cas il y a un instant (plus ou moins long) où table ne sera pas "correcte" d'un point de vue des enregistrements qu'elle contient. Donc il faudra s'abstenir d'exécuter des requêtes dessus entre le DELETE et l'INSERT, ou simplement la vérouiller en lecture/écriture.

[Hubert Roksor]

Une précision: les requêtes ci-dessus sont données à titre d'exemple et certaines ne fonctionnent que sous MySQL 4.1.

[minimoi1234]

Pour le nombre de requete en simultané, je n'ai pas le choix sinon je l'aurais déjà fait, je vais donc essayer comme tu as dit et puis je vous dirais quoi
Merci bocoup
Minimoi

[minimoi1234]

Bon, j'ai résolu mon problème autrement
J'ai mis toute les requete dans un fichier sql
et j'ai rajouté une commande pour executer
un fichier bat qui prend en charge toute l'execution
Donc un pti résolu