Discussion :

[DaYonyon]

Bonjour,

Je parse un fichier générant des insert dans une base.
Le nombre d'enregistrement générer est tres important (~150000 insert) et bien sur mon script par en timeout.
Le seul moyen que j'ai trouvé est d'augmenter la valeur du time out et de séparer les taches (un serveur web et un serveur bdd). Mon problème est que malgré cela, il arrive encore de tombé en timeout et augmenter encore cette variable me dérange un peu (720 en test et 360 en prod).

Il faut également savoir qu'avant l'insert, je suis obliger de faire plusieurs select pour récupérer et/ou vérifier les informations que je vais injecter. Evidemment, cela n'arrange rien...

Une idée lumineuse? une solution miracle?
Merci d'avance.

[CinePhil]

Tu fais tous les contrôles que tu veux sur le fichier et les corrections éventuelles puis tu utilises une requête LOAD DATA INFILE

[Waldar]

Cinephil > Surtout pas !
Ce sera beaucoup plus efficace de charger toutes les données en base dans une table dédiée, puis de faire les contrôles avec une requête par contrôle, puis d'insérer ce qui est valide, toujours en ensembliste.

C'est ainsi que fonctionne les alimentations de datawarehouse !

[CinePhil]

J'avais cru comprendre qu'il partait de données en fichier texte mais peut-être que mon rhume empêche l'oxygénation correcte de mes neurones !

[Waldar]

C'est ce que je dis !

On monte le fichier texte dans une table dédiée, sans contrôle avec un loader par exemple - je ne sais pas si ça existe sous MySQL.

Puis on fait le select avec les jointures qui vont bien pour créer l'ordre d'insertion.

[DaYonyon]

Hello,

Je pars d'un fichier Excel et je dois travailler dessus dans son format natif.
Si le script ne fait que lire le fichier, il s'exécute avec une vitesse satisfaisante mais des qu'intervient l'interaction avec la BDD, c'est la mort (du serveur).

J'ai penser a l'injection brut et direct dans une table dédié mais après essais, ce n'est pas très concluent.
Ou alors je m'y prend mal. Peu être qu'en vous expliquant la structure du fichier, vous y verrez plus clair que moi.
En colonne, j'ai des articles et les infos sur cette article. Il n'y a de limite au nombre d'articles que le nombre de colonne de Excel.
En ligne j'ai des noms,adresse etc... De même, il n'y a de limite que le nombre de lignes que Excel permets.
A l'intersection de ces 2 infos, j'ai un nombre (ou pas) qui m'indique combien de cette articles, une personne désire.
je dois injecter les articles, les destinataires et leurs demandes dans ma base.
Je ne vois pas comment injecter ça autrement que dans 3 tables différentes et pour ne pas perdre le fil, attribuer les index nécessaires dans les tables adéquat ce qui reviens a mon injection final.

Est ce que travailler avec des procédures stockées plutôt que des requêtes du serveur web pourrais me faire gagner encore quelque précieuse millisecondes ?
Au niveau config du serveur mysql, est ce que je peu 'joué' avec quelque variable pour le gonfler un peu ?

Merci de vous pencher sur mon problème.

A+