Discussion :

[kobe24]

bon pour l'insertion sans procédure stockée c'est exactement la même chose. et pour le MysqlImport je vois pas d'options me permmettant de traiter mon fichier tel qu'il est !!
Exemple d'une ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0200000009MA0000010803SAM  05700112000001000000000411000006300000000258930000000005178600000051790000002589300000025890000025978447GLE25                           MCA18/06/200918/06/200923/06/20092406372    DSTE PRODUITS BITUMES ET PEROLIERS       178780212829189921000724178780212829189921000724                                                   00200039132492113

[olibara]

Salut

Effectivement, MysqlImport accepte le tab delimité, tu peux aussi essayer un load data infile
Donc pour ce test, tu devrais préalablement decouper les champs de ton fichier inpiut en tab délimité

Sincérement j'ai déja chargé des millions de record en Mysql et j'aurais abandonné depuis longtemps avec les performance dont tu parle, il y a certainement un bingz quelque part !

Tu a des blob ou des text dans ta table ?

[kobe24]

Bonjour,
Je pense que j'ai trouvé une solution (vu que le problème est certainement au niveau de la liaison .net MySQL), c'est de générer un fichier SQL après la lecture de mon fichier ce fichier SQL doit contenir toutes les INSERT ! mais là un problème se pose c'est que je dois faire un appel système à mySQL pour faire exécuter le fichier SQL sur le SGBD ! Comment pourrais-je le faire ?!
merci d'avance.

[Leelith]

Bonjour,
Je pense que j'ai trouvé une solution (vu que le problème est certainement au niveau de la liaison .net MySQL), c'est de générer un fichier SQL après la lecture de mon fichier ce fichier SQL doit contenir toutes les INSERT ! mais là un problème se pose c'est que je dois faire un appel système à mySQL pour faire exécuter le fichier SQL sur le SGBD ! Comment pourrais-je le faire ?!
merci d'avance.

Tu as pensé à mesurer le temps que mets ta requête à aller vers ton server MySQL?
Est-ce que tu ferme bien toutes tes connections vers la base aussi?

[kobe24]

Oui je ferme toutes les connexions, concernant le temps non je l'ai pas fait ! mais à travers toutes les essaies que j'ai fait, c'est clair que le problème c'est à ce niveau. si tu sais comment je pourrais faire pour exécuter le fichier SQL à partir de le ligne de commande.

[olibara]

Salut

Moi, je suis plus que sceptique sur l'origine du problème et la maniere de l'aborder

Mais ce que tu essaye de faire est a mon avis la PIRE des solution

Si c'est pour faire ca tu pourrais creer un fichier texte tab delimité
Et lancer une commande SQL genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
LOAD DATA INFILE 'c:\\tmp\\monfichier.txt' 
INTO TABLE rar 
FIELDS ENCLOSED BY "" TERMINATED BY '\t' 
LINES TERMINATED BY '\r\n'

[Swann]

Je plussois l'utilisation de load from file mais on ne peut pas faire de manipulation de données avant l'insert, il est nécessaire que le fichier soit correctement construit dés le début. Une solution est donc de réaliser tes traitements et de créer un fichier comptabile avec load from file. Au final, je ne suis pas sûr que tu gagne du temps.

Une autre alternative serait de construire moins de requetes INSERT :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
INSERT INTO matable (`col1`, `col2`...) VALUES
     ('values1', 'values2'...),
     ('values1', 'values2'...),
     ('values1', 'values2'...),
     ('values1', 'values2'...);

Je ne crois pas que cette syntaxe supporte 5000 insertions en une seule fois. Par contre 100 par 100 ça roule et tu viens de passer de 5000 requêtes à 50.

Dans tous les cas, il faudrait déterminer quelle est la partie de ton traitement qui utilise le plus de temps. Rajoute des chrono dans ton code pour évaluer chaque partie.

Swann

[kobe24]

Bonjour,
C'est résolu ! le problème n'étais ni de mon code ni de la liaison, c'est en changeant le type de ma base de données de InnoDB à MyISAM que le temps que prend l'opération ne dur plus que 5 à 6 secondes (2 minutes avant) ! merci pour vous tous.