Discussion :

[oneagaindoguys]

Bonjour, ma problématique se trouve au niveau des performances lorsque je souhaite insérer des données en masse dans mon système. J'ai un programme qui lit un fichier texte et insère les lignes les unes à la suite des autres. Pour insérer une ligne, j'ai besoin de 1 seconde !! Sur ma relation, j'ai un trigger qui duplique les lignes dans une table similaire (elle utilise un moteur MyISAM qui ne gère pas les clés étrangères et non le moteur Inno DB). Ces deux relations sont indexés sur pas mal d'attributs.

Je cherche donc une alternative pour gagner en rapidité 40 000 lignes = 40 000 secondes soit plus de 11h !

Je pense que désactiver les index serait déjà beaucoup mieux.

Merci d'avance

[CinePhil]

Pour insérer des données en masse, il y a LOAD DATA INFILE au lieu de faire ça ligne par ligne !

Il vaut mieux insérer en masse dans une table temporaire puis, à l'aide d'une procédure SQL, éventuellement assitée d'un programme externe, répartir les données comme il faut dans les bonnes tables avec les bonnes valeurs suite aux éventuels bons calculs... bref, ce que doit faire ton trigger (encore que j'ai des crainte sur ton terme de "duplication" qui laisse penser à de la redondance de données, ce qui est totalement contraire au premier principe des bases de données !).

[oneagaindoguys]

Merci pour ta réponse !

Il faut savoir que le fichier est un fichier excel, je vais voir si je peux le transformer en fichier texte puis l'insérer avec LOAD DATA INFILE. Sachant que je n'insère les valeurs dans une seule table.
La lecture est instantannée c'est l'écriture qui est longue.
Concernant la redondance, tu as raison, cette table est clonée. A chaque INSERT, UPDATE et DELETE, les deux tables sont affectées. J'ai bien conscience que cette solution n'enchante personne, moi le dernier mais il me faut gérer des clés étrangères et des index fulltext sur cette Table...

[CinePhil]

Il faut enregistrer ton fichier Excel en format .csv.

[oneagaindoguys]

Difficile d'imposer ça à un utilisateur à moins que le programme ne s'en charge.

[ced]

Difficile d'imposer ça à un utilisateur à moins que le programme ne s'en charge.

Alors là, bon courage...
Je ne sais pas dans quel langage est le programme, mais pour avoir ouvert des fichiers Excel en Java et accédé aux données qu'ils contenaient, il y a quelques années de ça, ce n'est pas forcément infaisable, mais c'est fastidieux...

ced