Discussion :

[Orus]

Bonsoir !

Pour expliquer un peu le contexte, j'ai un fichier .csv à traiter.
Il contient en gros :
données A (plusieurs champs), données B (plusieurs champs)
et je dois faire appel à un service web qui me retournera une valeur selon les données A et B.
Donc 2 champs à rajouter au fichier : la valeur, ou si les données sont incomplètes un code erreur + un champs indiquant que la ligne a été modifiée (une fois qu'elle sera corrigé).

Donc j'ai un gros fichier (plus de 10 000 entrées), chaque entrée à traiter, et surtout une gestion de toutes les entrées incomplètes pour les modifier et les retraiter. En premier lieu il est uploadé sur le serveur.

J'ai donc pensé ensuite à charger cela dans une base SQL (mysql me parait suffisant). J'ai découvert la commande "LOAD DATA INFILE" (http://dev.mysql.com/doc/refman/5.0/fr/load-data.html) qui permet justement de charger très rapidement des gros fichiers .csv dans une table SQL.

Mon soucis, j'aimerais ajouter le nom du fichier à chaque entrée dans la base, et j'ai pas l'impression que ca soit possible de faire ca directement avec le "LOAD DATA INFILE".

Donc je me demande pour quelle solution opter ?
1/ Je "LOCK" la table, je charge, j'update les 10K+ entrées avec le nom du fichier, et je la "UNLOCK"
2/ Je charge dans une table temporaire, et je transfère vers une autre table
3/ J'oublie le "LOAD DATA INFILE", et j'utilise plutot la fonction fgetcsv() et du coup j'insère comme je veux.

J'ai fait des recherches la dessus mais je n'ai pas encore pu trancher et je viens donc solliciter votre aide ! Vu la taille du fichier la question de rapidité importe. Surtout que je sais pas encore comment ca se passerait si la connexion s'interrompt (faut que ca soit fiable).

Merci d'avance pour les conseils que vous apporterez !

[rems033]

Dans ton cas je pense que le plus judicieux serait d'utiliser la fonction fgetcsv afin de coder de manière conforme à ton optique cet import de données...

Par contre je ne suis pas sûr que cela soit plus rapide en terme de chargement aux vues du nombre d'entrées...

Bon courage

[jeca]

Bonjour,

Une autre solution :

1. création d'une table dont la structure correspond au .CSV + les 2 colonnes nécessaires au traitement ;
2. importation du .CSV dans cette table avec 'LOAD DATA INFILE ...' ;
3. traitement des données sur cette table ;
4. insertion des données valides dans la table définitive avec 'INSERT... SELECT...'. Une seule requête insère la totalité des lignes correspondant à la condition : http://dev.mysql.com/doc/refman/5.0/...rt-select.html;
5. suppression des données de la table intermédiaire insérées dans la table définitive, avec la même condition que dans la requête précédente ;

A la suite de cela, il ne reste dans la table intermédiaire que les lignes à traiter manuellement, et tu n'auras passé que très peu de temps sur la table définitive.

[Orus]

Bonjour,

Une autre solution :

1. création d'une table dont la structure correspond au .CSV + les 2 colonnes nécessaires au traitement ;
2. importation du .CSV dans cette table avec 'LOAD DATA INFILE ...' ;
3. traitement des données sur cette table ;
4. insertion des données valides dans la table définitive avec 'INSERT... SELECT...'. Une seule requête insère la totalité des lignes correspondant à la condition : http://dev.mysql.com/doc/refman/5.0/...rt-select.html;
5. suppression des données de la table intermédiaire insérées dans la table définitive, avec la même condition que dans la requête précédente ;

A la suite de cela, il ne reste dans la table intermédiaire que les lignes à traiter manuellement, et tu n'auras passé que très peu de temps sur la table définitive.

merci pour cette solution intéressante ! quand je pensais à transférer je pensais à cela en effet.
autant tout transférer dans la table définitive, cela pourra permettre de traiter plusieurs fichiers (quite à faire du web j'essaye d'ajouter des possibilités que ca pourrait gérer ) ?
c'est à ce moment la que je me demandais si en terme de rapidité vallait mieux un LOAD DATA FILE + INSERT SELECT ou fgetcsv

[jeca]

Je crois qu'il n'y a pas photo.
Test effectué sur un fichier de 86836 lignes et 5 colonnes, sans création d'index :

load data vers table intermédiaire => 0.14399 secondes
insert Select de table intermédiaire vers table définitive => 0.01273 secondes
fgetcsv vers table définitive => 135.05237 secondes

[Orus]

Je crois qu'il n'y a pas photo.
Test effectué sur un fichier de 86836 lignes et 5 colonnes, sans création d'index :

load data vers table intermédiaire => 0.14399 secondes
insert Select de table intermédiaire vers table définitive => 0.01273 secondes
fgetcsv vers table définitive => 135.05237 secondes

merci pour l'info
en effet j'ai testé avec LOAD DATA + INSERT SELECT et ca prenait moins d'une seconde donc je me suis dit que c'était parfait !