Imports de fichiers csv très volumineux

[kazabandi]

Bonsoir,

Je présente mon problème, j'ai des fichiers csv à importer dans une base MySQL. La taille varie de 100 Mo jusqu'à 2.7 Go.
L'environnement est Windows xp, WAMP (dernière version)
Je dois importer les fichiers csv sélectivement, çàd pour un fichier csv je ne veux pas prendre tous les champs pour ma base, seulement ce que j'en ai besoin, les tables étant crées avec phpmyadmin.
Je suis entrain de penser à faire un script PHP, mais avec cette solution j'ai peur que ça va être trop lent pour les fichiers volumineux, tous autre solution plus performante sera le bienvenu.

Aussi je demande un exemple simple d'import csv fonctionnel.

Une fois mon import csv réussi et le plus rapidement possible, je dois automatiser ceci sous Windows (j'en ai des fichiers csv quotidien que je dois traiter), et ici je demande qu'elles sont les solutions possibles sous Windows.

Merci pour vos réponses.

[stealth35]

l'import de CSV se fait avec LOAD DATA
http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

si t'es les droits sur FILES c'est qu'il faut utiliser pour importer tes CSV

[boo64]

j'ai eu la meme problematique voila comme j'ai procédé:

un scrip php générale qui tourne en tache planifié pour traitement de nuit:

1ere phase rapatriement des csv chaques jours avec rajout de la date pour historisation des fichiers si besoin: (nom_de_fichier.csv deviens nom_de_fichier_JJMMAAAA.csv) --> en wget bourrin mais efficace

2eme phase chargement des csv dans des tables tampons qui ont exactement meme colonne que le csv --> Load data infile comme stealth te le dit

3eme phase agrégation dans ma base finale puis destruction des tables tampons --> la tu peux soit faire des triggers sql soit script php