IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

PHP & Base de données Discussion :

Imports de fichiers csv très volumineux


Sujet :

PHP & Base de données

  1. #1
    Membre à l'essai
    Inscrit en
    Août 2009
    Messages
    23
    Détails du profil
    Informations forums :
    Inscription : Août 2009
    Messages : 23
    Points : 16
    Points
    16
    Par défaut Imports de fichiers csv très volumineux
    Bonsoir,

    Je présente mon problème, j'ai des fichiers csv à importer dans une base MySQL. La taille varie de 100 Mo jusqu'à 2.7 Go.
    L'environnement est Windows xp, WAMP (dernière version)
    Je dois importer les fichiers csv sélectivement, çàd pour un fichier csv je ne veux pas prendre tous les champs pour ma base, seulement ce que j'en ai besoin, les tables étant crées avec phpmyadmin.
    Je suis entrain de penser à faire un script PHP, mais avec cette solution j'ai peur que ça va être trop lent pour les fichiers volumineux, tous autre solution plus performante sera le bienvenu.

    Aussi je demande un exemple simple d'import csv fonctionnel.

    Une fois mon import csv réussi et le plus rapidement possible, je dois automatiser ceci sous Windows (j'en ai des fichiers csv quotidien que je dois traiter), et ici je demande qu'elles sont les solutions possibles sous Windows.

    Merci pour vos réponses.

  2. #2
    Expert éminent sénior

    Profil pro
    Inscrit en
    Septembre 2010
    Messages
    7 920
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2010
    Messages : 7 920
    Points : 10 726
    Points
    10 726
    Par défaut
    l'import de CSV se fait avec LOAD DATA
    http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

    si t'es les droits sur FILES c'est qu'il faut utiliser pour importer tes CSV

  3. #3
    Membre expérimenté
    Profil pro
    Inscrit en
    Avril 2006
    Messages
    1 349
    Détails du profil
    Informations personnelles :
    Âge : 37
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations forums :
    Inscription : Avril 2006
    Messages : 1 349
    Points : 1 460
    Points
    1 460
    Par défaut
    j'ai eu la meme problematique voila comme j'ai procédé:

    un scrip php générale qui tourne en tache planifié pour traitement de nuit:

    1ere phase rapatriement des csv chaques jours avec rajout de la date pour historisation des fichiers si besoin: (nom_de_fichier.csv deviens nom_de_fichier_JJMMAAAA.csv) --> en wget bourrin mais efficace

    2eme phase chargement des csv dans des tables tampons qui ont exactement meme colonne que le csv --> Load data infile comme stealth te le dit

    3eme phase agrégation dans ma base finale puis destruction des tables tampons --> la tu peux soit faire des triggers sql soit script php
    Stay in Bed .. Save Energy

Discussions similaires

  1. Import de fichier CSV automatique dans Access
    Par Jmar dans le forum Access
    Réponses: 4
    Dernier message: 20/01/2006, 10h48
  2. Rapatriement d'un fichier csv assez volumineux
    Par Rickless dans le forum Bases de données
    Réponses: 4
    Dernier message: 07/10/2005, 11h41
  3. Importer un fichier CSV dans un clientdataset ?
    Par mls dans le forum Bases de données
    Réponses: 7
    Dernier message: 15/04/2005, 12h35
  4. [Conseil] Import de fichier CSV vers MySQL
    Par ShinJava dans le forum JDBC
    Réponses: 6
    Dernier message: 15/03/2005, 19h14
  5. Importation de fichier CSV vers une base Interbase
    Par PrinceMaster77 dans le forum ASP
    Réponses: 3
    Dernier message: 15/03/2005, 15h18

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo