Discussion :

[Nasky]

Bonjour,

Ma nullite en SQL me fait perdre trop de temps sur ce que je dois faire alors j'anticipe en vous demandant votre avis sur quelque chose que je ferai vendredi mais j'ai besoin d'avoir une estimation de temps.

Si j'ai un fichier CSV de 50Go contenant plusieurs dizaines de millions de lignes (8 colonnes par ligne, principalement des chiffres), combien de temps cela prendrait environ sur un PC de 16Go de RAM pour le charger dans une table sous MySQL avec la commande LOAD DATA INFILE?

Y'a-t-il un moyen d'avoir une approximation sachant que je ne peux rien tester pour l'instant ?
Par hasard, y'a-t-il une meilleur facon de faire ?

Merci.

[CinePhil]

Vu la taille du machin, déjà, ne pas espérer lancer ça sous phpMyAdmin ; le faire directement en console MySQL.

De mémoire, avec un PC beaucoup moins puissant (un portable de l'époque sous Windows XP avec probablement 1Go de RAM, voire moins), j'ai eu à importer en 2008 des fichiers texte qui occupaient un CD entier, soit 720 Mo environ, et je crois que ça me prenait entre 15 et 30 minutes.

Compte y passer la matinée. Après il y aura le boulot, peut-être, de répartition de ces données dans une BDD structurée, et ça c'est beaucoup plus long !

Bon courage !

[Nasky]

Merci pour ta reponse.

En fait je l'ai fait, ca a pris 2h35 pour ajouter... 1.3 milliards de lignes avec un PC puissant.

Mais gros probleme, tres etrange. Mon premier id (auto increment) vaut 12058441.... Ca devrait commencer a 1 sachant que dans le LOAD, j'ai mis SET id=NULL.

Une idee d'ou ca peut venir ca ? La table venait d'etre creee, totalement vide !

[CinePhil]

Mais gros probleme, tres etrange. Mon premier id (auto increment) vaut 12058441.... Ca devrait commencer a 1 sachant que dans le LOAD, j'ai mis SET id=NULL.

Une idee d'ou ca peut venir ca ? La table venait d'etre creee, totalement vide !

Bizarre en effet.
Mais pas grave vu que ce n'est qu'un identifiant sans signification.