Discussion :

[missnouvelle]

bonjour ,

voila jai une table avec 5 champs et 1 millions d'enregistrement .
Comment faire pour migrer ces données dans une table de mysql?

merci

[Mr N.]

Salut miss !

Peux-tu faire un export de ta table dbf ?
Qu'utilises-tu avant mysql ?

[missnouvelle]

j'utilise Visual Foxpro qui produit des tables dbf . JE vais faire un site qui pourrai m'afficher des données a partir de ces tables. php et mysql sont-ils adaptés pour?

[Mr N.]

Etant donné que c'est un produit propriétaire M$, je pense que tu auras plus de facilité avec ASP.
Sinon regarde si ton logiciel peux exporter des données et sous quels formats...

[pafounet3]

Apparemment il existerai un script nommé "dbf2mysql" qui permettrait de faire ça, mais je ne le connais pas... (http://sourceforge.net/projects/dbf2mysql/)

Sinon, encore une information à mettre au conditionnel, il serait possible de convertir les fichiers dbf en fichiers csv (avec Excel??). Ensuite il suffit d'importer les nouveaux fichiers avec phpMyadmin.

[Mr N.]

http://sourceforge.net/projects/dbf2mysql/
no longer maintained....

[pafounet3]

no longer maintained....

Désolé j'avais pas vu... je m'étais dit "Sourceforge? Nickel!" mais j'ai pas cherché plus loin...

[missnouvelle]

merci !
en effet je peux exporter les données dans des fichiers .txt ; .xls ;wks; sdf dif et sylk . lequel serait le plus adapté avec 1 millions d'enregistrement et comment les trasférer dans mysql?

merci encore

[Mr N.]

donne nous un exemple d'un export (pas les 10000 lignes merci) du format .txt
Sinon en .xls, tu ouvres avec excel, tu enregistres au format csv et hop! dans phpMyadmin...

[missnouvelle]

"Madrid",132165465,"GroupA",123.232
"Paris",456456463,"GroupD",4456.223
"Lyon",454545475,"GroupA",5456.212

voilà ce qui s'affiche dans le .txt

merci

[Mr N.]

et bien c'est presque parfait, il manque juste le nom des colonnes en haut du fichier (à moins que tu ne les ai zappées ?)
Dans phpMyAdmin, tu ouvres une base de test (on sait jamais) et tu importe ton fichier. peut être surement mais c'est pas sur qu'il faudra créer la table au préalable

[jeca]

Bonjour,

Ton bonheur est là :
http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

[Mr N.]

Bonjour,

Ton bonheur est là :
http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

[missnouvelle]

merci !

Non en exportant dans le .txt il ne m'a pas mis les noms des champs .
jai fait un test avec une petite table.
puis avec une plus grande que je n'arrive pas à ouvrir car trop lourde.


En exportant dans un .xls puis en sauvegardant dans scv et bien il me conserve les noms des champs mais ya un hic puisque il ne me met pas tout dans la meme colonne car le dernier champs (exp : 1235.231) qui contient un point est coupé en 2 cad il prend cequ'il y a derriere la virgule (231) et le met dans la colonne B.

puis un autre hic il arrète la copie au 65534 ème enregisterment car une feuille excel limité a ce nombre.

Merci

[Mr N.]

ouch j'avais zappé ce nombre magique...
en générant en fichier txt puis import dans mysql ca marche ou pas ?

Sinon est ce que tu as la possibilité de faire des requetes SQL sur tes bases dans Foxtruc ?

[missnouvelle]

loool oui dans FoxTRUC je peux faire des requêtes.
pour le test avec msql je ne peux pas le tester encore car il n'y a rien encore d'installer dans la boite pour faire un site. Je débute vraiment donc faut que je me renseigne comment et quoi installer pour le faire .

merci encore

[Mr N.]

Vous allez abandonnez Foxtruc ? Le site web va servir à quoi ? Que faites vous des données ?

[Mr N.]

Ce que tu peux faire, c'est faire une requete qui exporte les données par paquets de 0 à 6xxxx puis de 6xxxx à 128xxx et ainsi de suite jusqu'à 1million pour pouvoir importer dans excel... Mais c'est vraiment chaud et assez lourd... rien que d'y penser ca me fait mal à la tete !

[jeca]

Je ne connais pas access, mais je serait fort étonné qu'il n'y ait pas une possibilité d'exportation d'une table dans un fichier avec séparateur.

Tu crées manuellement ta table dans mysql, en déclarant ton champ numérique en varchar.

Et ensuite, il y a 'load dat infile...' de mysql, qui est ce que je connais de plus rapide pour l'importation de données : 1 000 000 de lignes ne devraient pas prendre plus de 2 sec. à l'importation.

Après, tu fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
update laTable
set leChampNumerique = replace(leChampNumerique, ',', '.')

Et enfin, tu changes le type de champ varchar par float.

[missnouvelle]

ce n'est pas des tables d'access ce sont des .dbf .
Et puis c'est 2 millions d'enregistrements à mettre dans une table msql .
Savez -vous si c'ets faisable? a combien d'enregistrement est limité mysql? peu etre que le couple Oracle et php serait plus jdicieux pour faire ce site ??

merci aux connaisseurs !