Base de données trop importante [Résolu]

[creale10]

Bonjour,

J'aimerais avoir si il était possible de paramétrer phpmyadmin au niveau des taille de table

Car j'ai une base de données d'environ 133 millions d'entrée :-)

Donc j'aimerai connaitre une solution pour la créer, j'ai developpé un script pour la créer mais la table sql sature très vite !!

une fois arriver ou a peine dépassé 10 Mo plus aucune insertion ne se fait !!


Merci d'avance

Creale

[qi130]

Il faut faire un COMMIT de temps en temps...

[creale10]

Pourrais tu préciser svp ??

Merci bcp de la rapidité en tous cas !!

[berceker united]

Si ta base rame tu as peut être l'explication de cela : http://www.developpez.net/forums/sho...t=17791&page=2

[amika]

il faut que tu specifies le max_row :

Code :

1
2
3
4
5
6
CREATE TABLE  TaTable (
  `ch1` .............,
   .......................
  'chn' ................,
 
) ENGINE=MyISAM DEFAULT CHARSET=latin1 MAX_ROWS=1330000000;

[berceker united]

Envoyé par amika

il faut que tu specifies le max_row :

Code :

haa je connaissais pas çà !...
Merci je pense ça doit aller dans la faq Mysql!

[qi130]

Envoyé par creale10

Pourrais tu préciser svp ??

Merci bcp de la rapidité en tous cas !!

en "gavant" la base avec des insert, cela oblige le sgbd à garder la trace de toutes les opérations afin de pouvoir les annuler en cas de problème.

Si on ne signale pas au sgbd la validation (par COMMIT) des opérations, il va finir par passer énormément de temps à mémoriser l'historique (journalisation), et même plus de temps à journaliser qu'à traiter les insert.

Par contre, si tu valides (COMMIT) tous les 50000 ou 100000 insert, le sgbd libère les ressources dédiées à la journalisation de ces 50 ou 100000 ordres sql.

[berceker united]

Envoyé par qi130

en "gavant" la base avec des insert, cela oblige le sgbd à garder la trace de toutes les opérations afin de pouvoir les annuler en cas de problème.

Si on ne signale pas au sgbd la validation (par COMMIT) des opérations, il va finir par passer énormément de temps à mémoriser l'historique (journalisation), et même plus de temps à journaliser qu'à traiter les insert.

Par contre, si tu valides (COMMIT) tous les 50000 ou 100000 insert, le sgbd libère les ressources dédiées à la journalisation de ces 50 ou 100000 ordres sql.

Mais là ça marche uniquement si les insert se fait en un bloque
BEGIN
INSERT ...;
INSERT ...;
COMMIT

un truc comme ça ?

[Alexandre T]

Quel est le moteur de la la table de cette base . Si c'est du MyIsam, ces solutions sont inutiles, si c'est de l'InnoDb, alors oui ca aide.

PhpMyAdmin a un gros défaut, il mutlitplie les étapes.
1-Transfert des données via Apache
2-Analyse des données via PHP
3-Insertions des données dans la bases MySQL par PHP
4-Validation par PHP que tout se passe bien

Résultat pour les grosses bases, on multiplie les points de congestions :
1-Pour le point 1,le serveur Apache peut refuser l'upload du fichier (trop volumineux)
2-Pour le point 2, le script PHP pose généralement peu de soucis
3-Pour le point 3, le temps de traitement peut faire qu'on atteint le timeout de PHP
4-On est souvent planté avant le point 4

Ma proposition, si vous ne pouvez vous connecter en mode console sur la base distante :
1-Uploader votre fichier sql sur votre serveur
2-Créez un fichier PHP
3-Modifier le timeout de PHP
4-Créez un script PHP-MySQL qui appelle le fichier sql via la commande source de MySQL.