Discussion :

[plof93]

D'abord bonjour

J'ai un problème avec Mysql et Phpmyadmin, je ne sais pas si c'est l'un ou l'autre qui délire, mais on dit aussi souvent (a juste titre) que c'est parfois l'utilisateur qui fait n'importe quoi.

Alors, je vous expose mon soucis.
J'ai créer une table de donnée toute simple via Phpmyadmin sur Mysql.

Table: id - mail - insertion (id: primary key, autoincrement)
Moteur de stockage : InnoDB

J'ai un script en php qui lit un fichier texte et insère dans la table chaque ligne du fichier parcourut.
Le fichier est lu, toutes les données ont été insérer (362000 lignes).
Jusque la tout va bien.

Je retourne sur phpmyadmin, fait un affichage simple de la table et la il me renseigne :
Affichage des enregistrements 0 - 29 (350 879 total, traitement: 0.0003 sec.)
pas le même nombre attendu, je refait un affichage :
Affichage des enregistrements 0 - 29 (365 354 total, traitement: 0.0006 sec.)
La c'ets plus que ce que j'attendais
etc...

Trouvant ca légèrement farfelu, j'essaie d'atteindre les dernières pages via le système de pagination de phpmyadmin, dans le cas ou le nombre total d'enregistrements est plus petit, ca s'affiche, dans l'autre cas, MySQL n'a retourné aucun enregistrement (normal ayant dépassé le total de lignes)

J'ai regardé alors la valeur de l'autoincrement, elle est bien à 362001, et fait un select count(*), là aussi j'ai le bon résultat 362000.

Par contre en faisant plusieurs SHOW INDEX FROM table,
phpmyadmin affiche:
Table -> table
Non_unique -> 0
Key_name -> primary
Seq_in_index -> 1
Column_name -> id
Collation -> A
Cardinality -> 358 657 ou 366 468 ou 361 135, etc ...

J'ai pu lire que l'index était limitée en taille, mais ca me parait peu 300 000 lignes, surtout que j'ai aussi lu que InnoDB était large comme utilisation.

Peut on augmenté la taille de l'index ? ou peut etre que ma table est mal construite ? est-ce tout simplement une erreur d'affichage phpmyadmin ou mysql ?

J'ai peur qu'en partant sur une table mal lue, mes futurs script de selection, modification, suppression soient à l'avance erronées.

Plof

[CinePhil]

Bizarre ton histoire !
Ce n'est sûrement pas un problème de taille d'index avec une table de cette taille là. J'ai travaillé avec des tables de plusieurs dizaines de millions de lignes sans problème.
A tout hasard essaie d'optimiser la table (onglet Opérations dans phpMyAdmin).

[plof93]

Merci de prendre du temps pour répondre.

Alors j'ai déjà regardé dans l'onglet opération.
J'ai fait un check de la table, tout est correct.
J'ai une défragmentation de la base, une optimisation et un recharge de la table.
Toujours le même soucis.

Me suis passé pour tester à 25000 lignes, toujours instables au niveau des cardinalité de l'index.

Est ce que l'insertion requete mysql_query() n'irait pas trop vite par rapport au temps d'execution de mysql ?

[CinePhil]

Je ne comprends pas ce que tu veux dire ici :

Me suis passé pour tester à 25000 lignes, toujours instables au niveau des cardinalité de l'index.

Est ce que l'insertion requete mysql_query() n'irait pas trop vite par rapport au temps d'execution de mysql ?

D'autant plus que tu as dit aussi précédemment :

J'ai un script en php qui lit un fichier texte et insère dans la table chaque ligne du fichier parcourut.
Le fichier est lu, toutes les données ont été insérer (362000 lignes).
Jusque la tout va bien.

[plof93]

Oui, pas très claire effectivement.

Je voulais dire par

Me suis passé pour tester à 25000 lignes, toujours instables au niveau des cardinalité de l'index

que j'ai modifié mon fichier texte, au lieu d'avoir 300 000 lignes, j'en ai mis que 25 000. Après l'execution de mon script, j'avais toujours mon index qui variait entre 24000 et 26000 en nombre de cardinalité.


Aussi, par rapport à la question que je me posais

Est ce que l'insertion requete mysql_query() n'irait pas trop vite par rapport au temps d'execution de mysql ?

J'ai fait un test dans ma boucle d'insertion (cette fois ci mon fichier texte parcourut fait 60 000 lignes), toutes les 10000 mysql_query("insert into table ....") je fais une pause de 5 secondes.
Cette fois si je n'ai plus d'index/cardinalité changeant.
L'index reste stable mais par contre il est supérieure au nombre de ligne/autoincrement.
Affichage des enregistrements 0 - 29 (60 203 total)
autoincrement : 60 001
select count(*) : 60 000
show index from table : cardinality -> 60 203

[CinePhil]

Vraiment bizarre ce truc !
Tu as une vieille version complètement buggée ou quoi ?

Ceci dit, dans la doc de MySQL au chapitre sur SHOW INDEX, on lit ceci (avec une belle faute à exact) :

• Cardinality
  Le nombre de valeurs uniques dans l'index. C'est une valeur qui est mise à jour avec la commande ANALYZE TABLE ou myisamchk -a. Cardinality est compté en se basant sur des statistiques entières : il n'est pas toujours exacte pour les petites tables.

Du moment que le COUNT(*) est juste et que toutes les données sont là, le problème est sans doute mineur.

Sinon à ce sujet :

J'ai un script en php qui lit un fichier texte et insère dans la table chaque ligne du fichier parcourut.
Le fichier est lu, toutes les données ont été insérer (362000 lignes).

Ton script fait un traitement particulier sur les données du fichier texte ?
Si ce n'est pas le cas, plutôt que 360 000 INSERT INTO, regarde du côté de LOAD DATA INFILE. C'est beaucoup plus rapide !