index et cardinalité

Version imprimable

09/07/2009, 15h09
plof93

index et cardinalité

D'abord bonjour :)

J'ai un problème avec Mysql et Phpmyadmin, je ne sais pas si c'est l'un ou l'autre qui délire, mais on dit aussi souvent (a juste titre) que c'est parfois l'utilisateur qui fait n'importe quoi.

Alors, je vous expose mon soucis.
J'ai créer une table de donnée toute simple via Phpmyadmin sur Mysql.

Table: id - mail - insertion (id: primary key, autoincrement)
Moteur de stockage : InnoDB

J'ai un script en php qui lit un fichier texte et insère dans la table chaque ligne du fichier parcourut.
Le fichier est lu, toutes les données ont été insérer (362000 lignes).
Jusque la tout va bien.

Je retourne sur phpmyadmin, fait un affichage simple de la table et la il me renseigne :
Affichage des enregistrements 0 - 29 (350 879 total, traitement: 0.0003 sec.)
pas le même nombre attendu, je refait un affichage :
Affichage des enregistrements 0 - 29 (365 354 total, traitement: 0.0006 sec.)
La c'ets plus que ce que j'attendais
etc...

Trouvant ca légèrement farfelu, j'essaie d'atteindre les dernières pages via le système de pagination de phpmyadmin, dans le cas ou le nombre total d'enregistrements est plus petit, ca s'affiche, dans l'autre cas, MySQL n'a retourné aucun enregistrement (normal ayant dépassé le total de lignes)

J'ai regardé alors la valeur de l'autoincrement, elle est bien à 362001, et fait un select count(*), là aussi j'ai le bon résultat 362000.

Par contre en faisant plusieurs SHOW INDEX FROM table,
phpmyadmin affiche:
Table -> table
Non_unique -> 0
Key_name -> primary
Seq_in_index -> 1
Column_name -> id
Collation -> A
Cardinality -> 358 657 ou 366 468 ou 361 135, etc ...

J'ai pu lire que l'index était limitée en taille, mais ca me parait peu 300 000 lignes, surtout que j'ai aussi lu que InnoDB était large comme utilisation.

Peut on augmenté la taille de l'index ? ou peut etre que ma table est mal construite ? est-ce tout simplement une erreur d'affichage phpmyadmin ou mysql ?

J'ai peur qu'en partant sur une table mal lue, mes futurs script de selection, modification, suppression soient à l'avance erronées.

Plof
09/07/2009, 23h08
CinePhil

Bizarre ton histoire ! 8O
Ce n'est sûrement pas un problème de taille d'index avec une table de cette taille là. J'ai travaillé avec des tables de plusieurs dizaines de millions de lignes sans problème.
A tout hasard essaie d'optimiser la table (onglet Opérations dans phpMyAdmin).
10/07/2009, 09h47
plof93

Merci de prendre du temps pour répondre.

Alors j'ai déjà regardé dans l'onglet opération.
J'ai fait un check de la table, tout est correct.
J'ai une défragmentation de la base, une optimisation et un recharge de la table.
Toujours le même soucis.

Me suis passé pour tester à 25000 lignes, toujours instables au niveau des cardinalité de l'index.

Est ce que l'insertion requete mysql_query() n'irait pas trop vite par rapport au temps d'execution de mysql ?
10/07/2009, 10h38
CinePhil

Je ne comprends pas ce que tu veux dire ici :

Citation:

Envoyé par plof93

Me suis passé pour tester à 25000 lignes, toujours instables au niveau des cardinalité de l'index.

Est ce que l'insertion requete mysql_query() n'irait pas trop vite par rapport au temps d'execution de mysql ?

D'autant plus que tu as dit aussi précédemment :

Citation:

J'ai un script en php qui lit un fichier texte et insère dans la table chaque ligne du fichier parcourut.
Le fichier est lu, toutes les données ont été insérer (362000 lignes).
Jusque la tout va bien.
10/07/2009, 10h49
plof93

Oui, pas très claire effectivement.

Je voulais dire par

Citation:

Me suis passé pour tester à 25000 lignes, toujours instables au niveau des cardinalité de l'index

que j'ai modifié mon fichier texte, au lieu d'avoir 300 000 lignes, j'en ai mis que 25 000. Après l'execution de mon script, j'avais toujours mon index qui variait entre 24000 et 26000 en nombre de cardinalité.

Aussi, par rapport à la question que je me posais

Citation:

Est ce que l'insertion requete mysql_query() n'irait pas trop vite par rapport au temps d'execution de mysql ?

J'ai fait un test dans ma boucle d'insertion (cette fois ci mon fichier texte parcourut fait 60 000 lignes), toutes les 10000 mysql_query("insert into table ....") je fais une pause de 5 secondes.
Cette fois si je n'ai plus d'index/cardinalité changeant.
L'index reste stable mais par contre il est supérieure au nombre de ligne/autoincrement.
Affichage des enregistrements 0 - 29 (60 203 total)
autoincrement : 60 001
select count(*) : 60 000
show index from table : cardinality -> 60 203
10/07/2009, 13h45
CinePhil
Vraiment bizarre ce truc ! 8O
Tu as une vieille version complètement buggée ou quoi ? :aie:

Ceci dit, dans la doc de MySQL au chapitre sur SHOW INDEX, on lit ceci (avec une belle faute à exact) :
Citation:
Cardinality
Le nombre de valeurs uniques dans l'index. C'est une valeur qui est mise à jour avec la commande ANALYZE TABLE ou myisamchk -a. Cardinality est compté en se basant sur des statistiques entières : il n'est pas toujours exacte pour les petites tables.
Du moment que le COUNT(*) est juste et que toutes les données sont là, le problème est sans doute mineur.

Sinon à ce sujet :

Citation:

J'ai un script en php qui lit un fichier texte et insère dans la table chaque ligne du fichier parcourut.
Le fichier est lu, toutes les données ont été insérer (362000 lignes).

Ton script fait un traitement particulier sur les données du fichier texte ?
Si ce n'est pas le cas, plutôt que 360 000 INSERT INTO, regarde du côté de LOAD DATA INFILE. C'est beaucoup plus rapide !
10/07/2009, 14h14
Sivrît
Citation:

Envoyé par CinePhil

Ceci dit, dans la doc de MySQL au chapitre sur SHOW INDEX, on lit ceci (avec une belle faute à exact) :

La traduction est au mieux dépassée (genre elle date de l'époque où le seul moteur était MyIsam). Bref maintenant c'est faux. La VO indique :
Citation:
Envoyé par http://dev.mysql.com/doc/refman/5.0/en/show-index.html

Cardinality

An estimate of the number of unique values in the index. This is updated by running ANALYZE TABLE or myisamchk -a. Cardinality is counted based on statistics stored as integers, so the value is not necessarily exact even for small tables. The higher the cardinality, the greater the chance that MySQL uses the index when doing joins.
Bref, c'est une estimation (pour un moteur transactionnel, la cardinalité exacte pourrait être un peu difficile à définir), même pour une petite table (là, la traduction est un contre sens).
13/07/2009, 17h17
plof93

Merci de vos réponses, j'ai aussi effectué se que vous m'avez suggéré, et fait un LOAD DATA INFILE, le fichier est incorporé beaucoup plus rapidement.

Mais malheureusement, j'ai toujours un problème de cardinalité même avec cette fonction. La cardinalité de mon index varie toujours +ou-

Je pense qu'il doit y avoir un soucis avec phpmyadmin et mysql.
Pourtant en dev (phpMyAdmin - 2.8.1 / Version du client MySQL: 4.1.7)
et en prod (phpMyAdmin - 2.9.2 / Version du client MySQL: 5.0.32)
j'ai des versions différentes de chacun et le même soucis.

Allez savoir pourquoi :roll: