IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Administration MySQL Discussion :

Problème d'index sur grosse table


Sujet :

Administration MySQL

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Profil pro
    Développeur Back-End
    Inscrit en
    Août 2003
    Messages
    138
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur Back-End

    Informations forums :
    Inscription : Août 2003
    Messages : 138
    Par défaut Problème d'index sur grosse table
    Bonjour,
    Ces dernières semaines, j'ai eu des soucis sur des index qui ont été corrompu. J'ai fait un mysqlcheck et j'ai eu des erreurs du style :
    Warning : InnoDB: Index 'vorto_index' contains 475229 entries, should be 475237.
    error : Corrupt

    J'ai eu les erreurs sur les index ne mes 2 plus grosses tables et ceci 2 fois à une semaine d'interval. Je voulais savoir si c'était normal pour des tables qui font un peu plus d'1 millions d'enregistrements (phpMyAdmin m'indique ~1 147 594) et 85 Mo de données pour la table la plus grosse.

    J'ai résolu mon problème en supprimant l'index et en le recréant (ce qui a été très rapide à faire). Mais je suis inquiet d'avoir de nouveau ce type de problème car cela bloque l'applicatif.

    Merci pour votre aide,

    Axel

  2. #2
    Rédacteur

    Avatar de SQLpro
    Homme Profil pro
    Expert bases de données / SQL / MS SQL Server / Postgresql
    Inscrit en
    Mai 2002
    Messages
    21 998
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert bases de données / SQL / MS SQL Server / Postgresql
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2002
    Messages : 21 998
    Billets dans le blog
    6
    Par défaut
    MySQL n'a jamais été conçu pour manipuler de gros volumes de données. Il est a la ramasse sur les tables ayant de forte cardinalités et surtout il est facile de corrompre les données pour différentes raisons :
    1) pas de tables systèmes pour le "catalog" (règle de Codd n°4) :
    RÈGLE 4 - Catalogue relationnel, dynamique et accessible directement :
    La description de la base de données et de son contenu est représentée au niveau
    logique de la même manière que les données ordinaires (des tables).

    2) pas de mécanisme direct d'écriture dans les fichiers... MySQL confie à l'OS les routines d'écriture ce que ne font JAMAIS les gros SGBDR comme SQL Server ou Oracle qui utilisent des routines internes directes d'écriture garantissant que ce qui est écrit est lisible
    3) les structures interne de données de MySQL sont à des années lumières de ce qu'il faudrait faire pour être sûr et fiable.....

    MySQmerde a été conçu pour des petites appli perso et non pour gérer des données d'entreprise ! Tournez vous vers un autre SGBDR Robuste et conçut pour cela !

    Devinez pourquoi il est gratuit...

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Expertise SQL Server : http://mssqlserver.fr/ * * * * *

  3. #3
    Membre prolifique Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 883
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 883
    Par défaut
    Salut à tous

    Citation Envoyé par axel584
    Ces dernières semaines, j'ai eu des soucis sur des index qui ont été corrompu.
    Pourquoi ne pas recontruire vos index ?

    Citation Envoyé par axel584
    J'ai résolu mon problème en supprimant l'index et en le recréant (ce qui a été très rapide à faire).
    C'est bien, mais ce n'est qu'une solution de dépannage.

    La bonne question est de savoir pourquoi vos index sont corrompues ?
    Avez-vous eu un crach de la base de données ?
    Avez-vous un traitement qui s'est mal terminé ?

    Vous devriez prendre l'habitude de faire un peu de maintenance, disons chaque soir, sur votre base de données.
    Histoire que le lendemain, votre base soit opérationnelle !

    Par exemple, faire de la réorganisation de l'espace libérée par vos tables.
    Ou encore, vérifier qu'il n'y a pas eu un crach ou des données corrompues.
    Un "repair" et un "optimize" sur vos tables qui utilisent le moteur myisam.

    @+

  4. #4
    Membre confirmé
    Profil pro
    Développeur Back-End
    Inscrit en
    Août 2003
    Messages
    138
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur Back-End

    Informations forums :
    Inscription : Août 2003
    Messages : 138
    Par défaut
    En fait, j'ai essayé de faire des repair, mais ça semblait ne pas fonctionner (ou bien être très long), la suppression et la création de l'index a été très rapide.

    Effectivement, il pourrait être intéressant de faire un mysqlcheck tous les soirs, mais ça fait plusieurs années que cette application tourne et je n'avais pas eu de tels problèmes avant. Bon, elle grossit d'années en années et je pense que je vais faire quelques requêtes de suppression pour faire de la place.

    Et sinon, c'est vrai que j'ai aucune idée de ce qui a déclenché les problèmes d'index.

    Merci pour votre aide.

    Axel

  5. #5
    Expert éminent
    Avatar de CinePhil
    Homme Profil pro
    Ingénieur d'études en informatique
    Inscrit en
    Août 2006
    Messages
    16 817
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur d'études en informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2006
    Messages : 16 817
    Billets dans le blog
    14
    Par défaut
    Warning : InnoDB: Index 'vorto_index' contains 475229 entries, should be 475237.
    Je n'appelle pas ça une "grosse table" !

    Je soupçonne aussi un problème de modélisation qui pourrait expliquer les "blocages" auxquelles vous êtes confronté. Peut-ête serait-il temps d'envisager l'évolution de votre base de données et de votre application ?
    Philippe Leménager. Ingénieur d'étude à l'École Nationale Supérieure de Formation de l'Enseignement Agricole, en retraite... mais toujours Autoentrepreneur à l'occasion.
    Mon ancien blog sur la conception des BDD, le langage SQL, le PHP... et mon nouveau blog sur les mêmes sujets.
    « Ce que l'on conçoit bien s'énonce clairement, et les mots pour le dire arrivent aisément ». (Nicolas Boileau)
    À la maison comme au bureau, j'utilise la suite Linux Mageïa !

  6. #6
    Membre confirmé
    Profil pro
    Développeur Back-End
    Inscrit en
    Août 2003
    Messages
    138
    Détails du profil
    Informations personnelles :
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur Back-End

    Informations forums :
    Inscription : Août 2003
    Messages : 138
    Par défaut
    L'évolution vers quoi ? Changer de base de données ?
    Quelles technologies m'éviteraient ce genre de problème ?

    Merci pour vos conseils,

    Axel

  7. #7
    Expert éminent
    Avatar de CinePhil
    Homme Profil pro
    Ingénieur d'études en informatique
    Inscrit en
    Août 2006
    Messages
    16 817
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur d'études en informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2006
    Messages : 16 817
    Billets dans le blog
    14
    Par défaut
    L'évolution vers quoi ? Changer de base de données ?
    Quelles technologies m'éviteraient ce genre de problème ?
    Je n'ai pas parlé de technologie ou de SGBD mais d'un éventuel problème de modélisation des données, donc de conception de votre BDD, de schéma des tables.

    Ceci dit, je relis votre premier message :
    Warning : InnoDB: Index 'vorto_index' contains 475229 entries, should be 475237.
    error : Corrupt

    J'ai eu les erreurs sur les index ne mes 2 plus grosses tables et ceci 2 fois à une semaine d'interval. Je voulais savoir si c'était normal pour des tables qui font un peu plus d'1 millions d'enregistrements (phpMyAdmin m'indique ~1 147 594) et 85 Mo de données pour la table la plus grosse.
    J'avais cru comprendre qu'il y avait 475 000 et quelques lignes dans la table en cause mais je vois que vous parlez d'une table de 1 147 594 lignes et 85 Mo de données. Là ça commence à être gros pour MySQL sur une machine de base.

    Comme le suggère Artemus, commencez par regarder du côté de la maintenance de votre BDD.
    Philippe Leménager. Ingénieur d'étude à l'École Nationale Supérieure de Formation de l'Enseignement Agricole, en retraite... mais toujours Autoentrepreneur à l'occasion.
    Mon ancien blog sur la conception des BDD, le langage SQL, le PHP... et mon nouveau blog sur les mêmes sujets.
    « Ce que l'on conçoit bien s'énonce clairement, et les mots pour le dire arrivent aisément ». (Nicolas Boileau)
    À la maison comme au bureau, j'utilise la suite Linux Mageïa !

  8. #8
    Membre prolifique Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 883
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 883
    Par défaut
    Salut à tous.

    Citation Envoyé par axel584
    L'évolution vers quoi ?
    C'est à CinePhil que cela s'adresse.

    Selon moi, même s'il existe un problème de modélisation, cela ne va pas empêcher ce genre de problème avec une version mysql supérieure à celle que vous utilisez.
    Le problème de MySql est qu'il est gratuit et de ce fait, peu ou pas d'investissement à long terme pour résoudre des problèmes de concurrences d'accès.
    La corruption des données, à moins que je me trompe, est issu d'un problème d'accès concurrent.

    Citation Envoyé par axel584
    Changer de base de données ?
    Pourquoi pas en allant vers Microsoft SQL Server, sans qu'il vous faut une licence.

    Citation Envoyé par axel584
    Quelles technologies m'éviteraient ce genre de problème ?
    Il faudrait commencer par identifier le problème que vous rencontrez.

    Et si votre problème concernant un problème d'intégrité de vos données ?
    Changer de SGBDR ne résoudrait rien du tout.

    @+

Discussions similaires

  1. [2012] Recherche un avis index sur grosse table en 2012 Standard
    Par Donpi dans le forum Développement
    Réponses: 6
    Dernier message: 01/08/2016, 17h48
  2. Problèmes de ralentissement sur grosse table
    Par marcleb1 dans le forum SQL
    Réponses: 10
    Dernier message: 15/09/2009, 22h01
  3. Réponses: 37
    Dernier message: 26/11/2008, 17h10
  4. Problème de requêtes sur deux tables
    Par Pymm dans le forum Access
    Réponses: 6
    Dernier message: 06/09/2005, 09h06
  5. Comment savoir s'il existe un index sur ma table ?
    Par CDRIK dans le forum Langage SQL
    Réponses: 3
    Dernier message: 06/10/2004, 09h58

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo