IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Requêtes MySQL Discussion :

Activer/Désactiver les index


Sujet :

Requêtes MySQL

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre chevronné
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    540
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vendée (Pays de la Loire)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Avril 2009
    Messages : 540
    Par défaut Activer/Désactiver les index
    Bonjour, ma problématique se trouve au niveau des performances lorsque je souhaite insérer des données en masse dans mon système. J'ai un programme qui lit un fichier texte et insère les lignes les unes à la suite des autres. Pour insérer une ligne, j'ai besoin de 1 seconde !! Sur ma relation, j'ai un trigger qui duplique les lignes dans une table similaire (elle utilise un moteur MyISAM qui ne gère pas les clés étrangères et non le moteur Inno DB). Ces deux relations sont indexés sur pas mal d'attributs.

    Je cherche donc une alternative pour gagner en rapidité 40 000 lignes = 40 000 secondes soit plus de 11h !

    Je pense que désactiver les index serait déjà beaucoup mieux.

    Merci d'avance

  2. #2
    Expert éminent
    Avatar de CinePhil
    Homme Profil pro
    Ingénieur d'études en informatique
    Inscrit en
    Août 2006
    Messages
    16 818
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur d'études en informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2006
    Messages : 16 818
    Billets dans le blog
    14
    Par défaut
    Pour insérer des données en masse, il y a LOAD DATA INFILE au lieu de faire ça ligne par ligne !

    Il vaut mieux insérer en masse dans une table temporaire puis, à l'aide d'une procédure SQL, éventuellement assitée d'un programme externe, répartir les données comme il faut dans les bonnes tables avec les bonnes valeurs suite aux éventuels bons calculs... bref, ce que doit faire ton trigger (encore que j'ai des crainte sur ton terme de "duplication" qui laisse penser à de la redondance de données, ce qui est totalement contraire au premier principe des bases de données !).
    Philippe Leménager. Ingénieur d'étude à l'École Nationale Supérieure de Formation de l'Enseignement Agricole, en retraite... mais toujours Autoentrepreneur à l'occasion.
    Mon ancien blog sur la conception des BDD, le langage SQL, le PHP... et mon nouveau blog sur les mêmes sujets.
    « Ce que l'on conçoit bien s'énonce clairement, et les mots pour le dire arrivent aisément ». (Nicolas Boileau)
    À la maison comme au bureau, j'utilise la suite Linux Mageïa !

  3. #3
    Membre chevronné
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    540
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vendée (Pays de la Loire)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Avril 2009
    Messages : 540
    Par défaut
    Merci pour ta réponse !

    Il faut savoir que le fichier est un fichier excel, je vais voir si je peux le transformer en fichier texte puis l'insérer avec LOAD DATA INFILE. Sachant que je n'insère les valeurs dans une seule table.
    La lecture est instantannée c'est l'écriture qui est longue.
    Concernant la redondance, tu as raison, cette table est clonée. A chaque INSERT, UPDATE et DELETE, les deux tables sont affectées. J'ai bien conscience que cette solution n'enchante personne, moi le dernier mais il me faut gérer des clés étrangères et des index fulltext sur cette Table...

  4. #4
    Expert éminent
    Avatar de CinePhil
    Homme Profil pro
    Ingénieur d'études en informatique
    Inscrit en
    Août 2006
    Messages
    16 818
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur d'études en informatique
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2006
    Messages : 16 818
    Billets dans le blog
    14
    Par défaut
    Il faut enregistrer ton fichier Excel en format .csv.
    Philippe Leménager. Ingénieur d'étude à l'École Nationale Supérieure de Formation de l'Enseignement Agricole, en retraite... mais toujours Autoentrepreneur à l'occasion.
    Mon ancien blog sur la conception des BDD, le langage SQL, le PHP... et mon nouveau blog sur les mêmes sujets.
    « Ce que l'on conçoit bien s'énonce clairement, et les mots pour le dire arrivent aisément ». (Nicolas Boileau)
    À la maison comme au bureau, j'utilise la suite Linux Mageïa !

  5. #5
    Membre chevronné
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    540
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vendée (Pays de la Loire)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Avril 2009
    Messages : 540
    Par défaut
    Difficile d'imposer ça à un utilisateur à moins que le programme ne s'en charge.

  6. #6
    ced
    ced est déconnecté
    Rédacteur/Modérateur

    Avatar de ced
    Homme Profil pro
    Gestion de bases de données techniques
    Inscrit en
    Avril 2002
    Messages
    6 063
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 50
    Localisation : France, Loiret (Centre)

    Informations professionnelles :
    Activité : Gestion de bases de données techniques
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Avril 2002
    Messages : 6 063
    Par défaut
    Citation Envoyé par oneagaindoguys Voir le message
    Difficile d'imposer ça à un utilisateur à moins que le programme ne s'en charge.
    Alors là, bon courage...
    Je ne sais pas dans quel langage est le programme, mais pour avoir ouvert des fichiers Excel en Java et accédé aux données qu'ils contenaient, il y a quelques années de ça, ce n'est pas forcément infaisable, mais c'est fastidieux...

    ced
    Rédacteur / Modérateur SGBD et R
    Mes tutoriels et la FAQ MySQL

    ----------------------------------------------------
    Pensez aux balises code et au tag
    Une réponse vous a plu ? N'hésitez pas à y mettre un
    Je ne réponds pas aux questions techniques par message privé, les forums sont là pour ça

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Réponses: 0
    Dernier message: 26/07/2009, 23h28
  2. Activer/Désactiver les contraintes
    Par mortimer.pw dans le forum PostgreSQL
    Réponses: 6
    Dernier message: 04/07/2008, 11h26
  3. Comment activer/désactiver les effets de flou de DWM? (FAQ)
    Par zubrow dans le forum Windows Vista
    Réponses: 3
    Dernier message: 01/12/2007, 22h15
  4. [Postgres 8] Activer les index
    Par julienOriano dans le forum PostgreSQL
    Réponses: 7
    Dernier message: 27/10/2005, 23h59

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo