IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

PHP & Base de données Discussion :

travail avec des grosses bases de données


Sujet :

PHP & Base de données

  1. #1
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    Août 2011
    Messages
    28
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Étudiant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Août 2011
    Messages : 28
    Points : 20
    Points
    20
    Par défaut travail avec des grosses bases de données
    Bonjour à tous,

    je travaille actuellement avec une base de donnée qui est constituée d'une unique table de 250 colonnes, avec plus de 150 000 000 d'entrées. La table m'a été fournie sous forme d'un fichier sql, dont la taille fait plus de 60 Go. Je l'ai importée dans mon serveur de bdd (oracle). Le problème c'est que, outre les 3 heures que ça m'a pris pour l'import, chaque requête nécessite plusieurs minutes (>10 min), et comme j'en ai beaucoup à faire, ça me prend des heures à chaque fois.

    Est-ce qu'il existe des outils plus adaptés à mon cas ? (je parle d'outils software, en matériel je ne pense pas pouvoir changer).
    A part les cours que j'ai eu en bdd, je ne suis pas du tout expert dans ce domaine, et encore moins pour savoir si il y a des technologies plus ou moins adpatée à mon cas !

    Merci pour vos lumières

  2. #2
    Membre habitué
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Novembre 2012
    Messages
    111
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Industrie

    Informations forums :
    Inscription : Novembre 2012
    Messages : 111
    Points : 144
    Points
    144
    Par défaut
    une macro php qui te lit le fichier sql et te les inserts dans ta base de données?
    tu le fais par petit paquet (200 requêtes) comme ça tu peux travailler en même temps.
    L'art du developpement est la logique.
    Tout est possible, il suffit de chercher :p
    Si le problème est résolu
    Pense à Merci

  3. #3
    Expert éminent sénior
    Avatar de rawsrc
    Homme Profil pro
    Dev indep
    Inscrit en
    Mars 2004
    Messages
    6 142
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 47
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Dev indep

    Informations forums :
    Inscription : Mars 2004
    Messages : 6 142
    Points : 16 545
    Points
    16 545
    Billets dans le blog
    12
    Par défaut
    Salut,

    une base de données de 60 Go pour Oracle DB c'est peanuts...
    Quelle têtes ont tes requêtes et est-ce que tu as bien posé tes index partout où cela était nécessaire ?

  4. #4
    Membre expérimenté
    Homme Profil pro
    Développeur C++
    Inscrit en
    Avril 2012
    Messages
    771
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur C++
    Secteur : Industrie

    Informations forums :
    Inscription : Avril 2012
    Messages : 771
    Points : 1 631
    Points
    1 631
    Par défaut
    Bonjour,

    250 colonnes pour une seule table sa fait un peut beaucoup,

    essayer de revoir le model de données.
    une réponse vous a permis d'avancer ?

  5. #5
    Modérateur
    Avatar de grunk
    Homme Profil pro
    Lead dév - Architecte
    Inscrit en
    Août 2003
    Messages
    6 691
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 39
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Lead dév - Architecte
    Secteur : Industrie

    Informations forums :
    Inscription : Août 2003
    Messages : 6 691
    Points : 20 222
    Points
    20 222
    Par défaut
    Citation Envoyé par rawsrc Voir le message
    Salut,
    une base de données de 60 Go pour Oracle DB c'est peanuts...
    1 table de 250 colonnes 150 M d'entrées, ça me parait assez mal pensé même pour oracle.
    Pry Framework php5 | N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

Discussions similaires

  1. travail avec des grosses bases de données
    Par Rhyos dans le forum Requêtes
    Réponses: 4
    Dernier message: 02/04/2013, 10h22
  2. Travailler avec des données de type JSON
    Par rambc dans le forum jQuery
    Réponses: 2
    Dernier message: 21/11/2010, 11h38
  3. Réponses: 3
    Dernier message: 25/01/2005, 11h27
  4. [Crystal] Performance sur grosses base de données
    Par Nico118 dans le forum SAP Crystal Reports
    Réponses: 5
    Dernier message: 14/11/2003, 15h27
  5. Travailler avec des bits
    Par Vulvulune dans le forum Langage
    Réponses: 5
    Dernier message: 02/03/2003, 19h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo