Discussion :

[Rhyos]

Bonjour à tous,

je travaille actuellement avec une base de donnée qui est constituée d'une unique table de 250 colonnes, avec plus de 150 000 000 entrées. La table m'a été fournie sous forme d'un fichier sql, dont la taille fait plus de 60 Go. Je l'ai importée dans mon serveur de bdd (oracle). Le problème c'est que, outre les 3 heures que ça m'a pris pour l'import, chaque requête nécessite plusieurs minutes (>10 min), et comme j'en ai beaucoup à faire, ça me prend des heures à chaque fois.

Est-ce qu'il existe des outils plus adaptés à mon cas ? (je parle d'outils software, en matériel je ne pense pas pouvoir changer).
A part les cours que j'ai eu en bdd, je ne suis pas du tout expert dans ce domaine, et encore moins pour savoir si il y a des technologies plus ou moins adpatée à mon cas !

Merci pour vos lumières !

[undead001]

une macro php qui te lit le fichier sql et te les inserts dans ta base de données?
tu le fais par petit paquet (200 requêtes) comme ça tu peux travailler en même temps.

[ericd69]

salut,

c'est quoi tes données? car 200 colonne ça ressemble à un dump d'un truc non normalisé...

il serait peut être bon devoir si tu peux donc normaliser tout ça, bien indexer, ce qui risque en plus de largement compacter tes données et fluidifier les actions dessus

[Chtulus]

Bonjour,

je travaille actuellement avec une base de donnée qui est constituée d'une unique table de 250 colonnes, avec plus de 150 000 000 entrées. La table m'a été fournie sous forme d'un fichier sql, dont la taille fait plus de 60 Go. Je l'ai importée dans mon serveur de bdd (oracle). Le problème c'est que, outre les 3 heures que ça m'a pris pour l'import, chaque requête nécessite plusieurs minutes (>10 min), et comme j'en ai beaucoup à faire, ça me prend des heures à chaque fois.

C'est une blague ?

On appel pas cela une Base de Données ! Et ce n'est pas un Outil qu'il vous faut ! C'est un modèle....

Je rejoins @ericd69 ! C'est quoi votre truc Oo

Merci pour vos lumières !

Dans ce cas, merci plutôt pour les vôtres

Cordialement,

[CinePhil]

Je l'ai importée dans mon serveur de bdd (oracle).

Euh... le SGBD est Oracle ou MySQL ?

Dans les deux cas, je rejoins l'avis des autres : faites un modèle de données normalisé et répartissez vos données importées dedans. Une table de 250 colonnes et 150 millions de lignes, ce n'est pas viable !