Discussion :

[moonlight09]

Hello

J'ai l'impression que plus j'utilise la fonction d'import de données, plus c'est long

Y a t-il un système de cache ou quelque chose du genre qui fait que l'import de ma table de 30 000 rows prenne 3min la première fois, puis 1h la 3eme ou 4eme fois (je recommence plusieurs fois la même table car je ne connais pas encore très bien les bons types à paramétrer)

ma config : ryzen5 3600 3.9 ghz
16go RAM
(je précise car je suis en local)

Comment faire pour aller plus vite lors d'un import via fichier .csv ? (paramètre SSH peut être ?)

J'ai songé à redémarrer le service par exemple je ne sais pas si ça servirait... (ça semble fonctionner, mais pourquoi ?)

ps : j'utilise mysql workbench

[tatayo]

Bonjour,
Il faudrait connaitre la structure de la table (colonnes, clé, indexes, contraintes), le moteur utilisé (myISAM, InnoDB, autre), le sous-système disque.
Bref il nous manque pas mal d'infos.

Tatayo.

[moonlight09]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
CREATE TABLE Localite (
                localite_id INT AUTO_INCREMENT NOT NULL,
                num_voie INT,
                nom_voie CHAR(200) NOT NULL,
                cp char(10) NOT NULL,
                commune CHAR(100) NOT NULL,
                dpt_id char(10) NOT NULL,
                commune_id SMALLINT NOT NULL,
                PRIMARY KEY (localite_id)

InnoDB
SSD 870 Qvo

[escartefigue]

Bonjour,

Si c'est toujours le même fichier qui est chargé, il faut activer l'option REPLACE pour annuler et remplacer le contenu, sinon, toutes les lignes pour lesquelles une contrainte unique est violée est mise à l'écart, ce qui prend du temps.
Autre solution : vider la table par un truncate et la charger.

Par ailleurs, cette table a une structure bien curieuse pour ne pas dire plus :

• Avoir à la fois le libellé de la commune et son identifiant n'est pas normal, seul l'identifiant devrait être présent pour permettre de faire une jointure vers la table des communes et éviter ainsi les redondances
• Il en va de même pour le département qui n'a rien à faire dans cette table. On devrait trouver l'identifiant du département comme FK de la table des communes, permettant de faire la jointure avec la table des départements.
• L'identifiant du département ne devrait pas être un char(10) mais un small integer.
• De plus, le nom de la voie en char(200) est un mauvais choix, du varchar(38) comme le prévoit la norme de la poste doit suffire.
• Et il manque le type de voie (boulevard, rue, impasse, etc.)

[al1_24]

Bonjour,

cette table a une structure bien curieuse pour ne pas dire plus

Je me suis fait la même réflexion. Toutefois, il s'agit d'une table destinée à recevoir le contenu d'un fichier importé.
Rien ne dit que cette table ne sert pas uniquement de stockage temporaire et que ces données ne seront pas transférées ensuite dans des tables à la structure plus normalisée.

[moonlight09]

Bonjour,



Je me suis fait la même réflexion. Toutefois, il s'agit d'une table destinée à recevoir le contenu d'un fichier importé.
Rien ne dit que cette table ne sert pas uniquement de stockage temporaire et que ces données ne seront pas transférées ensuite dans des tables à la structure plus normalisée.

Bonjour,

Si c'est toujours le même fichier qui est chargé, il faut activer l'option REPLACE pour annuler et remplacer le contenu, sinon, toutes les lignes pour lesquelles une contrainte unique est violée est mise à l'écart, ce qui prend du temps.
Autre solution : vider la table par un truncate et la charger.

Par ailleurs, cette table a une structure bien curieuse pour ne pas dire plus :

• Avoir à la fois le libellé de la commune et son identifiant n'est pas normal, seul l'identifiant devrait être présent pour permettre de faire une jointure vers la table des communes et éviter ainsi les redondances
• Il en va de même pour le département qui n'a rien à faire dans cette table. On devrait trouver l'identifiant du département comme FK de la table des communes, permettant de faire la jointure avec la table des départements.
• L'identifiant du département ne devrait pas être un char(10) mais un small integer.
• De plus, le nom de la voie en char(200) est un mauvais choix, du varchar(38) comme le prévoit la norme de la poste doit suffire.
• Et il manque le type de voie (boulevard, rue, impasse, etc.)

Eh bien écoutez messieurs, vous irez chercher votre chèque auprès d'open classrooms car vous êtes en train de corriger mon travail à leur place

En effet je suis encore un fœtus qui apprend tout juste à remplir une base de donnée, il est donc normal que vous trouviez ce genre d'imperfections...

concernant le REPLACE, je ne m'en suis pas servi car j'ai directement drop la table depuis le schéma avec un clique droit. Est-ce différent de REPLACE ?

Vous avez raison je vais faire une table commune, ça fera 4 tables au lieu de 3 sur mon MPD ce sera moins redondant que d'avoir 7 colonnes par table...

id département en char car il existe des départements avec des lettres.
type de voie je vois pas l’intérêt de le préciser il s'agit juste d'une modélisation des valeurs foncières des biens vendus en 2020, rue numéro de voie et commune me permette d'identifier le bien de manière unique.