MySQL ou INNODB limité?

Version imprimable

11/12/2008, 12h26
krapno

MySQL ou INNODB limité?

Bonjour,

Je recherche une description des limites du moteur MySQL sous Windows.

Mon cas se pose face à une base INNODB:
Il semble que le moteur soit limité en nombre de colonnes par table ou en volume de données par ligne.

S'il existe bien une limite en volume de données par ligne, est-il possible de l'augmenter pourvu que la machine en ait les capacités?

Vous remerciant par avance,
Très cordialement,

OS: Windows 2003 RC2
MySQL: 5.0.45-community-nt
11/12/2008, 23h07
Antoun

:faq: http://mysql.developpez.com/faq/?pag...XE_VALEURS_MAX

Bonjour,

Voici la table qui me pose problème, elle a beaucoup de colonnes mais on est loin des 2000 colonnes annoncées.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
t_elements  CREATE TABLE `t_elements` (                                                                                                         
                   `user_id` int(11) NOT NULL,                                                                                                            
                   `web_id` int(11) NOT NULL default '0',                                                                                                 
                   `customer_id` int(11) default NULL,                                                                                                    
                   `element_id` int(11) NOT NULL auto_increment,                                                                                      
                   `element_order` int(11) default '0',                                                                                               
                   `element_date_create` datetime NOT NULL,                                                                                           
                   `element_date_update` datetime NOT NULL,                                                                                           
                   `element_date_delete` datetime default NULL,                                                                                       
                   `element_active` tinyint(1) default '0',                                                                                           
                   `element_date_active` tinyint(1) default '0',                                                                                      
                   `element_date_start` datetime default NULL,                                                                                        
                   `element_date_start_active` tinyint(1) default '0',                                                                                
                   `element_date_end` datetime default NULL,                                                                                          
                   `element_date_end_active` tinyint(1) default '0',                                                                                  
                   `web_template_sheet_id` int(11) default NULL,                                                                                          
                   `element_title_fr` tinytext,                                                                                                       
                   `element_summary_fr` mediumtext,                                                                                                   
                   `element_content_fr` longtext,                                                                                                     
                   `element_keywords_fr` tinytext,                                                                                                    
                   `element_active_fr` tinyint(1) default '0',                                                                                        
                   `element_countp_fr` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_fr` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_fr` datetime default NULL,                                                                                    
                   `element_date_update_fr` datetime default NULL,                                                                                    
                   `element_title_en` tinytext,                                                                                                       
                   `element_summary_en` mediumtext,                                                                                                   
                   `element_content_en` longtext,                                                                                                     
                   `element_keywords_en` tinytext,                                                                                                    
                   `element_active_en` tinyint(1) default '0',                                                                                        
                   `element_countp_en` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_en` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_en` datetime default NULL,                                                                                    
                   `element_date_update_en` datetime default NULL,                                                                                    
                   `element_title_de` tinytext,                                                                                                       
                   `element_summary_de` mediumtext,                                                                                                   
                   `element_content_de` longtext,                                                                                                     
                   `element_keywords_de` tinytext,                                                                                                    
                   `element_active_de` tinyint(1) default '0',                                                                                        
                   `element_countp_de` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_de` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_de` datetime default NULL,                                                                                    
                   `element_date_update_de` datetime default NULL,                                                                                    
                   `element_title_es` tinytext,                                                                                                       
                   `element_summary_es` mediumtext,                                                                                                   
                   `element_content_es` longtext,                                                                                                     
                   `element_keywords_es` tinytext,                                                                                                    
                   `element_active_es` tinyint(1) default '0',                                                                                        
                   `element_countp_es` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_es` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_es` datetime default NULL,                                                                                    
                   `element_date_update_es` datetime default NULL,                                                                                    
                   `element_title_ro` tinytext,                                                                                                       
                   `element_summary_ro` mediumtext,                                                                                                   
                   `element_content_ro` longtext,                                                                                                     
                   `element_keywords_ro` tinytext,                                                                                                    
                   `element_active_ro` tinyint(1) default '0',                                                                                        
                   `element_countp_ro` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_ro` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_ro` datetime default NULL,                                                                                    
                   `element_date_update_ro` datetime default NULL,                                                                                    
                   `element_title_it` tinytext,                                                                                                       
                   `element_summary_it` mediumtext,                                                                                                   
                   `element_content_it` longtext,                                                                                                     
                   `element_keywords_it` tinytext,                                                                                                    
                   `element_active_it` tinyint(1) default '0',                                                                                        
                   `element_countp_it` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_it` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_it` datetime default NULL,                                                                                    
                   `element_date_update_it` datetime default NULL,                                                                                    
                   `element_title_ar` tinytext,                                                                                                       
                   `element_summary_ar` mediumtext,                                                                                                   
                   `element_content_ar` longtext,                                                                                                     
                   `element_keywords_ar` tinytext,                                                                                                    
                   `element_active_ar` tinyint(1) default '0',                                                                                        
                   `element_countp_ar` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_ar` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_ar` datetime default NULL,                                                                                    
                   `element_date_update_ar` datetime default NULL,                                                                                    
                   `element_title_ru` tinytext,                                                                                                       
                   `element_summary_ru` mediumtext,                                                                                                   
                   `element_content_ru` longtext,                                                                                                     
                   `element_keywords_ru` tinytext,                                                                                                    
                   `element_active_ru` tinyint(1) default '0',                                                                                        
                   `element_countp_ru` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_ru` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_ru` datetime default NULL,                                                                                    
                   `element_date_update_ru` datetime default NULL,                                                                                    
                   `element_title_cz` tinytext,                                                                                                       
                   `element_summary_cz` mediumtext,                                                                                                   
                   `element_content_cz` longtext,                                                                                                     
                   `element_keywords_cz` tinytext,                                                                                                    
                   `element_active_cz` tinyint(1) default '0',                                                                                        
                   `element_countp_cz` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_cz` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_cz` datetime default NULL,                                                                                    
                   `element_date_update_cz` datetime default NULL,                                                                                    
                   `element_title_cn` tinytext,                                                                                                       
                   `element_summary_cn` mediumtext,                                                                                                   
                   `element_content_cn` longtext,                                                                                                     
                   `element_keywords_cn` tinytext,                                                                                                    
                   `element_active_cn` tinyint(1) default '0',                                                                                        
                   `element_countp_cn` int(11) NOT NULL default '0',                                                                                  
                   `element_countc_cn` int(11) NOT NULL default '0',                                                                                  
                   `element_date_create_cn` datetime default NULL,                                                                                    
                   `element_date_update_cn` datetime default NULL,                                                                                    
                   PRIMARY KEY  (`element_id`),                                                                                                       
                   KEY `customer_id` (`customer_id`),                                                                                                     
                   KEY `user_id` (`user_id`),                                                                                                             
                   KEY `web_id` (`web_id`),                                                                                                               
                   CONSTRAINT `t_elements_ibfk_1` FOREIGN KEY (`user_id`) REFERENCES `t_users` (`user_id`) ON DELETE NO ACTION ON UPDATE NO ACTION,  
                   CONSTRAINT `t_elements_ibfk_2` FOREIGN KEY (`web_id`) REFERENCES `t_webs` (`web_id`) ON DELETE CASCADE ON UPDATE CASCADE          
                 ) ENGINE=InnoDB AUTO_INCREMENT=3106 DEFAULT CHARSET=utf8

Pour la requête, je suis aussi très loin des:
- 85 000 éléments dans une clause WHERE
- parenthèses peuvent être imbriquées sur 1 200 niveaux.

Je ne comprends pas trop cette phrase:

Citation:

La taille totale de toutes les colonnes contenant des types simples (nombres, CHAR/VARCHAR, ENUM, etc.), est limitée à environ 65 000 octets.

Les champs de type TEXT et BLOB ne "consomment" qu'environ 1 à 4 octets par colonne.

Il ne s'agit ici que de la partir déclarative? Pas du "contenu"?

Reste à vérifier:
max_allowed_packet

Cordialement,

12/12/2008, 09h55
krapno

Bon alors j'ai:

max_allowed_packet = 1048576 (soit 1MB la valeur par defaut)
Je vais donc attribuer une valeur plus élevée à cette valeur: 16MB

(...)

Non, j'ai toujours l'erreur "Got error 139 from storage engine"
Je ne vois pas d'où cela peut provenir...

:bug:
12/12/2008, 09h59
Sivrît

Citation:

Envoyé par krapno

Je ne comprends pas trop cette phrase:

Citation:

La taille totale de toutes les colonnes contenant des types simples (nombres, CHAR/VARCHAR, ENUM, etc.), est limitée à environ 65 000 octets.

Les champs de type TEXT et BLOB ne "consomment" qu'environ 1 à 4 octets par colonne.

Il ne s'agit ici que de la partir déclarative? Pas du "contenu"?

En fait ce doit être cette limitation qui coince. Elle porte bien sur le contenu, mais MySQL ne laissera pas déclarer une table dont un enregistrement pourrait dépasser 64ko. Un entier va, je pense, réserver 4 octets plus un s'il peut être null, etc. Un varchar(255) fait mal car il va réserver quelque chose comme 255 à 257 octets (suivant terminaison et nullabilité). Pire, en UTF-8 il réserve le triple car un caractère peut dans le pire des cas occuper 3 octets, soit plus de 700 octets au total.

Ici ce sont les xxxtext en UTF-8 qui doivent cumuler. Pour les blob et text le début est stocké dans l'enregistrement même (il faudrait voir la doc pour savoir exactement combien) et compte donc pour cette limite, l'éventuel exédent étant stocké ailleurs.
12/12/2008, 10h10
krapno

ah bin merde alors çà craint du boudin...

Ma table contient des articles en plusieurs langues et je comptais bien ajouter d'autres langues. Mes colonnes `element_content_fr` longtext contiennent des pavés HTML qui peuvent être plutôt longs...

La machine est un gros serveur de la mort qui tue avec 8 CPU, 4GB de RAM du RAID5 à Gogo... C'est bête d'être arrêté à cause de çà :bug:
12/12/2008, 11h17
Antoun

Il faut que tu fasses un partitionnement vertical en deux ou plusieurs tables. Tu peux ensuite créer une vue qui te restitue logiquement ta table originale.
12/12/2008, 11h21
krapno

je peux peut-être implémenter les fonction MySQL suivante:
COMPRESS() et UNCOMPRESS()

Ceci va me faire gagner de la place sur les chaînes mais pas indéfiniment.

Par exemple, j'ai un article dont le contenu HTML représente:
1529 octets non compressé (donnée OCTET_LENGTH)
et 744 octets compressé (donnée OCTET_LENGTH)

Qu'en pensez-vous?
12/12/2008, 11h28
krapno

Citation:

Envoyé par Antoun

Il faut que tu fasses un partitionnement vertical en deux ou plusieurs tables. Tu peux ensuite créer une vue qui te restitue logiquement ta table originale.

Soit une table par langue pour l'insertion vous voulez dire, puis éventuellement une vue qui va piocher dans 2 tables si j'ai besoin de 2 langues?

Ceci implique une grosse refonte du système en place mais bon c'est faisable.

Par contre ce qui est gênant, c'est la cardinalité de mes articles, leur n° ID doit être le même d'une langue à l'autre.

Je vais réfléchir à la question, par ex, déjà créer une table par langue, importer le contenu déjà stocké, implémenter un trigger pour les nouvelles insertions/modifications dans la table actuelle, puis basculer le système vers ses nouvelles tables... çà tombe bien j'avais plus rien à faire :aie:

Merci pour vos suggestions, je suis toutefois très surpris de cette limitation :roll:

Bonne journée:king:
12/12/2008, 12h06
krapno

Oualou, je viens de créer une table pour la partie FR et j'ai implémenté 3 triggers
sur ma grosse table AFTER INSERT, BEFORE DELETE, AFTER UPDATE pour synchroniser le contenu de la partie FR de la table actuelle et de la table FR.

Il me reste à répéter cela pour toutes mes autres langues puis à refondre le site et le back-office qui reposent sur cette base pour ne travailler qu'avec les nouvelles tables.

Avec la nouvelle synchro je peux déjà "lire" les données dans les nouvelles tables (front-office)

Puis il ne me restera plus qu'à réécrire le back-office pour inserer/modifier les nouvelles tables plutôt que l'ancienne.

Qu'en pensez-vous? :king:
12/12/2008, 18h08
SQLpro
Une base de données n'est pas un traitement de texte. En audit, lorsque je voit des tables de plus de 20 colonnes, je flingue. Quand à la votre c'est à se tordre de rire !
- Avez vous entendu parlé de modélisation de données ?
- Savez vous que le terme "bases de données relationnelles" signifie que vous devez gérer des RELATIONS ?
- Connaissez vous le concept de modèle RELATIONNEL ?
hé ben y'a du boulot !

A +
13/12/2008, 14h14
Antoun

Pour éclairer le commentaire un peu violent, mais pas faux sur le fond, de SQLpro, une gestion mieux normalisée des traductions consiste à utiliser une table de langages et une table de libellés. Par ex :

Elements (IDelem, ...)
Langages (CodeLang, NomLang)
Libelles(IDelem, CodeLang, Libelle)
15/12/2008, 10h27
krapno
Citation:
Envoyé par SQLpro

Une base de données n'est pas un traitement de texte. En audit, lorsque je voit des tables de plus de 20 colonnes, je flingue. Quand à la votre c'est à se tordre de rire !

Avez vous entendu parlé de modélisation de données ?
Savez vous que le terme "bases de données relationnelles" signifie que vous devez gérer des RELATIONS ?
Connaissez vous le concept de modèle RELATIONNEL ?

hé ben y'a du boulot !

A +
Oui j'en ai entendu parlé, ce pourquoi ma base de données comporte plus de 50 tables qualifiées avec tout un ensemble de clés et de jointures relationnelles.

Par contre vous semblez vous n'avoir pas entendu parlé du monde réel des TPE et des conditions de travail qui m'ont amené à laisser cette table de coté afin de:
- Administrer un parc informatique
- Assurer la hotline pour TOUT ce qui peut concerner de l'informatique de nos employés et aussi de nos clients
- Répondre plus vite que Orange/Free et autres opérateurs
- Assurer la correction de plusieurs 10zaines de sites développés à la va-vite par mes prédécesseurs
- Assurer le développement, le debuggage de différents projets
- Calmer les ardeurs de mes supérieurs qui voient toujours grands avec des moyens petits ou inexistants
- Trouver un cadeau surprise pour ma chérie pour Noël
- Faire le café pour mes collègues rédacteurs

En gros je trouve que je m'en sorts pas trop mal dans mon 2m² open-space si ma seule erreur est d'avoir négligé 1 table...

Cordialement :bug:

PS: http://brouardf.club.fr/index.html c'est votre site M. SQLpro ? Vous êtes enseignant?