Discussion :

[darksquall666]

Bonjour,

J'ai besoin de vérifier les formats de toutes les colonnes d'une table. La vérification du format des colonnes se fait via des regex.
La configuration de la machine est composé d'un processeur 2 coeurs et de 4Go de ram et la table est au format MyISAM.
Pour une table de 400 colonnes et pour 1 000 000 d'enregistrement cela prend 2h. Il y a t'il un moyen d'augmenter les performances?
Il n'y a pas d'index car cette table doit être parcouru entièrement.

Merci,

Cordialement,

[escartefigue]

Une table avec 400 colonnes est une table particulièrement obèse !
Il y a très probablement un problème de conception pour en arriver là, et en termes d'accès concurrents c'est la cata

Sinon avez vous exploré la piste des index full text plutôt que des regexp ?

[darksquall666]

La table est une table temporaire ne permettant que de:
- charger un fichier en table
- effectuer les contrôles
- insérer les anomalies dans une seconde table

Je vais faire la comparaison de performance entre les index full text et regexp.
N'hésitez pas si vous avez d'autres pistes.

Merci,

Cordialement,

[darksquall666]

Je ne vois pas comment utiliser les index full index et les regex.
Pouvez-vous éclaircir?

Merci,

Cordialement,

[Artemus24]

Salut à tous.

Personnellement, rien que le temps de chargement du fichier dans la table, me permettrait de faire les contrôles que vous recherchez.
J'aurai fait cela en C ! Et le résultat serait bien plus rapide que vos deux heures de traitements. Voir à tout cassé, 30 secondes !

http://nicolasj.developpez.com/articles/regex/

@+

[ddoumeche]

Je rejoints l'avis d'Artemus24, mieux vaut faire cette vérification au moment de l'import de données et non pas après,

que ce soit en C ou dans n'importe quel autre langage.

Quel est le format de tes regexp ?

[darksquall666]

Bonjour,

A la base les vérifications été faites sous TALEND, mais les traitements été encore plus longs que MySQL.
J'y avais pensé, même à le faire en shell mais nous avons comme contrainte de n'utiliser que Talend ou que la base MySQL :/

Merci,

Cordialement,

[darksquall666]

[EDIT]
Mes regex sont assez simple du genre caractères alpha, que des numeriques, alphanumerique, montant avec signe. Le but étant qu'elles soient administrables en bases.
Elles sont amenées à évoluer.

[ddoumeche]

Si l'ETL est lent, c'est peut-etre qu'il est mal programmé (par exemple, créer une expression régulière est couteux, mais l'exécuter beaucoup moins).
A priori, Talend permet de filtrer les lignes lors de l'insert via le composant tFilterRow :

http://desireddata.blogspot.fr/2015/...ponent-in.html