Discussion :

[ryodo]

Bonjour ,

Voila ma petite histoire avec une base de données qui contient plus de 100 M de data dans un seul table

au début on n'a la stocké dans mysql mais sa été difficile de faire de recherche (PHP,cakephp) de dedans sa prend une heure pour cherché un mots dans un champs qui contient du texte

après on n'a migré vers mongodb mais on n'a eu le même problème de recherche sa prend 40 min pour chercher un mot dans un champs qui contient du texte

nous sommes entrain de pensé de passer vers elasticshearch pour affaiblire le temps de recherche est ce que c'est une bonne approche ou est ce que sa existe un meilleur outils pour faire la recherche au moins de 3 min sachant que mon serveur dédié contient juste sa Intel Xeon W3520 4 c / 8 t 2.66 GHz+ RAM 32 Go ECC sous debien et ispconfig3

Merci

[bstevy]

100M, c'est 100 000 000 de lignes dans une table c'est ca ?
et vous faite de la recherche de "mot" au sein d'un champs texte ?

Vous être sur que c'est pas plutôt une erreur de modélisation ?
Car c'est un peu curieux comme recherche récurente, donc pensez peut-être à revoir votre modèle avant de mettre en place une usine à gaz.

Pourquoi ne pas essayer de résoudre votre problème sur le forum SQL ?

[ryodo]

Merci pour votre réponse

Non ce n'ai pas un défaut de conception

c'est juste que je récupère des commentaires des réseaux sociaux et je met le tous dans une seul table commentaire afin de facilité la connexion et la recherche

est que sa n'existe pas une solution qui me permet de recherché dans un temps réduis 3 min max

[bstevy]

Ha, commentaires de réseaux sociaux...

Donc données non structurées, en grande quantité. Avec demande d'accès rapide

Alors oui, je valide BIG DATA

Après, vous avez plusieurs possibilités aussi.

Vous avez un articles interessant ici proposant des méthodes alternatives à Hadoop, ca vous donnera peut etre d'autres pistes.
https://www.chrisstucchio.com/blog/2...op_hatred.html

Après, elasticsearch, ca doit etre bien puisqu'ils veulent l'implémenter dans mon entreprise. Mais je connais pas encore assez.

[escartefigue]

Bonjour,

Quel est le DDL de la table et de ses index ?

[Moctezuma]

Salut,

Bon choix!

Par ailleur, tu peux même garder ta base MongoDB et l'indéxer via ElasticSearch.
Ensuite tu branche sur ES et le tour est joué

[ryodo]

Merci pour vos repenses

Quel est le DDL de la table et de ses index ?

Comment je peux trouver sa dans mon mysql je travail avec MYISAM


@Moctezuma

Comment je peux couplez avec mongodb est elastic


est ce que l'utilisation de la technologie hadoop est nécessaire dans mon cas merci

[Moctezuma]

Tu devrais trouver ton bonheur dans cet article : http://blog.viseo-bt.com/indexation-...elasticsearch/