Discussion :

[BenB75]

Bonjour,

Je suis ici pour vous demander vos conseils pour le choix d'une solution d'architecture système .
j’espère que je suis dans la bonne section.

Cas :
j'ai plusieurs grosses bases de données et je souhaite faire matcher ces bases en se basant sur un champs unique commun à toutes les bases
les bases font > ~ 10 million de lignes ( ~200Go )


Par exemple : savoir que l'unique "1234" est présent dans base1, base2 et base50

les données vont être plutôt figées ( écriture ou modification rares )

Je ne sais pas quelle technologie utiliser
je pensais à redis , mais je ne vois pas comment le conceptualiser .


Pouvez vous m'aider sur ce cas ?

Merci d'avance :-)

[Tlams]

Bonjour,

Si tu utilise mysql, tu peux faire du select cross base:

SELECT A.*, B.* FROM db1.table1 A LEFT JOIN db2.table1 B ON A.id = B.id

A toi de bien gerer les index.

Si tu veux vraiment des bases NoSQL separes et non des "tables" dans une base unique, tu seras oblige d'ajouter une surcouche de code pour gerer la fonction. (me detromper)
Rien de tres complexe en soit, tu dois pouvoir faire ca en python, voir en bash, sans trop de problemes.

Ca depend des donnees que tu as. Redis peut etre tres performant si bien utilise, ou completement a la ramasse si mal utilise ! (tres forte utilisation de memoire ram)
https://medium.com/the-work-we-do-hi...s-2142b7c52cc9

J'avais fais un topic a ce sujet:
https://www.developpez.net/forums/d1...e-large-liste/

Thomas.

[BenB75]

Merci pour ta réponse,
En fait, j'utilise dejà mysql mais pense qu'il existe des solutions plus adaptés et j'ai peur que mysql soit trop lent pour ce type d'usage .
et pour Redis, j'ai mis de coté cette solution car le volume de données dépasse la ram disponible sur mon serveur .