Discussion :

[gouneken]

Bonsoir à tous, je travaille sur un projet de moteur de recherche indexant des pages web, je souhaite stocker les liens url conduisant à ces pages dans une base de données mysql et je me demandais s'il était conseillé de stocker autant d'informations même s'il s'agit de simples liens dans ce type de BD car j'aimerais savoir si faire cela via mysql ne réduirait pas un peu les performances de ma base de données. Si c'est le cas, j'aimerais savoir s'il n'existe pas une solution plus pratique que MYSQL et gratuite (car mon budget est un peu limité) qui soit plus adaptée à ce genre de besoin.
Merci d'avance pour vos réponses.

[Séb.]

En théorie MySQL et InnoDB peuvent gérer des tables jusqu'à 256 To ( https://dev.mysql.com/doc/refman/8.0/en/innodb-limits.html ), ce qui, toujours en théorie, permettrait de stocker largement des dizaines de milliards d'URL.

Dans la pratique je n'ai jamais dépassé les 400 millions de lignes, et ça tourne bien.

Je suppose que tu ne stockeras pas seulement des URL, mais aussi du texte et tout un tas d'autres données accompagnant ces URL.

Fais un petit script qui génère ce milliard de lignes (Faker peut aider https://fakerphp.github.io ), et vérifie comment se comporte le serveur MySQL en situation de charge avec mysqlslap ( https://dev.mysql.com/doc/refman/8.0/en/mysqlslap.html ).