Bonjour,

Je dois travailler sur une quantité énorme de données (des millions de fichiers par jour).

L'objectif est de parser les données, récupérer l'information qui nous intéresse et la stocker dans une base de données.

J'ai fait un script en php avec des regex pour ouvrir tous les fichiers, trier les données et insérer dans une bdd mysql. Mais la requête met 1h30 à charger à chaque fois. Et je doute que Mysql soit optimisé pour une volumétrie importante.


Vous me conseillez quoi comme langage pour parser le plus rapidement possible ?

merci d'avance : )