Fichier texte vs SQL (bdd de 700 Mo) [Résolu]

shepounet · 23/01/2012, 11h13

Bonjour à toutes et à tous,

Je suis en train de développer une application qui doit parser un fichier de sauvegarde (~700 Mo).
Une question me trotte...
Vaut-il mieux utiliser PHP et un fichier texte, ou MySql pour parser le-dit fichier ?

Dans le cas d'une utilisation de SQL, des benchmarks sont disponibles et il semblerait que PostGreSQL est recommandé pour traiter des volumes importants de données.

Merci d'avance pour votre aide,
Shepounet

Benjamin Delespierre · 23/01/2012, 11h22

Heu... comment tu comptes t'y prendre au juste pour importer le fichier de sauvegarde dans un SGBD ? C'est quoi le format ?

Et au passage, MySQL et PostGreSQL ne sont pas des langages mais des SGBD, je vois pas bien comment tu va parser quoi que soit avec...

shepounet · 23/01/2012, 11h36

Pour passer par un SGBD, un script php serait utilisé à chaque modification du fichier pour ensuite mettre à jour les différentes informations (nom, prenoms, données,...) dans des champs de la base de données.

Les résultats seraient ensuite trouvé par le biais de requêtes SQL.
Ca a l'air quand même plus "normal" de faire de cette façon.

Et l'autre possibilité serait, à chaque requête, de parser le fichier à l'aide de PHP pour trouver les informations demandées. (Après un premier test, parser un fichier aussi gros demande beaucoup de temps...).

Benjamin Delespierre · 23/01/2012, 12h57

En programmation il n'y a pas de façon "normale" de faire, il n'y a que des solutions qui répondent à des besoins.

Si le fichier bouge peu souvent, il peut être intéressant de le mettre en cache en DB pour trouver les infos plus vite.

Si le fichier bouge beaucoup, on perdra plus de temps à le mettre en base qu'on n'en gagnera à récupérer nos données, dans ce cas il faudra plutôt prévoir un cache PHP. Les classes de Zend_Cache peuvent nous aider.

Si le fichier bouge tout le temps et qu'il faut accéder souvent et rapidement aux informations, alors il faudra peut être revoir la logique de génération de ce fichier.

shepounet · 23/01/2012, 17h49

D'où les doubles quotes dans mon précédent post !

Les modifications survenant toutes les semaines, je pense que stocker périodiquement les informations dans une base de données sera plus rapide.

Quant-à la taille et l'optimisation de la base, il existe des solutions pour compresser la base de données.

Cette approche me parait donc plus adaptée.

Merci pour ta réponse Benjamin.
Je met le post en tant que "résolu".

23/01/2012, 11h13	#1
shepounet Membre à l'essai Inscription : octobre 2007 Messages : 55 Détails du profil Informations forums : Inscription : octobre 2007 Messages : 55 Points : 21 Points : 21	Fichier texte vs SQL (bdd de 700 Mo) Bonjour à toutes et à tous, Je suis en train de développer une application qui doit parser un fichier de sauvegarde (~700 Mo). Une question me trotte... Vaut-il mieux utiliser PHP et un fichier texte, ou MySql pour parser le-dit fichier ? Dans le cas d'une utilisation de SQL, des benchmarks sont disponibles et il semblerait que PostGreSQL est recommandé pour traiter des volumes importants de données. Merci d'avance pour votre aide, Shepounet
	00

23/01/2012, 11h22	#2
Benjamin Delespierre Modérateur Benjamin Delespierre Développeur Web Inscription : février 2010 Messages : 3 011 Détails du profil Informations personnelles : Nom : Benjamin Delespierre Âge : 24 Localisation : France Informations professionnelles : Activité : Développeur Web Secteur : High Tech - Opérateur de télécommunications Informations forums : Inscription : février 2010 Messages : 3 011 Points : 5 071 Points : 5 071	Heu... comment tu comptes t'y prendre au juste pour importer le fichier de sauvegarde dans un SGBD ? C'est quoi le format ? Et au passage, MySQL et PostGreSQL ne sont pas des langages mais des SGBD, je vois pas bien comment tu va parser quoi que soit avec... __________________ A la recherche d'un framework MVC facile a prendre en main ? Essayez Axiom Nouveau: la référence d'Axiom est disponible sur GitHub (je la peaufine en ce moment même). Un problème correctement identifié est à moitié résolu, évitez de poster l'intégralité de votre code avec pour seule explication "ça ne marche pas...". Pour identifier correctement vos problèmes PHP, utilisez la gestion des erreurs et xdebug. Les boutons et existent, servez-vous en
	00

23/01/2012, 12h57	#4
Benjamin Delespierre Modérateur Benjamin Delespierre Développeur Web Inscription : février 2010 Messages : 3 011 Détails du profil Informations personnelles : Nom : Benjamin Delespierre Âge : 24 Localisation : France Informations professionnelles : Activité : Développeur Web Secteur : High Tech - Opérateur de télécommunications Informations forums : Inscription : février 2010 Messages : 3 011 Points : 5 071 Points : 5 071	En programmation il n'y a pas de façon "normale" de faire, il n'y a que des solutions qui répondent à des besoins. Si le fichier bouge peu souvent, il peut être intéressant de le mettre en cache en DB pour trouver les infos plus vite. Si le fichier bouge beaucoup, on perdra plus de temps à le mettre en base qu'on n'en gagnera à récupérer nos données, dans ce cas il faudra plutôt prévoir un cache PHP. Les classes de Zend_Cache peuvent nous aider. Si le fichier bouge tout le temps et qu'il faut accéder souvent et rapidement aux informations, alors il faudra peut être revoir la logique de génération de ce fichier. __________________ A la recherche d'un framework MVC facile a prendre en main ? Essayez Axiom Nouveau: la référence d'Axiom est disponible sur GitHub (je la peaufine en ce moment même). Un problème correctement identifié est à moitié résolu, évitez de poster l'intégralité de votre code avec pour seule explication "ça ne marche pas...". Pour identifier correctement vos problèmes PHP, utilisez la gestion des erreurs et xdebug. Les boutons et existent, servez-vous en
	00

23/01/2012, 11h36	#3
shepounet Membre à l'essai Inscription : octobre 2007 Messages : 55 Détails du profil Informations forums : Inscription : octobre 2007 Messages : 55 Points : 21 Points : 21	Pour passer par un SGBD, un script php serait utilisé à chaque modification du fichier pour ensuite mettre à jour les différentes informations (nom, prenoms, données,...) dans des champs de la base de données. Les résultats seraient ensuite trouvé par le biais de requêtes SQL. Ca a l'air quand même plus "normal" de faire de cette façon. Et l'autre possibilité serait, à chaque requête, de parser le fichier à l'aide de PHP pour trouver les informations demandées. (Après un premier test, parser un fichier aussi gros demande beaucoup de temps...).
	00

23/01/2012, 17h49	#5
shepounet Membre à l'essai Inscription : octobre 2007 Messages : 55 Détails du profil Informations forums : Inscription : octobre 2007 Messages : 55 Points : 21 Points : 21	D'où les doubles quotes dans mon précédent post ! Les modifications survenant toutes les semaines, je pense que stocker périodiquement les informations dans une base de données sera plus rapide. Quant-à la taille et l'optimisation de la base, il existe des solutions pour compresser la base de données. Cette approche me parait donc plus adaptée. Merci pour ta réponse Benjamin. Je met le post en tant que "résolu".
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email