Discussion :

[hackrobat]

Bonjour à tous,

J'ai une question à poser à propos de l'occupation en mémoire des calculs en PHP(je pense que c'est un peu identique pour les autres langages).

J'explique en gros le script. Il permet d'insérer des données issues de fichiers textes dans une base de données selon certaines conditions.

soit :

1/ Pour chaque fichier
On lit le fichier lignes par lignes
On teste les conditions
On insère les valeurs dans un tableau
Fin pour

2/ On traduit le tableau pour mettre les valeurs dans un fichier texte

3/ On fait un Load data infile du fichier dans la base de donnée

Ma question est la suivante, php utilise quelle mémoire pour effectuer les opérations ? RAM ? Fichier d'échange ? Mémoire virtuelle ?

J'aurais tendance à dire que les operations se font exclusivement en RAM.

Est ce que ca vous etonne que 100Mo de données en fichier texte utilise la totalité de 512Mo RAM ?

Merci par avance


ps : connaissez vous des sites qui explique comment est exploité la mémoire ?

[stunti]

Ce n'est pas PHP qui s'occupe de la gestion de la memoire physique.
C'est le systeme d'exploitation.

[hackrobat]

Je suis d'accord mais PHP gère ses performances aussi.

je cherche un lien comme celui-ci mais pour le php

http://4d.developpez.com/notes-techn...gestion-cache/

[hackrobat]

un petit up,

personne n'a de connaissance ?

[Kioob]

Bonjour,

Les tableaux en PHP consomment beaucoup plus de mémoire que le "contenu brut", à cause d'un système de hashage.

Ce hashage permet d'avoir des tableaux très rapides d'accès, avec la contrepartie qu'il consomme beaucoup de mémoire.

D'un autre coté, charger 100Mo d'une traite, ça ne me semble pas vraiment "optimisé" : pour lire un DVD de 4.7Go tu le chargerais entièrement en mémoire ?
D'autant plus qu'ici le fait de le charger en mémoire ne t'apporte rien du tout.

[hackrobat]

Bonjour,

Les tableaux en PHP consomment beaucoup plus de mémoire que le "contenu brut", à cause d'un système de hashage.

Ce hashage permet d'avoir des tableaux très rapides d'accès, avec la contrepartie qu'il consomme beaucoup de mémoire.

D'un autre coté, charger 100Mo d'une traite, ça ne me semble pas vraiment "optimisé" : pour lire un DVD de 4.7Go tu le chargerais entièrement en mémoire ?
D'autant plus qu'ici le fait de le charger en mémoire ne t'apporte rien du tout.

Merci pour l'info sur les tableaux

je ne charge pas 100Mo d'une traite. Cela dépend du nombre de fichier à importer.

Pour chaque fichier, j'ai :
- j'ouvre le fichier
- je le lis ligne par ligne et je récupère les valeurs selon des tests dans un tableau
-je ferme le fichier

Les valeurs contenues dans le tableau peuvent varié en fonction des valueurs contenues dans les autres fichiers.

La taille du tableau final arrive à une taille de 8/10Mo(je dis bien du tableau).

Le "probleme" que je rencontre est que pour les 1er fichiers, le traitement s'effectue tres rapidement puis apres quelques minutes de traitement les performances chutent en fonction de la quantité de RAM sur le serveur.

Sinon à propos du fait que je ne gagne rien, sur un traitement dans une base de données, le script mets 20min. Avec les tableaux moins de 3 min. Je crois qu'on y gagne quelque chose.

Après, s'il y a une autre méthode moins gourmande et aussi efficace je suis preneur.