Accélérer le traitement d'un array

Version imprimable

01/09/2008, 16h59
Kaliseo

Accélérer le traitement d'un array

Bonjour,

Voila mon problème. j'empile des données dans un array() et effectue plusieurs traitements dans mon tableau. j'ajoute des enregistrements au fur et a mesure dedans en vérifiant que l'enregistrement n'existe pas avec in_array(). (le script tourne en ligne de commande).

Une boucle for se charge de traiter le tableau jusqu'à épuisement du script.

Ce script traite environ 30 000 enregistrements et prends beaucoup de temps (environ 8 heures) car il perd un temps considérable pour rechercher dans le tableau array si la donnée recherchée n'existe pas déjà.

Pour essayer de l'accélérer, j'ai tenté de transformer les données en bin2hex, puis je fais un sort() dessus, ça a permis d'accélérer un peu le script mais c'est pas la panacée.

J'ai pensé a la recherche dichotomique, mais mes compétences me limitent un peu sur un script php permettant de faire ça.

avez-vous une idée sur le sujet ?

Merci d'avance !
01/09/2008, 17h13
guidav

Une idée pourrait être d'ajouter tes données dans une table de données temporaire la clé primaire serait les éléments de ton array.
Sinon, tu peux aussi essayer d'insérer tes éléments, d'utiliser array_unique puis de lancer ton traitement.
02/09/2008, 09h23
riete

- Sur quel type de machine fais tu tourner ce script (taille mémoire, autres applications qui tournent simultanément, vitesse processeur)?

- 8h pour traiter 30 000 enregistrements cela me semble énorme. Quelle est la taille de chacun ?

- Comme le suggère utiliser une table dans un serveur de BD serait peut être une solution. Ceci dépend du type de traitement que tu réalise.

- Que signifie ?

Citation:

Une boucle for se charge de traiter le tableau jusqu'à épuisement du script.

C'est le mot épuisement qui demande quelques éclaircissements ;)