Timeout avec fonction array_unique, comment l'optimiser ?

Version imprimable

Bonjour,

J'ai un fichier à plat, avec 5000 occurrences séparées par le symbole # avec des doublons.

Citation:

Ex : toto#titi#titi#tata#titi#toto#tata#tutu#titi#toto#toto

Pour supprimer les doublons j'utilise la fonction : array_unique.

Cependant j’obtiens un timeout à 30s car le fichier est trop gros.

Savez vous comment faire pour optimiser le code pour que je parse le fichier sans timeout ?

Merci d'avance.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 //Ouverture du fichier en lecture seule $filename = './data/team.txt'; $resultat = fopen($filename, 'r'); //Si on a réussi à ouvrir le fichier if ($resultat) { //Tant que l'on est pas à la fin du fichier while (!feof($resultat)) { $compteur++; //On lit la ligne courante $line= fgets($resultat); $recherche= explode("#", $line); $selected = ''; foreach($recherche AS $cle => $valeur) { $uniqueArray = array_unique($recherche, SORT_REGULAR); } } //On ferme le fichier fclose($resultat); }

30/05/2013, 13h58
rawsrc
Salut,

euh... c'est étrange ton code !!
Je procéderais autrement :
1. tu parcours ton fichier et tu récupères dans un tableau les données et à la fin tu fais un seul et unique array_unique($data);
2. ou tu insères tes données comme clés d'un tableau résultat car les clés d'un tableau sont forcément uniques :
  Code:
  
  1 2 $row = explode('#', $line); $data += array_flip($row);
A tout hasard, je te conseille de lire un peu la doc sur les opérateurs de tableaux (pour la somme de deux tableaux)

C'est top merci :)

Comme les clés sont uniques avec array_flip pas besoin de array_unique :)

Je me trompe ?

En tout cas comme ca j'ai le résultat attendu sans les doublons.

Merci !!!!!!!!

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
 
 <?php
 
 $data = '';
 $valeur = '';
 
 //Ouverture du fichier en lecture seule
 
$compteur = 0;
 
	$filename = '../data/team.txt';
	$resultat = fopen($filename, 'r');
 
	//Si on a réussi à ouvrir le fichier
	if ($resultat)
	{
 
			//On lit la ligne courante
			$line= fgets($resultat);
 
			$rows = explode('#', $line);
 
			//Test enreg 1
			//echo $rows[1];
			$datas = array_flip($rows);	
 
			//print_r($datas);
 
		//On ferme le fichier
		fclose($resultat);
 
		//echo $data[1];
 
	}
 
					foreach($datas  AS $data => $valeur)
			{
				If ($valeur != "")
				{
 
				  echo $data.'--->' .$valeur.'<br />';
				  //$data .= $valeur;
					//$data += array_flip($row);
				}	
 
			}
 
?>

30/05/2013, 16h20
rawsrc

Tu peux encore simplifier : si ton fichier est au format csv, tu as une fonction qui fait tout pour toi : fgetcsv()

Dans ton cas, effectivement array_flip() te dispense de array_unique().
Ensuite si tu veux récupérer un tableau des plus classiques, tu fais un array_keys() sur ton tableau à clés uniques.