Discussion :

[snorky94]

Bonjour,

Savez vous s'il existe une fonction ou comment optimiser une recherche récursive dans 3 fichiers ?

J'ai un code qui fonctionne mais sur de gros fichier je vais avoir un timeout.

L'algo est le suivant :

Je prend mon fichier 1 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$AssetExtractFilename = $RootPath."\Datas\Extract\ASSET.txt";

Je le lis, ligne par ligne avec ma fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$champs_array = ReadExtract($AssetExtractFilename);

J'extrais le champs 8 qui est le nom de mon serveur :

Ensuite je vais voir dans mon fichier 2 si mon serveur (extrait en champs 8, fichier1) existe :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$champs_array = ReadExtract($SCCMExtractFilename);

Et enfin je vais voir dans mon fichier 3 si mon serveur (extrait en champs 8, fichier1) existe :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$champs_array = ReadExtract($CASExtractFilename);

A la fin je fait un tableau : fichier 1 existe oui/non, fichier 2 existe oui/non, , fichier 3 existe oui/non.

Ce qui donne ça :

FONCTION :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
// FONCTION : lecture du fichier et création d'un array multi-dimension
function ReadtExtract($Filename)
{
	$champs_array = array();
	$lines_array = file($Filename); 
	// on supprime la 1ère ligne (celle contenant les titres)
	unset($lines_array[0]);
	// on sépare ensuite les éléments de chaque ligne
	foreach($lines_array as $line)
       {
		//on enlève les " et espaces (surtout à la fin de la ligne)
		$line = trim(str_replace('"', '', $line));
		//on coupe a chaque ;
		$champs_array[] = explode(";", $line);
	}
	return $champs_array;
}

PARCOURS DES FICHIERS (Pour l'exemple j'ai mis que 2 fichiers) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
$champs_array = ReadExtract($AssetExtractFilename);
 
foreach($champs_array as $champsASSET)
{
	if (!empty($champsASSET[8])) 
	{
		$MaRecherche = $champsASSET[8];
		$champs_array = ReadExtract($SCCMExtractFilename);
		foreach($champs_array as $champsSCCM)
		{
			if (!empty($champsSCCM[1])) 
			{
				if (strcasecmp(trim($MaRecherche),trim($champsSCCM[1])) == 0)
				{
					echo $champsSCCM[1]."<br>";
				}
 
			}
		}
 
	}
}

Merci d'avance pour votre aide précieuse.

[snorky94]

du coup je fais un set_time_limit (0) pour le moment, mais à l'affichage c'est long ... Je ne vois pas comment faire, merci.

[Invité]

Tu cherches juste à savoir SI le champ existe dans le fichier.

Donc : une fois que tu l'as trouvé, inutile de continuer à chercher.
Il faut mettre dans la boucle un :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

break;

Dans ce genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
$champs_array = ReadExtract($AssetExtractFilename);
foreach($champs_array as $champsASSET)
{
	$find1 = false;
	if (!empty($champsASSET[8])) 
	{
		$MaRecherche = $champsASSET[8];
		$champs_array = ReadExtract($SCCMExtractFilename);
		foreach($champs_array as $champsSCCM)
		{
			if ( !empty($champsSCCM[1]) && strcasecmp(trim($MaRecherche),trim($champsSCCM[1])) == 0)
			{
				echo $champsSCCM[1]."<br>";
				$find1 = true; // trouvé !
 
			}
			if($find1) break; // on sort du foreach
		}
	}
}

Ca devrait méchamment booster la recherche.

[snorky94]

c'est simple mais je n'y avais pas pensé

Merci jérome je test ca

[snorky94]

bon et bien c'est pas bcp mieux

C'est un fichier de 9000 lignes donc je vais voir comment optimiser ça.

Faire un premier découpage équipes par équipes, etc ....

[Invité]

Tu ne crois pas qu'il serait temps d'installer une base de données ?

Comme son nom l'indique, ça sert à ça... stocker/gérer/traiter des données.

[snorky94]

Bonjour,

Je reexplique mon problème depuis le début

Merci à Martin et à jérome pour leur aide depuis le début.

Ca fonctionne merci, mais pour rechercher dans mes 3 fichiers c'est encore trop long et j'ai un timeout

J'ai 3 fichiers CSV, qui sont en fait des extracts de 3 bases de données différentes, etc.

Avec des champs, différents, etc.

L'information commune aux 3 fichiers est le nom du serveur.

Fichier1 : ExtractAsset.csv (Fichier de référence) --> 9000 lignes.
Fichier2 : ExtractSCCM.csv --> 8000 lignes.
Fichier3 : ExtractBMC.csv --> 5000 lignes.

Fichier1 : ExtractAsset.csv
ID;OS;IP;BACKUP;TEAM;RAM;INSTALLATION;SERVER_NAME
1;W2003;192.168.0.1;YES;SYS;4;2013;MONSERVEUR1
2;W2003;192.168.0.2;YES;DBA;2;2011;MONSERVEUR2
3;W2008;192.168.0.3;NO;SYS;12;2010;MONSERVEUR3
4;W2003;192.168.0.4;YES;LINUX;4;2013;MONSERVEUR4
5;W2012;192.168.0.5;NO;SYS;8;2012;MONSERVEUR5
6;W2003;192.168.0.6;YES;DBA;4;2013;MONSERVEUR6
....
9000 lignes.

Fichier2 : ExtractSCCM.csv
SERVER_NAME;OS;IP;TEAM;CLIENT_VERSION
MONSERVEUR1;Windows2003;192.168.0.1;1.0
MONSERVEUR2;Windows2003;192.168.0.2;1.0
MONSERVEUR3;Windows2008;192.168.0.3;1.0
MONSERVEUR7;Windows2008;192.168.0.7;1.0
MONSERVEUR8;Windows2008;192.168.0.8;1.0
...
8000 lignes.

Fichier3 : ExtractBMC.csv
IP;SERVER_NAME;AGENT_STATUS
192.168.0.1;MONSERVEUR1;ALIVE
192.168.0.12;MONSERVEUR12;ALIVE
192.168.0.13;MONSERVEUR13;DOWN
...
5000 lignes.

Le but est donc de prendre le fichier de référence : Fichier1 : ExtractAsset.csv.

De lire le fichier ligne par ligne.
D'extraire le champs n°7 qui est le nom du serveur.

Ensuite avec ce nom de serveur, je vais dans mon Fichier2 : ExtractSCCM.csv
Et je recherche s'il existe, en comparant avec le champs n°0 qui est le nom du serveur également.

Idem pour le Fichier3 : ExtractBMC.csv
Je prends mon nom de serveur extrait en champs 7 (Fichier 1) et je regarde s'il existe dans mon fichier 3 en comparant avec le champs n°1

Ainsi à partir du fichier 1 je créer un tableau html.

ASSET SERVER;SCCM SERVER;BMC SERVER
MONSERVEUR1;EXISTE;EXISTE
MONSERVEUR2;EXISTE;EXISTEPAS
MONSERVEUR3;EXISTE;EXISTEPAS
MONSERVEUR4;EXISTEPAS;EXISTEPAS
MONSERVEUR5;EXISTEPAS;EXISTEPAS
MONSERVEUR6;EXISTEPAS;EXISTEPAS

J'arrive à le faire en passant une liste de machines(Essayé avec 200 machaines ok)en paramètres depuis un formulaire.

Mais je souhaiterais parcourir l'ensemble de mon fichier 1 soit 9000 machines.

Je ne sais pas si c'est possible d'optimiser ce type de recherche sans BDD.

Merci d'avance pour votre aide, car c'est la fin de mon site.

Je voudrais une page globale avec ma liste des serveurs afin de voir s'il est présent dans les 3 référentiels

Merci encore, j'espere etre assez clair.

[Couci]

Bonjour !

Une petite idée me vient à l'esprit... Je m'explique :
Lit tes fichier un par un. Pour chaque fichier, construit un tableau php avec uniquement le serveur de chaque ligne (en gros pour ton fichier 1 : ton tableau PHP = la colonne 7 de ton fichier)

Après ce traitement tu n'aura lu qu'une seule fois chaque fichier (donc assez peu gourmand niveau temps avec la fonction de rawsrc) et tu aura un tableau PHP par fichier.

Il te suffit ensuite de parcourir le tableau de ton fichier 1 et de vérifier (avec cette fonction par exemple) si le serveur du fichier 1 actuellement parcouru existe dans le tableau du fichier 2 et du fichier 3.

Avec les résultats, fait comme tu veux, moi j'opterais pour l'affichage directement ou la construction d'un tableau final de résultat (si tu veux faire autre chose que l'afficher).

Avec cette algo, tu ne lira qu'une seule fois chaque fichier, et le traitement devrait être assez rapide (si des connaisseurs peuvent confirmer ça).

[rawsrc]

Salut,

il faudrait que tu poses un chrono sur la fonction prepare_repository(), histoire de savoir dans quelle proportions l'acquisition des données accapare les ressources.
En fonction de cette valeur, tu sauras si c'est jouable de s'affranchir d'une base de données sur ton système.

[snorky94]

hello,
Ok martin, j'ai mis un chrono, et tester sur une recherche de 500 machines en 3 secondes ça s'affiche

Cependant, comment faire pour prendre toutes les machines de mon fichier au lieu de prendre uniquement les serveurs tapés dans le formulaire.

J'ai fait ca pour tester :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
	$serversTest = file_get_contents($AssetExtractFilename);
 
	$serveur= explode("\n",$serversTest);
	foreach($serveur as $value)
	{
		$value = trim(str_replace('"', '', $value));
		$Srv = explode(";", $value);
		//echo $Srv[8]."<br><br>";
 
 
		$servers    = array_flip(array_map('trim',$Srv[8] ));
 
	}

Mais j'ai une erreur sur le array_map/array_flip :

Warning: array_map() [function.array-map]: Argument #2 should be an array ...

Merci d'avance

[rawsrc]

J'ai pas tout compris : tu veux maintenant injecter la liste des serveurs à vérifier depuis un fichier ?

Par ailleurs, y a un truc qui me chiffonne, j'ai fait un essai sur un fichier csv de 10 000 lignes sur 5 colonnes et j'obtiens un temps de chargement assez stable de l'ordre de 0.16 seconde pour 10 Mo, comme tu peux le voir je suis assez loin de tes temps.

[snorky94]

Je t'ai répondu par MP Merci à toi.

J'ai changé mon pseudo au passage

[snorky94]

Merci à toi également clement, je vais voir avec martin dasn un premier temps et apres je passerai par ta solution, un fichier temps si ca ne fonctionne pas ...

[rawsrc]

Bonjour,

je poste le code envoyé à snorky94 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
<?php 
 
$start = 0;
$end   = 0;
 
$start = microtime(true);
 
$asset = array();
$fh    = fopen('ASSET.csv', 'r');
fgetcsv($fh, 1024, ';', '"'); // saut de l'en-tête
while (($row = fgetcsv($fh, 1024, ';', '"')) !== false)
{
    // les serveurs sans id sont ignorés
    if ( ! empty($row[8]))
    {
        $asset[$row[8]] = $row;
    }
}
fclose($fh);
 
$cas = array();
$fh  = fopen('CAS.csv', 'r');
fgetcsv($fh, 1024, ';', '"'); // saut de l'en-tête
while (($row = fgetcsv($fh, 1024, ';', '"')) !== false)
{
    // les serveurs sans id sont ignorés
    if ( ! empty($row[0]))
    {
        $cas[$row[0]] = true;
    }
}
fclose($fh);
 
$sccm = array();
$fh   = fopen('SCCM.csv', 'r');
fgetcsv($fh, 1024, "\t", '"'); // saut de l'en-tête
while (($row = fgetcsv($fh, 1024, "\t", '"')) !== false)
{
    // les serveurs sans id sont ignorés
    if ( ! empty($row[1]))
    {
        $sccm[$row[1]] = true;
    }
}
fclose($fh);
 
$table_body = array();
 
foreach ($asset as $server_id => $details)
{
    $in_sccm      = (isset($sccm[$server_id])) ? 'OUI' : 'NON';
    $in_cas       = (isset($cas[$server_id]))  ? 'OUI' : 'NON';
    $table_body[] =
<<<HTML
<tr>
    <td>{$server_id}</td>
    <td>{$in_sccm}</td>
    <td>{$in_cas}</td>
</tr>
HTML;
}
 
$end = microtime(true);
echo 'Script duration : ', ($end - $start), ' seconds';
// Résultats obtenus :
// Script duration : 1.4300820827484 seconds
// Script duration : 1.4310820102692 seconds
// Script duration : 1.4270820617676 seconds
// Script duration : 1.4280819892883 seconds
 
// echo $TableHeader, implode('', $table_body), $TableBottom;

[snorky94]

Un énorme MERCI à RAWSRCS pour son aide, mais également à Jérome et Couci.

Ce code est top c'est parfait niveau temps du réponse sur les gros CSV, merci encore