Discussion :

[ryodo]

Bonjour

J'ai deux fichier texte chaque fichier contient 1M de ligne.

Je veux bien faire une petite fonction qui va me permettre d'enlevé les lignes qui existe dans le fichier 1 et 2

Exp:
Fichier 1 Contient

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
a
b
c
d

Fichier 2 Contient

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
a
k
c
m

En sortie je veux
Fichier 1 Contient

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
a
b
c
d

Fichier 2 Contient

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
k
m

Le problème est simple a résoudre je vais imbriqué une boucle dans une boucle
Prendre un ligne et le tester si il existe dans l'autre fichier.
Le problème qui s'impose que des fois j'ai des fichier qui dépasse les 7 Million ligne si je fais le truc d'une boucle dans une boucle
si le premier fichier contient 1 Million et le 2 eme contient aussi 1 Million
sa va me donné une complicité de 1Million*1 Million

Es que il ya pas une méthode ou un algorithme qui peux me facilité la vie

Cordialement,

[stealth35]

Utilise une base, ça sera plus simple

[ryodo]

Merci pour repense

Mais c'est carrément impossible d'ajouté 7 Million de lignes dans une table mysql

Le mysql ram énormément et php ce plante (j'ai déjà cassé la tète avec sa et je me suis retourné au fichier :s)


Cordialement

[Invité]

Bonjour,
en mettant les lignes dans des array, en utilisant array_diff() :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
<?php
$tableau1 = array ('a','b','c','d');
var_dump($tableau1);
$tableau2 = array ('a','k','c','m');
var_dump($tableau2);
 
$tableau3 = array_diff($tableau2,$tableau1);
var_dump($tableau3);
?>

On obtient bien :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
array
  0 => string 'a' (length=1)
  1 => string 'b' (length=1)
  2 => string 'c' (length=1)
  3 => string 'd' (length=1)
 
array
  0 => string 'a' (length=1)
  1 => string 'k' (length=1)
  2 => string 'c' (length=1)
  3 => string 'm' (length=1)
 
array
  1 => string 'k' (length=1)
  3 => string 'm' (length=1)

PS : merci à stealth35 qui m'a appris qu'"il existe des fonctions PHP pour (presque) tout" !
Il suffit juste de savoir où chercher dans la doc PHP...

[stealth35]

Merci pour repense

Mais c'est carrément impossible d'ajouté 7 Million de lignes dans une table mysql

Le mysql ram énormément et php ce plante (j'ai déjà cassé la tète avec sa et je me suis retourné au fichier :s)


Cordialement

Mais si c'est possible c'est fait pour, en tout cas c'est impossible à faire avec PHP seul

[ryodo]

Bonjour,
en mettant les lignes dans des array, en utilisant array_diff() :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
<?php
$tableau1 = array ('a','b','c','d');
var_dump($tableau1);
$tableau2 = array ('a','k','c','m');
var_dump($tableau2);
 
$tableau3 = array_diff($tableau2,$tableau1);
var_dump($tableau3);
?>

On obtient bien :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
array
  0 => string 'a' (length=1)
  1 => string 'b' (length=1)
  2 => string 'c' (length=1)
  3 => string 'd' (length=1)
 
array
  0 => string 'a' (length=1)
  1 => string 'k' (length=1)
  2 => string 'c' (length=1)
  3 => string 'm' (length=1)
 
array
  1 => string 'k' (length=1)
  3 => string 'm' (length=1)

PS : merci à stealth35 qui m'a appris qu'"il existe des fonctions PHP pour (presque) tout" !
Il suffit juste de savoir où chercher dans la doc PHP...

Merci pour la solution c'est impeccable.

Mais si c'est possible c'est fait pour, en tout cas c'est impossible à faire avec PHP seul

Oui c'est pour que j'ai opté les fichiers Merci

[ryodo]

Merci pour la solution donné Mais malheureusement n'ai pas opté a mon cas

Voila mon code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
ini_set('memory_limit', '5500M');
    set_time_limit(1000000);
    $fichierRacine=$_POST["fichierRacine"];
    $tab1=file($fichierRacine);
    $fichierElimine=$_POST["fichierElimine"];
    $tab2=file($fichierElimine);
    $tab3 = array_diff($tab2,$tab1);
    $file = fopen ("sorti.txt", "w");
 
    foreach ($tab3 as $t)
    {
        fwrite($file, "$t\n");
    }
    fclose($file);

je viens de tester ce code sur deux fichier le fichierRacine Contient 1M de ligne et le fichierElimine Contient 2 M.

Sa fais maintenant + d'une heure et je n'ai pas encore le résultat

[stealth35]

normale, une base MySQL plus une LOAD FILE sera plus efficasse