Discussion :

[Him]

Bonjour,

Je dois insérer un fichier de 2000 lignes dans mysql.
éventuellement je peux le transformer en csv, la n'est pas le problème.

Ce qu'il y a c'est que dans toutes ces lignes, il y a fort à parier qu'il y en à 500 identiques. j'aimerais donc pouvoir supprimer les doublons avant de les enregistrer dans la base.

Ma question est donc, est il réalisable en php de parser un fichier .txt & d'en supprimer les doublons, & ensuite d'insérer tout cela ligne par ligne dans mysql.

Et surtout comment

Merci d'avance.

[kazhar]

Pourquoi ne pas faire encore plus simplement. Vérifier, avant un ajout, que l'entrée n'existe pas dans la base, et n'ajouter que si elle n'existe pas.
En ajoutant des clés uniques dans ta table, tu t'assurera également qu'il n'y ait réellement aucun doublon.

[Him]

Oui daccord, mais comment faire en CSV ( import via phpmyadmin )
ou via le fichier txt ?

Désolé, mais je tatonne encore beaucoup en php, je découvre

[Djakisback]

Salut,
tu peux aussi mettre ton fichier .sql dans un tableau avec file() et dédoublonner le tableau avec array_unique(). Ensuite t'as plus qu'à boucler sur le tableau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
foreach($tab as $row) {
mysql_query($row);
}

C'est le même principe avec un CSV, il faudra que tu fasses un test sur les champs pour savoir si tu dois mettre des quotes ou non, pour les champs non numériques.


Bye

[Him]

Bonjour,

bon voici comment j'ai procéder, cela sera surement utile à beaucoup de monde, vu que je n'ai pas trouvé cette réponse quand je suis arrivé ici

J'ai donc mis dans un fichier .txt tous les éléments à enregistrer dans la base ( un élément par ligne )

& j'ai parser mon fichier comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
	<?php
 
		// Connection à la base de donnée( par défaut paramètre local)
		$connect = mysql_connect("localhost", "****", "******");
		// selection de la base...
		mysql_select_db("*****",$connect);
 
		$handle = @fopen("fichier.txt", "r");
		if ($handle) {
		while (!feof($handle)) {
			$buffer = fgets($handle, 4096);
 
			$sql = mysql_query("SELECT COUNT(*) AS nb_email FROM lettre WHERE email='".$buffer."'");
 
				if (mysql_result($sql, 0, 'nb_email') == 0)
                    {
 
					mysql_query("INSERT INTO lettre (id, email) VALUES ('','".$buffer."')") or die(mysql_error());
					echo 'de nouvelles adresses ont été ajoutées';
 
					}
 
			echo "('', '".$buffer."'),<br />\n";
			}
 
		fclose($handle);
		}
	?>

Mais voila, j'aimerai à la fin de ma page, ( ou au début ) indiquer : "x enregistrements ont étés effectués". & "x enregistrement ont étés refusés ( doublons )

Quelqu'un à une idée ?

[Him]

J'ai repensé un peu, & je me dis que je peux toujours compter le nombre d'enregistrement avant la boucle, & le recompter ensuite pour faire une soustraction & afficher le résultat. Ensuite de se résultat compter combien il ya de lignes dans le fichier, & en faire la différence pour les refus.

Mais cela me semble bien long & bien lourd en requête pour un résultat aussi facil. Non ?

[kaymak]

Salut,

Amha pour 2 000 lignes le plus simple reste encore de faire l'import complet dans ta bdd.
A partir de la il sera extrement aisé de supprimer les doublons via une requete et l'utilisation des clauses comme group by ou distinct.

bye

[Him]

Toi tu m'as pas suivi, relis mes derniers post, ça c'est fixé

[kaymak]

Hm oui effectivement....

M'enfin pour répondre àta question. Pourquoi ne pas simplment incrémenter deux compteurs ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
 
<?php
$nb_enregistrement_accepte = 0;
$nb_enregistrements_refuses = 0;
 
		// Connection à la base de donnée( par défaut paramètre local)
		$connect = mysql_connect("localhost", "****", "******");
		// selection de la base...
		mysql_select_db("*****",$connect);
 
		$handle = @fopen("fichier.txt", "r");
		if ($handle) {
		while (!feof($handle)) {
			$buffer = fgets($handle, 4096);
 
			$sql = mysql_query("SELECT COUNT(*) AS nb_email FROM lettre WHERE email='".$buffer."'");
 
				if (mysql_result($sql, 0, 'nb_email') == 0)
                    {
 
					mysql_query("INSERT INTO lettre (id, email) VALUES ('','".$buffer."')") or die(mysql_error());
					echo 'de nouvelles adresses ont été ajoutées';
					$nb_enregistrement_accepte++;
					}
else
{
$nb_enregistrements_refuses++;
}
 
			echo "('', '".$buffer."'),<br />\n";
			}
 
		fclose($handle);
		}
 
echo "L'import du fichier est terminé.<br/>";
echo $nb_enregistrement_accepte." insertions ont étés effectuées<br/>";
echo $nb_enregistrements_refuses." insertions ont étés refusées<br/>";
echo "L'application à traiter ".($nb_enregistrement_accepte+$nb_enregistrement_refuses)." lignes au total.<br/>";
	?>

Si j'ai bien suivit ton code, se devrait être aussi simple que cela.

bye

[Him]

huhu...

& pourquoi moi j'ai pas pensé à ça plus tôt ?

merci à toi, & à vous.