Eliminer les doublons & importer

Version imprimable

09/12/2006, 14h36
Him

Eliminer les doublons & importer

Bonjour,

Je dois insérer un fichier de 2000 lignes dans mysql.
éventuellement je peux le transformer en csv, la n'est pas le problème.

Ce qu'il y a c'est que dans toutes ces lignes, il y a fort à parier qu'il y en à 500 identiques. j'aimerais donc pouvoir supprimer les doublons avant de les enregistrer dans la base.

Ma question est donc, est il réalisable en php de parser un fichier .txt & d'en supprimer les doublons, & ensuite d'insérer tout cela ligne par ligne dans mysql.

Et surtout comment :D

Merci d'avance.
09/12/2006, 15h08
kazhar

Pourquoi ne pas faire encore plus simplement. Vérifier, avant un ajout, que l'entrée n'existe pas dans la base, et n'ajouter que si elle n'existe pas.
En ajoutant des clés uniques dans ta table, tu t'assurera également qu'il n'y ait réellement aucun doublon.
09/12/2006, 15h24
Him

Oui daccord, mais comment faire en CSV ( import via phpmyadmin )
ou via le fichier txt ?

Désolé, mais je tatonne encore beaucoup en php, je découvre :?
09/12/2006, 15h53
Djakisback
Salut,
tu peux aussi mettre ton fichier .sql dans un tableau avec file() et dédoublonner le tableau avec array_unique(). Ensuite t'as plus qu'à boucler sur le tableau :
Code:

1 2 3 foreach($tab as $row) { mysql_query($row); }
C'est le même principe avec un CSV, il faudra que tu fasses un test sur les champs pour savoir si tu dois mettre des quotes ou non, pour les champs non numériques.

Bye

Bonjour,

bon voici comment j'ai procéder, cela sera surement utile à beaucoup de monde, vu que je n'ai pas trouvé cette réponse quand je suis arrivé ici 8-)

J'ai donc mis dans un fichier .txt tous les éléments à enregistrer dans la base ( un élément par ligne )

& j'ai parser mon fichier comme ceci :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 <?php // Connection à la base de donnée( par défaut paramètre local) $connect = mysql_connect("localhost", "****", "******"); // selection de la base... mysql_select_db("*****",$connect); $handle = @fopen("fichier.txt", "r"); if ($handle) { while (!feof($handle)) { $buffer = fgets($handle, 4096); $sql = mysql_query("SELECT COUNT(*) AS nb_email FROM lettre WHERE email='".$buffer."'"); if (mysql_result($sql, 0, 'nb_email') == 0) { mysql_query("INSERT INTO lettre (id, email) VALUES ('','".$buffer."')") or die(mysql_error()); echo 'de nouvelles adresses ont été ajoutées'; } echo "('', '".$buffer."'),<br />\n"; } fclose($handle); } ?>
Mais voila, j'aimerai à la fin de ma page, ( ou au début ) indiquer : "x enregistrements ont étés effectués". & "x enregistrement ont étés refusés ( doublons )

Quelqu'un à une idée ?

01/02/2007, 22h40
Him

J'ai repensé un peu, & je me dis que je peux toujours compter le nombre d'enregistrement avant la boucle, & le recompter ensuite pour faire une soustraction & afficher le résultat. Ensuite de se résultat compter combien il ya de lignes dans le fichier, & en faire la différence pour les refus.

Mais cela me semble bien long & bien lourd en requête pour un résultat aussi facil. Non ?
01/02/2007, 22h56
kaymak

Salut,

Amha pour 2 000 lignes le plus simple reste encore de faire l'import complet dans ta bdd.
A partir de la il sera extrement aisé de supprimer les doublons via une requete et l'utilisation des clauses comme group by ou distinct.

bye
01/02/2007, 23h22
Him

Toi tu m'as pas suivi, relis mes derniers post, ça c'est fixé ;)

Hm oui effectivement....

M'enfin pour répondre àta question. Pourquoi ne pas simplment incrémenter deux compteurs ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
 
<?php
$nb_enregistrement_accepte = 0;
$nb_enregistrements_refuses = 0;
 
		// Connection à la base de donnée( par défaut paramètre local)
		$connect = mysql_connect("localhost", "****", "******");
		// selection de la base...
		mysql_select_db("*****",$connect);
 
		$handle = @fopen("fichier.txt", "r");
		if ($handle) {
		while (!feof($handle)) {
			$buffer = fgets($handle, 4096);
 
			$sql = mysql_query("SELECT COUNT(*) AS nb_email FROM lettre WHERE email='".$buffer."'");
 
				if (mysql_result($sql, 0, 'nb_email') == 0)
                    {
 
					mysql_query("INSERT INTO lettre (id, email) VALUES ('','".$buffer."')") or die(mysql_error());
					echo 'de nouvelles adresses ont été ajoutées';
					$nb_enregistrement_accepte++;
					}
else
{
$nb_enregistrements_refuses++;
}
 
			echo "('', '".$buffer."'),<br />\n";
			}
 
		fclose($handle);
		}
 
echo "L'import du fichier est terminé.<br/>";
echo $nb_enregistrement_accepte." insertions ont étés effectuées<br/>";
echo $nb_enregistrements_refuses." insertions ont étés refusées<br/>";
echo "L'application à traiter ".($nb_enregistrement_accepte+$nb_enregistrement_refuses)." lignes au total.<br/>";
	?>

Si j'ai bien suivit ton code, se devrait être aussi simple que cela.

bye

02/02/2007, 02h48
Him

huhu... :lol:

& pourquoi moi j'ai pas pensé à ça plus tôt ?

merci à toi, & à vous.