Integrité variable des fichiers téléchargés, selon le mode

Version imprimable

28/07/2015, 10h56
Oxyredox

Integrité variable des fichiers téléchargés, selon le mode

Bonjour à tous,
c'est ma première sur ce forum alors excusez-moi si je ne poste pas au bon endroit ;-)

le contexte
Je fais un site très simple pour mon groupe : http://www.austerlitz-rock.com , hebergé chez OVH.
j'ai besoin de gérer le téléchargement d'un .zip de notre premier album, autorisé par une code de téléchargement. (cliquer sur "BUY" pour le voir en action)
Toute la partie base de donnée se passe très bien, en fait tout se passe très bien !

Mon problème : quand je télécharge le fichier en utilisant le formulaire du site, je constate que le fichier, Archive.zip, passe de 9 030 783 octets à 9 031 071 octets...
et quand je double-clique dessus (OSX 10.10.2) l'utilitaire de decompression de mac os crée Archive.zip.cpgz ... Mais quand j'utilise un autre unzip, ça marche.

J'utilise Filezilla (dernière m-à-j) pour l'upload et il me dit que la taille du fichier en ligne est la même que la taille d'origine. Je le crois car quand je downloade en direct dans Safari (dossier parent en ligne dans la barre d'adresse, puis clique sur l'élément) le fichier téléchargé est parfait et se comporte bien à l'unzip.
Par contre si je le downloade en iutilisant Filezilla, alors c'est mauvais.

en résumé :
-taille d’origine ____________ :9030783
-taille en ligne _____________ :9030783
-downld via filezilla _________ :9031071
-download via site & safari ___ :9031071
-download via site & firefox ___ :9031071
-download via safari en direct _ :9030783

Bref ça la fout mal, les fans qui vont télécharger ne doivent se compliquer la vie à essayer plusieurs extracteurs d'archive ;-)

Quelqu'un a-t-il une explication ?
Merci d'avance
28/07/2015, 13h15
thelvin

Hm, eh bien... Quand on dit FileZilla on dit FTP, et qui dit FTP dit "le mode de transfert binaire ou ASCII de la mort."

En résumé, pour transférer des fichiers par FTP, il existe un réglage qui donne le choix entre deux "modes" : binaire ou ASCII. Le seul bon réglage est binaire. ASCII marchera parfois mais comme il a aussi des chances de ne pas marcher (et notamment ne marche pas sur les fichiers zip), le mieux est d'utiliser binaire, qui n'a pas de défaut.
(Ce réglage n'aurait jamais dû exister. Ça avait l'air d'une bonne idée à l'époque quand ils ont créé FTP, mais c'était une très mauvaise idée. Et aujourd'hui, ce réglage existe et donc nous sommes obligés de faire avec.)

Par défaut FileZilla est réglé en "automatique" : il essaie de déduire du nom de fichier s'il faut utiliser binaire ou ASCII (une bêtise selon moi : quel que soit le fichier il faut utiliser binaire. Le mode "auto" est une bizarrerie qui ne devrait pas être par défaut.) Toutefois ce mode auto utiliserait le mode binaire pour les fichiers .zip.
Voici ce que je pense qu'il s'est passé :
- Tu as utilisé FileZilla sans changer la conf, pour envoyer le .zip sur le site, et tout s'est bien passé.
- Depuis, tu as remarqué des erreurs en utilisant autre chose que FileZilla, et tu t'es dit qu'il était peut-être mal réglé. Tu as changé sa conf'.
- Depuis, FileZilla est mal réglé et utilise le mode ASCII pour traiter les .zip.

Tout cela est bien joli, mais ça ne nous dit pas pourquoi tu as aussi le problème en utilisant autre chose que FTP.
... Mais en fait, la corruption que fait FTP en utilisant le mode ASCII, est très facile à refaire avec un autre langage.
Elle consiste à faire l'erreur de considérer les fichiers binaires comme des fichiers textes, et de les traiter ligne par ligne.

Si par hasard ton site fait ça pour fournir le fichier, il fait la même erreur que FTP.
Du coup, il faudrait que tu montres ton code.

merci pour ta réponse !

Filezilla est reglé pour utiliser le mode binaire, et le fichier est correctement uploadé (quand je le télécharge direct dans Safari ou Firefox, en allant à l'adresse du fichier, tout se passe bien)
Donc c'est dans le process de download que quelque chose se passe mal quand je passe par mon site ou par filezilla. Donc je me demande quelle est la différence entre un téléchargement direct dans le navigateur et un téléchargement via mon .php ou filezilla.

voici le code du fichier .php responsable :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
<?php
$subfolder = "donnelodeellepaieun/";
$conn = new mysqli("********.mysql.db", "*********", "6uPJpQ6hsqjC","************");
if ($conn->connect_error) {
    die("Connection failed: " . $conn->connect_error);
} 
$givencode =  $_GET['givencode'];
$sql = "SELECT * FROM downloadLP1 WHERE downloadkey = '".$givencode."'" ;
$result = $conn->query($sql);
$resultarr = mysqli_fetch_assoc($result);
 
if($result->num_rows === 0) {
echo "<!DOCTYPE html><html><head>";
echo '<link rel="stylesheet" type="text/css" href="http://www.austerlitz-rock.com/Site2015.css">';
echo '<meta charset="UTF-8"></head>';
echo "<body>";
echo '<p class="centered textalpha"><img src="http://www.austerlitz-rock.com/JPG/backgroundbase.jpg" height="50"><br>';
echo "Ce code n'est pas valide, essayez de nouveau.<br></p>";
echo'<form class="centered" action="processLP1DownloadCode.php" method="GET">';
echo'download code ';
echo'<input type="text" name="givencode" size="15">';
echo'<input type="submit" value="go">';
echo'</form>';
}else{
	if($resultarr['downloadedyet'] == 0){
	$fullDownloadLink = $subfolder.$resultarr['downloadlink'];
		if(file_exists($fullDownloadLink)){
		$strFile = file_get_contents($fullDownloadLink);
		//set the headers to force a download
		header("Content-type: application/force-download");
		header("Content-Disposition: attachment; filename=\"".str_replace(" ", "_", $resultarr['downloadlink'])."\"");
		echo "<!DOCTYPE html><html><head>";
		echo '<link rel="stylesheet" type="text/css" href="http://www.austerlitz-rock.com/Site2015.css">';
		echo '<meta charset="UTF-8"></head>';
		echo "<body>";
		echo '<p class="centered textalpha"><img src="http://www.austerlitz-rock.com/JPG/backgroundbase.jpg" height="50"><br>';
		echo $strFile;
		mysqli_query($conn,"UPDATE downloadLP1 SET downloadedyet='1' WHERE downloadkey = '".$givencode."'");		
		echo "<br>";
		echo "c'est bon on y va</p>";
		exit;
		}else{
		echo "<!DOCTYPE html><html><head>";
		echo '<link rel="stylesheet" type="text/css" href="http://www.austerlitz-rock.com/Site2015.css">';
		echo '<meta charset="UTF-8"></head>';
		echo "<body>";
		echo '<p class="centered textalpha"><img src="http://www.austerlitz-rock.com/JPG/backgroundbase.jpg" height="50"><br>';
		echo "Désolé, il y a un problème avec le fichier, contactez-nous en pr&eacute;cisant votre mail et votre code.</p>";
		}
	}else {
	echo "<!DOCTYPE html><html><head>";
	echo '<link rel="stylesheet" type="text/css" href="http://www.austerlitz-rock.com/Site2015.css">';
	echo '<meta charset="UTF-8"></head>';
	echo "<body>";
	echo '<p class="centered textalpha"><img src="http://www.austerlitz-rock.com/JPG/backgroundbase.jpg" height="50"><br>';
	echo "Ce code a d&eacute;j&agrave; &eacute;t&eacute; utilis&eacute;.</p>";
	}
}
echo '</body></html>';
?>

merci

29/07/2015, 00h21
thelvin

....

Ok le mystère s'épaissit.

Ce .php ne risque pas de produire des résultats corrects : on ne mélange pas du HTML avec un fichier .zip.
Toutes ces balises avant et après le echo $strFile; font forcément n'importe quoi.

Je n'ai, par contre, pas l'ombre d'une explication sur pourquoi tu obtiendrais les mêmes résultats avec FileZilla.
Ma théorie la plus probante, est que ce n'est pas le cas et que tu as tort de le croire. Confusion dans les noms de fichiers à regarder pour savoir quel résultat on obtient avec quoi, par exemple...

Edit : Ah, au fait. Je ne sais pas si c'est grave pour ton site, mais ce genre de code :

Code:

mysqli_query($conn,"UPDATE downloadLP1 SET downloadedyet='1' WHERE downloadkey = '".$givencode."'");

c'est extrêmement vulnérable aux injections SQL. Je pense que je pourrais forcer downloadedyet à 1 pour toute ta table downloadLP1 sans aucun problème.
Tu devrais te pencher sur un tutoriel de bonnes pratiques pour faire du MySQL en PHP, et comment éviter les injections SQL.
29/07/2015, 02h39
ABCIWEB

Inspires-toi plutôt de l'exemple la doc de readfile (ici) pour faire ta boite de téléchargement.

Et tiens bien compte des remarques de thelvin concernant la sécurité de tes requêtes (utilises mysqli_real_escape_string pour protéger tes variables ou fait des requêtes préparées).
Au passage si tu veux poursuivre dans le développement web et que tu en est au début de ton site utilises plutôt pdo c'est le standard actuel (mysqli est plutôt utilisée pour mettre à jour facilement un site fait avec l'ancienne extension mysql).
29/07/2015, 11h00
Oxyredox

Merci merci merci !

ABCIWEB je vais utiliser mysqli_real_escape_string() et adapter le code que tu as mis en lien (ça me semble parfait) ;-) Par contre le pdo je t'avoue que j'ai un peu la flemme, ce n'est pas mon métier, ça m'a beaucoup amusé de relever le défi mais je n'aurai pas le temps tout de suite pour tout reprendre... mais ça m'intéresse de regarder ça la prochaine fois.

thelvin tu as raison, j'ai redownloadé le zip et la taille est correcte.

Tout ça allège le mystère et me fait penser qu'après un peu de travail sur le code tout va s'arranger. Je croise les doigts, je re-bosse et je re-posterai pour dire si ça s'arrange ;-)

et merci !

Super génial merci ! ça marche nickel. Vous avez gagné un code de téléchargement ! (c'est le premier album de mon groupe en digital,sérieusement, si ça vous dit je vous le file en message privé... même si thelvin pourra sûrement craquer la maigre sécurité du process [je vais quand même changer les codes d'accès à la base de données ;) ])

bref j'ai une petite question, du coup... Je ne peux pas editer le contenu de la frame, en cas de succès (lignes 30 à 38), genre pour dire "merci, blah blah...", comment je peux faire ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
<?php
$subfolder = "donnelodeellepaieun/";
$conn = new mysqli("********.mysql.db", "*********", "6uPJpQ6hsqjC","************");
if ($conn->connect_error) {
    die("Connection failed: " . $conn->connect_error);
} 
 
$givencode =  $_GET['givencode'];
$sql = "SELECT * FROM downloadLP1 WHERE downloadkey = '".$givencode."'" ;
 
$result = $conn->query($sql);
$resultarr = mysqli_fetch_assoc($result);
 
if($result->num_rows === 0) {
echo "<!DOCTYPE html><html><head>";
echo '<link rel="stylesheet" type="text/css" href="http://www.austerlitz-rock.com/Site2015.css">';
echo '<meta charset="UTF-8"></head>';
echo "<body>";
echo '<p class="centered textalpha"><img src="http://www.austerlitz-rock.com/JPG/backgroundbase.jpg" height="50"><br>';
echo "Ce code n'est pas valide, essayez de nouveau.<br></p>";
echo'<form class="centered" action="processLP1DownloadCode.php" method="GET">';
echo'download code ';
echo'<input type="text" name="givencode" size="15">';
echo'<input type="submit" value="go">';
echo'</form>';
}
else{
	if($resultarr['downloadedyet'] == 0){
	$fullDownloadLink = $subfolder.$resultarr['downloadlink'];
		if(file_exists($fullDownloadLink)){
			header('Content-Description: File Transfer');
			header('Content-Type: application/octet-stream');
			header('Content-Disposition: attachment; filename='.basename($fullDownloadLink));
			header('Expires: 0');
			header('Cache-Control: must-revalidate');
			header('Pragma: public');
			header('Content-Length: ' . filesize($fullDownloadLink));
			readfile($fullDownloadLink);
			mysqli_query($conn,"UPDATE downloadLP1 SET downloadedyet='1' WHERE downloadkey = '".$givencode."'");	
		exit;}
		else{
		echo "<!DOCTYPE html><html><head>";
		echo '<link rel="stylesheet" type="text/css" href="http://www.austerlitz-rock.com/Site2015.css">';
		echo '<meta charset="UTF-8"></head>';
		echo "<body>";
		echo '<p class="centered textalpha"><img src="http://www.austerlitz-rock.com/JPG/backgroundbase.jpg" height="50"><br>';
		echo "Désolé, il y a un problème avec le fichier, contactez-nous en pr&eacute;cisant votre mail et votre code.</p>";
		}
	}
	else {
	echo "<!DOCTYPE html><html><head>";
	echo '<link rel="stylesheet" type="text/css" href="http://www.austerlitz-rock.com/Site2015.css">';
	echo '<meta charset="UTF-8"></head>';
	echo "<body>";
	echo '<p class="centered textalpha"><img src="http://www.austerlitz-rock.com/JPG/backgroundbase.jpg" height="50"><br>';
	echo "Ce code a d&eacute;j&agrave; &eacute;t&eacute; utilis&eacute;.</p>";
	}
}
echo '</body></html>';
 
?>

29/07/2015, 14h01
thelvin

Je dirais qu'il suffit de d'abord renvoyer une page qui ne consomme pas le code, mais qui dit s'il est valide et si oui, affiche un lien pour télécharger le fichier (ce qui, ça, aura pour effet de consommer le code.)

Mais bon, en réalité elle a un gros problème ta technique : c'est que le code passe de l'état valide à consommé, en une seule étape qui se fiche pas mal si le fichier a vraiment été reçu correctement par le visiteur.
Il faudrait au moins que le code reste valable pendant un certain temps pour réessayer s'il y a eu un problème. Tous les systèmes en ligne proposent soit ça (mais en vérifiant que c'est pas les 4 coins du monde qui téléchargent), soit la création d'un compte sur le site, qui a le droit de télécharger autant qu'il veut.
29/07/2015, 18h29
Oxyredox

oui absolument, je vais faire ça. + un delai pour le passage à l'état consommé et ça fera le job ;-)