script cgi d'upload

**hornetbzz** · 20/11/2010, 11h33

Bonjour,

Je tente un upload en perl mais sans succès.
Le client est une camera ip qui envoie le fichier en POST par http.
Le serveur est un virtual host sous Apache 2 sur un dédié debian lenny.

Voila le script de test sur le serveur :

Code perl :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
#!/usr/bin/perl -w  
# NOTA: no "T" switch to upload jpg otherwise Apache error
 
# ###############
# SCRIPT HEADERS
# ###############
use strict;
use warnings;   # demande l'affichage des warnings (erreurs)
use CGI;
use CGI::Carp qw ( fatalsToBrowser ); # à virer en prod
use File::Basename;
 
 
# ##########
# INIT
# ##########
my $query = new CGI;
my $upload_dir = "/var/www/mon_domaine/upload";
my $log_file="/var/www/mon_domaine/upload.log";
 
 
# ##########
# LOGS
# ##########
my $key;
open LOG, ">> $log_file";
print LOG "------------- New entry ---------------\n";
foreach $key (sort (keys %ENV)) {
	print LOG "$key = $ENV{$key}\n";
}
 
my $file_name = $ENV{'HTTP_CONTENT_DISPOSITION'};
$file_name =~ s/^attachment; filename=\"(.*)\"$/$1/;
print LOG "file name = $file_name\n";
print LOG "local upload = $upload_dir\n";
close LOG;
 
# ################
# IMG FILE UPLOAD
# ################
my $upload_dest = $upload_dir . "/" ;
$upload_dest .= $file_name;
open (IMG_FILE, ">$upload_dest") or die "error ";
binmode(IMG_FILE);
while (<STDIN>) {
    print IMG_FILE $_;
}
# chmod 0666, "$upload_dest"; 
close IMG_FILE;
 
# ##########
# HTML 
# ##########
 
print $query->header ( );  
print <<END_HTML;  
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "DTD/xhtml1-strict.dtd">  
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">  
 <head>  
   <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />  
   <title>Thanks!</title>  
 </head>
 <body>
   <p>Thanks for uploading your file</p>
 </body>
</html>
END_HTML
 
exit 0;

J'ai corrigé les qq erreurs du début.. donc les logs d'apache ne font plus apparaitre d'erreur, et côté client je recueille un http 200 ok.

Le fichier est bien créé sur le serveur mais il est .. vide.

Donc soit il n'est pas envoyé, soit je le réceptionne mal.

J'ai passé la nuit là-dessus, je n'y vois plus clair

Dans cette seconde optique, pourriez-vous jeter un oeil averti et critiquer le côté fonctionnel du code svp (notamment la partie # IMG FILE UPLOAD)
?

merci d'avance

**djibril** · 20/11/2010, 13h16

Il faudrait savoir comment le client envoie le fichier. En post, certe mais quoi en argument ?
Si tu remplaces ton code serveur par celui ci, qu'obtiens tu ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#!/usr/bin/perl -w  
use strict;
use warnings;                            
use CGI;
use CGI::Carp qw ( fatalsToBrowser );   
 
my $query      = new CGI;
print $query->header();
print $query->start_html();
 
print "Les param&egraves;tres : \n<br>";
foreach my $param ( $query->param ) {
  print "$param : ", $query->param($param), "\n<br>";
}
print "\n<br>";
 
print "Variable d&acute;environnement\n<br>";
foreach $var ( sort keys %ENV ) {
  print "$var : $ENV{$var}\n<br>";
}
print $query->end_html();

**hornetbzz** · 22/11/2010, 09h14

Merci Djibril, c'est ce que j'avais cherché à obtenir avec la partie "LOG" du script mais sans succès.

Bon, bref, ça ne fonctionne toujours pas mais je ne sais toujours pas pourquoi, car il y a trop de sources de problemes différentes :

- la méthode client mal employée
- le client qui fonctionne mal
- le code cgi qui fonctionne mal
- les firewalls
- la config Apache (authentification "Basic" alors qu'il semblerait que le client utilise "Digest")
...

J'ai donc cherché à découper les problemes en vérifiant si le serveur "B" est à même de réceptionner un fichier à partir d'un autre serveur "A" :

- créé un formulaire d'envoi depuis le serveur "A"
- supprimé les authentifications d'Apache sur "B"
- recodé le script cgi sur le serveur "B".

Et là j'arrive à envoyer ".txt" (mais pas un pdf).

Serveur "A"

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<?php
 
echo '
<html>

<head>
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
<title>Upload Demo</title>
</head>

<body>
<h1>Please select the file to upload</h1>
<p>Note that for security reasons executable files are not permitted</p>

    <form method="POST" action="http://serveur_B/cgi-bin/second_test_upload.cgi" enctype="multipart/form-data" name="frmUpload" >
     <div align="left">

	 <table border="0">
	 	<tr><td><b>Upload:</b>
	 	</td><td><input type="file" name="upload_demo" value="" size=45>
			<input type="submit" name="request"  value="Upload">
			</td>
		</tr>
	</table>
	</div>
	</form>
</body>
</html>
';
?>

Serveur "B"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
 
#!/usr/bin/perl -w  
# NOTA: no "T" switch to upload jpg otherwise Apache error
 
# ###############
# SCRIPT HEADERS
# ###############
use strict;
use warnings;   # demande l'affichage des warnings (erreurs)
use CGI;
use CGI::Carp qw ( fatalsToBrowser ); # à virer en prod ?
use File::Basename;
use DateTime;
 
 
# ##########
# INIT
# ##########
my $cgi = new CGI;
my $upload_dir = "/mondomaine/upload";
my $log_file="//mondomaine/upload.log";
my $dt = DateTime->now;
 
# ##########
# LOGS
# ##########
#open LOG, ">> $log_file";
open LOG, "> $log_file";
print LOG "------------- New entry ($dt) ---------------\n";
print LOG "--- ENV ---\n";
foreach my $key (sort (keys %ENV)) {
	print LOG "$key = $ENV{$key}\n";
}
 
print LOG "upload directory = $upload_dir\n";
 
print LOG "\n--- parametres ---\n";
foreach my $param ( $cgi->param ) {
  print LOG "$param : ", $cgi->param($param), "\n";
}
 
close LOG;
 
# ################
# FILE UPLOAD
# ################
my %input;
my $max_size = 30_000;
 
print $cgi->header();
for my $key ( $cgi->param() ) {
	$input{$key} = $cgi->param($key);
}
 
if ( $input{upload_demo} =~ /\.(exe|asp|php|jsp|cgi|pl|aspx|config|asax|asa|sh|js)$/ ) {
 
	die "Invalid file extension. No executable file types permitted";
 
}
 
if ( length($input{upload_demo}) > 0  ) {
 
	# get rid of the leading directories
	( my $file_name = $input{upload_demo} ) =~ s/.*\\//;
	my $upload_path = "$upload_dir/$file_name";
 
	# open output file
	open OUT, ">$upload_path" or die "Error opening $upload_path: $!";
	binmode OUT;
 
	my $buffer = '';
	my $size = 0;
 
	#In file handle context, upload_file is a file handle
	while (my $chars_read = read $input{upload_demo}, $buffer, 4096) {
		print OUT $buffer;
		$size += $chars_read;
 
		#if size is getting bigger than you want to handle, quit!
		if ( $size > $max_size ) {
			last;
		}
	}
	close OUT;
 
	if ( -z $upload_path or $size > $max_size ) {
		unlink $upload_path;
	}
}
 
# ##########
# HTML 
# ##########
print <<END_HTML;  
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "DTD/xhtml1-strict.dtd">  
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">  
 <head>  
   <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />  
   <title>Thanks!</title>  
 </head>
 <body>
   <p>Thanks for uploading your file!</p>
 </body>
</html>
END_HTML
 
exit 0;

Je vais continuer à investiguer dans cette direction, en essayant maintenant depuis le client de la camera, et effectivement, voir les parametres envoyés et les entetes.

**djibril** · 22/11/2010, 09h26

Mais le petit prog que je t'ai mis ci-dessus, en le testant tu obtiens quoi ?

**hornetbzz** · 22/11/2010, 09h46

Jusque là je n'obtenais rien de concluant, c'est pour ça que j'ai mené des essais depuis un autre serveur en élaguant toutes les sources potentielles de probleme et en voyant juste un petit txt.

Je viens juste de réessayer en essayant d'envoyer une image depuis le client de la camera vers le serveur "B" :

Voila le log sur le serveur de réception (je ne vois pas le html depuis le client en ligne de commande)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
------------- New entry (2010-11-22T08:34:05) ---------------
--- ENV ---
CONTENT_LENGTH = 4770
CONTENT_TYPE = image/jpeg
DOCUMENT_ROOT = /rootdemondomaine
GATEWAY_INTERFACE = CGI/1.1
HTTP_CONTENT_DISPOSITION = attachment; filename="/tmp/snap.jpg"
HTTP_HOST = mondomaine
PATH = /usr/local/bin:/usr/bin:/bin
QUERY_STRING = 
REMOTE_ADDR = ip_publique_cam
REMOTE_PORT = 37168
REQUEST_METHOD = POST
REQUEST_URI = /cgi-bin/second_test_upload.cgi
SCRIPT_FILENAME = /mondomaine/cgi-bin/second_test_upload.cgi
SCRIPT_NAME = /mondomaine/cgi-bin/second_test_upload.cgi
SERVER_ADDR = ip_mon_domaine
SERVER_ADMIN = webmaster@moi
SERVER_NAME = mon_domaine
SERVER_PORT = 80
SERVER_PROTOCOL = HTTP/1.0
SERVER_SIGNATURE = <address>Apache/2.2.9 (Debian) DAV/2 SVN/1.5.1 mod_python/3.3.1 Python/2.5.2 mod_ssl/2.2.9 OpenSSL/0.9.8g Server at mon_domaine Port 80</address>
 
SERVER_SOFTWARE = Apache/2.2.9 (Debian) DAV/2 SVN/1.5.1 mod_python/3.3.1 Python/2.5.2 mod_ssl/2.2.9 OpenSSL/0.9.8g
upload directory = /rootdemondomaine/upload
 
--- parametres ---
POSTDATA : JFIF��C

#%$""!&+7/&)4)!"0A149;>>>%.DIC<H7=>;��C
...

donc dans ce cas, je reçois bien une image, mais elle n'est pas "uploadée", car la méthode utilisée dans le cgi n'est probablement pas adaptée dans ce cas. On voit d'ailleurs le CONTENT-TYPE qui est bien un "image/jpeg".

Comment uploader ce type de contenu en cgi ?

**djibril** · 22/11/2010, 10h47

Peux tu nous faire une capture d'ecran de la page de soumission du client, et nous mettre le code source de cette page également.

Lorsque je télécharge des fichiers via cgi, je ne procède pas comme toi, d'où mon besoin de voir comment les paramètres sont passés.

**hornetbzz** · 22/11/2010, 11h52

oui c'est un des problemes côté client, c'est de la ligne de commande qui utilise un client "propriétaire" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[root@cam-XXYYZZ /]995# shttpclient -i var/tmp/snap.jpg http://mondomaine/cgi-bin/third_test_upload.cgi

le "i" est pour l'envoi par "POST".

Donc l'analyse se fait seulement côté serveur au travers des log apache et des logs que je peux eventuellement ajouter (récuperation des données POST comme tu m'as suggéré).

ça y est enfin, je viens juste de trouver un mode qui fonctionne. Le truc est de préciser que c'est du binaire.

le cgi qui fonctionne (enfin) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
#!/usr/bin/perl -w
 
# 1- Perl headers
use strict;  
use CGI;  
use CGI::Carp;
use File::Basename;
 
# 2- Setting Safety Limits
$CGI::POST_MAX = 1024 * 5000;  
 
 
# 3- Init datas
my $upload_dir = "../upload/";
 
# print "Content-Type: text/plain\r\n\r\n";
# print "Upload OK\r\n";
 
my $filename = $ENV{'HTTP_CONTENT_DISPOSITION'};
$filename =~ s/^attachment; filename=\"(.*)\"$/$1/;
 
# 4- Making the Filename Safe
my $safe_filename_characters = "a-zA-Z0-9_.-";
my ( $name, $path, $extension ) = fileparse ( $filename, '\..*' );  
$filename = $name . $extension;  
$filename =~ tr/ /_/;  
$filename =~ s/[^$safe_filename_characters]//g;  
 
my $upload_dest = $upload_dir . $filename ;
 
# 5- Process to img file upload
open (IMG_FILE, ">$upload_dest") or die "can't open $upload_dest";
binmode(IMG_FILE);
while (<STDIN>) {
    print IMG_FILE $_;
}
chmod 0444, "$upload_dest";
 
exit 0;

Bon maintenant que le principe fonctionne, je vais pouvoir essayer de coder un peu en perl

puis compiler le bouzin. Si j'ai bien compris ce site, ça a l'air possible.

Merci encore Djibril, tu m'as bien orienté.

EDIT:
Un petit commentaire additionnel pour les geeks de camera IP:
il y a un bug dans le client shttp des cam Axis.
Pour le fix, ajouter dans les "init":

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

my $shttp_bugfix = chr(0xff).chr(0xd8).chr(0xff).chr(0xe0).chr(00);

et juste avant le while:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print IMG_FILE $shttp_bugfix;

script cgi d'upload

Programmation et administration système Perl

Discussions similaires

Partager

Partager