Discussion :

[gilles06]

Bonjour a tous,

Voila j'ai un probleme sur un de mes scripts Python 25 faisant du FTP Data binary transfer sur un server.
De temps en temps en FTP Download je perds la connection avec le server, et je recois une exception "timeout".
J'ai recu une partie du fichier avant l'exception de timeout.
J'ai essaye de faire du retry (de relancer la commande "data = conn.recv(blocksize)"), mais sans succes.

Question: Comment reprendre une connection, la ou elle s'est arretée sans tout relancer ?

Merci de votre aide.

Mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
    def retrBinary(self, remote_file, blocksize=8192, rest=None):
        try:
            self.ftptransfer.ftp.voidcmd('TYPE I')
            conn = self.ftp.transfercmd("RETR %s" % remote_file, rest)
            while 1:
                data = conn.recv(blocksize)
                if (not data) and (self.SrcRemoteFileSize != self.totalBytes):
                    # Start Retry to FTP server
                    retry=1
                    print(">>> Received Data buffer empty and file not ended, Start Retry to FTP server")
                    while ((not data) and (retry<=3)):
                        print(">>> Retry data %s" % (retry))
                        data = conn.recv(blocksize)
                        if not data: retry +=1
                        else: 
                            break
                        time.sleep(2)
                    break
 
            print "Close Download file transfer\n"
            conn.close()            
            print "DL: Return voidresp"
            return self.ftp.voidresp() 
 
        except Exception, err:
            print traceback.format_exc()
            print("Received Exception during Transfer"

[wiztricks]

Salut,

Votre code n'est pas complet, il devrait suffire de renseigner "rest" et de croiser les doigts pour le serveur FTP (de son côté) supporte.

Je trouve qu'il est un peu "compliqué", jetez un œil au post que j'avais commis sur le sujet, il y quelques temps.

Cordialement,
- W

[tyrtamos]

Bonjour,

D'abord, on peut essayer d'empêcher les déconnexions intempestives, ou au moins de les rendre plus rares, avec une astuce: http://python.developpez.com/faq/?pa...AllTimeConnect.

On devrait aussi pouvoir reprendre un téléchargement fait incomplètement en utilisant l'option 'rest' de la commande retrbinary. Il s'agit d'un offset qui définira à partir de quel endroit le téléchargement reprendra. Si le serveur ne le supporte pas, cela générera une erreur ftplib.error_reply et il suffira alors de reprendre le téléchargement à 0 sans le 'rest'.

J'ai déjà utilisé ce genre de technique en téléchargement http, mais jamais en ftp. Voir le message de wiztricks.

[gilles06]

Merci pour la reponse.
Je crois avoir compris, en fait il faut rejouer la connection avec le reste du fichier a transferer, en esperant que le serveur support la fonction RESTART.
Effectivement, je vais alleger mon code et re-essayer.

Merci

Bien Cordialement

[gilles06]

Bonjour a tous,
J'ai encore une question, car apres avoir modifier mon code, lorsque je relance la commande de reconnection apres une tres longue attente sans reponse du serveur "ftp.transfercmd("RETR %s" % remote_file, rest=self.RestBytes)" et je recois systematiquement un
"10053, 'Software caused connection abort'" venant du server.

Question: Est-ce que le serveur arrete la connection parcqu'il est tombe en Timeout ou qu'il ne support pas la commande restart ? ou bien est-ce que ma commande de restart n'est pas conforme ?

......
{'t':565.917, DL 'bytes_transferred':3011676, 'throughput':43.235}
[ftpDL t=600s]
{'t':603.212, DL 'bytes_transferred':3212364, 'throughput':43.051}
{'t':641.129, DL 'bytes_transferred':3413052, 'throughput':42.346}
[ftpDL t=660s]
{'t':679.671, DL 'bytes_transferred':3613740, 'throughput':41.658}
{'t':718.107, DL 'bytes_transferred':3814428, 'throughput':41.774}
[ftpDL t=720s]
{'t':757.166, DL 'bytes_transferred':4015116, 'throughput':41.107}
[ftpDL t=780s]
[ftpDL t=840s]
[ftpDL t=900s]
[ftpDL t=960s]
[ftpDL t=1020s]
[ftpDL t=1080s]
>>> Type_3: Received Exception during DL Transfer, TypeError: timed out
>>> Re-start Data Transfer from: 4145124
*cmd* 'PASV'
*put* 'PASV\\r\\n'
Traceback (most recent call last):
conn = self.ftptransfer.ftp.transfercmd("RETR %s" % remote_file, rest=self.totalBytes)
File "C:\\Python25\\lib\\ftplib.py", line 360, in transfercmd
return self.ntransfercmd(cmd, rest)[0]
File "C:\\Python25\\lib\\ftplib.py", line 325, in ntransfercmd
host, port = self.makepasv()
File "C:\\Python25\\lib\\ftplib.py", line 303, in makepasv
host, port = parse227(self.sendcmd('PASV'))
File "C:\\Python25\\lib\\ftplib.py", line 244, in sendcmd
self.putcmd(cmd)
File "C:\\Python25\\lib\\ftplib.py", line 175, in putcmd
self.putline(line)
File "C:\\Python25\\lib\\ftplib.py", line 170, in putline
self.sock.sendall(line)
File "<string>", line 1, in sendall
error: (10053, 'Software caused connection abort')

>>> Received Exception during DL Transfer, TypeError: (10053, 'Software caused connection abort')
DL: Close Local file

[fred1599]

J'ai encore une question, car apres avoir modifier mon code

Ah donc...

[gilles06]

Pas compris la reponse ...
Ma question est plus sur la commande, je ne suis pas sur que la commande de RESTART fonctionne bien avecce serveur.
Merci de votre aide.

[fred1599]

Si vous modifiez le code, mieux vaut remettre le code modifié, vous ne croyez pas?

Sinon que dois faire Restart exactement ? Détecter l'arrêt du server et redémarrer le download, c'est ça?