Discussion :

[madsland]

Bonjour à tous,

Je rencontre des problèmes de lenteur lors de l'utilisation de la fonction FTPRecupère sur une connexion de type SFTP.
Je récupère des fichiers compris entre 20 et 40ko et chaque fichier met environ 2 secondes à être récupéré.
Je précise que ce n'est pas un problème lié au réseau puisque j'ai testé avec le client Filezilla sur la même machine en ayant pris soin de limiter les transferts à un seul thread pour que la comparaison soit le plus proche possible.
Avec FileZilla, 15 fichiers par seconde, c'est 30 fois plus rapide.
J'ai fait le test en FTP normal et il n'y a pas de problème particulier.
J'ai testé en WD23 et WD24, le problème est le même.

Quelqu'un peut il me confirmer ces lenteurs ?
Quelqu'un a t-il trouvé un contournement natif ?




Merci d'avance

Cordialement,

Madsl@nD

[tatayo]

Bonjour,
Je vois à la fin de l'aide en ligne que d'autres se plaignent de problèmes de lenteur.
Est-ce que tu as essayé de récupérer non pas les fichiers, mais le répertoire (donc sans passer par FtpListeFichier() ) ?
Avec un peu (beaucoup) de chance ce sera plus rapide…

Tatayo.

[madsland]

Malheureusement dans mon cas ce n'est pas possible, on doit pouvoir récupérer qu'une partie du répertoire en fonction de certains masques mais je vais faire le test par curiosité.

[philouZ]

Bonjour,

Peux-tu poster ton code que l'on voit s'il n'ya pas quelque chose qu'on verrait...

[frenchsting]

Bonjour,

Je viens de plonger dams mes souvenirs, quand Windev ne savait faire que du ftp... J'utilisais alors la suite logicielle (gratuite) putty. Dans le package, il y avait psftp. Cà se trouve par ici : https://www.chiark.greenend.org.uk/~...ty/latest.html
C'est en ligne de commande, c'est un peu technique à mettre en oeuvre, mais ça marche super bien. Je vais essayer de retrouver ça dans mes archives antédiluviennes.
L'astuce est qu'il faut utiliser un fichier bat pour lancer psftp qui va appeler un bat contenant la liste des fichiers à récupérer.

[Yusep]

Bonjour
A essayer. Merci
https://tartarus.org/~simon/putty-sn.../w32/psftp.exe

[madsland]

Bonjour à tous et merci pour vos réponses,

Le code est le plus simple possible, FTPListeFichier et FTPRecupère, cela ne vient pas du code mais j'ai plus d'informations :
Ce n'est long que si le répertoire est chargé, comme si le FTPRécupère faisait un FTPListefichier à chaque récupération.
Quand j'ai 40000 fichiers dans le répertoire, le FTPListeFichier prend 2 secondes, le FTPRecupère légèrement plus aussi.
Quand j'ai 10 fichiers dans le répertoire, le FTPListeFichier prend 50ms et le FTPRécupère 70ms.
Du coup je me demande si ce problème n'est pas le même en FTP standard car lors de mon test en standard, je n'avais que très peu de fichiers à redescendre.
Bref c'est embêtant
Il y a peut être moyen de faire ça avec FTPCommande mais cela implique peut être de gérer les différents types de FTP, à voir si les commandes sont différentes en FTP et SFTP ...
Mais oui des solutions non natives il y en a, ce n'est pas un problème et merci de m'en avoir proposé.

Cordialement,

Madsl@nD

[philouZ]

Ca prend 4 secondes pour lister et récupérer les 40000 fichiers ?

[madsland]

Ca prend 4 secondes pour lister et récupérer les 40000 fichiers ?

Non et c'est bien dommage.
Comme j'ai voulu l'expliquer ça prend environ 2 secondes de faire un FTPListeFichier sur 40000 fichiers dans mes conditions.
Pour chaque FTPRecupère (1 seul fichier), ça prend un peu plus de 2 secondes comme si le FTPRecupère liste tous les fichiers puis récupère celui en question.
Donc à ce rythme c'est plus de 22 heures pour récupérer 40000 fichiers alors que cela devrait prendre moins de 5 minutes.

[philouZ]

Le FTPRecupere est inclus dans la procedure FTPListeFichier ou le FTPRecupere est fait après avoir listé tous les fichiers ?

Ne peux-tu pas lancer des FTPRecupere en parallèle avec TâcheParallèleExécute() ?

[frenchsting]

Hello,

Comme promis, j'ai fait une recherche dans mes archives antédiluviennes. C'était en WD12 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
sFichierIni est une chaîne =  sRepTravail + "param.ini"
 
sCheminPSFTP est une chaîne = INILit("Chemins","CheminPSFTP","k:\psftp\psftp.exe",sFichierIni)
sCheminHistorique est une chaîne = INILit("Chemins","CheminHistorique","cd /home/site/wwwroot_secure/depot/fichiers",sFichierIni)
sNomFichierHistorique est une chaîne = INILit("Chemins","NomFichierHistorique","historique.txt",sFichierIni)
sScript_put_Historique est une chaîne = sRepTravail + INILit("BAT","Script_put_historique","Script_put_historique.bat",sFichierIni)
 
Utilisateur est une chaîne = INILit("Utilisateur","USER","",sFichierIni)
MotDePasse est une chaîne = INILit("Utilisateur","PASSWORD","",sFichierIni)
 
////////////////// Creation script de transfert 
nNumBat est un entier = fCrée(sScript_put_Historique)
SI nNumBat = -1 ALORS
	Erreur("Erreur de création du scipt de transfert.....","","Abandon.")
	RETOUR
FIN
fEcritLigne(nNumBat,"lcd " + sRepTravail)						//lcd K:\psftp\Histo\
fEcritLigne(nNumBat,"cd " + sCheminHistorique) 				//cd /home/site/wwwroot_secure/depot/fichiers
fEcritLigne(nNumBat,"del " + sNomFichierHistorique) 			//del historique.txt
fEcritLigne(nNumBat,"put " + sNomFichierHistorique)			//put historique.txt
 
fFerme(nNumBat)
////////////////// Transfert dit
SI EnModeTest() ALORS
	sCheminPSFTP = sRepTravail + fExtraitChemin(sCheminPSFTP,fFichier+fExtension)
FIN
SI fFichierExiste(sScript_put_Historique) ALORS
	SI PAS LanceAppli(sCheminPSFTP + " -pw " + MotDePasse + " -b " + sScript_put_Historique + " " + Utilisateur,exeActif,exeBloquant) ALORS
		Erreur("Erreur lancement SFTP pour TPE URSSAF : " + ErreurInfo())
		RETOUR
	FIN
FIN

[der§en]

Pour avoir fait un service sous Windows qui se charge de surveiller et de transférer un serveur sftp externe, qui fonctionne 24h24, je n’ai jamais vu de tel chute de performance (il est compilé sous Windev 23, puis sous 24).

je pencherait plutôt pour un problème de logique d’imbrication dans ton code.

[philouZ]

je pencherait plutôt pour un problème de logique d’imbrication dans ton code.

C'est bien pour ça que je lui ai demandé de mettre le code afin qu'on voit s'il n'ya pas un problème à ce niveau. Si le ftprécupère est dans la procédure qui liste les fichiers, ça risque de poser problème par exemple...

[madsland]

Pour avoir fait un service sous Windows qui se charge de surveiller et de transférer un serveur sftp externe, qui fonctionne 24h24, je n’ai jamais vu de tel chute de performance (il est compilé sous Windev 23, puis sous 24).

je pencherait plutôt pour un problème de logique d’imbrication dans ton code.

Bonjour,

Non impossible, j'ai fait un projet à part dans lequel je n'utilise que le strict minimum, 3 fonctions natives FTPConnecte, FTPListeFichier et FTPRecupère, on ne peut pas faire plus simple.
Je la refait pour ceux qui n'auraient pas compris

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
FTPConnecte (connexion SFTP)
 
SI Ok ALORS
 
FTPListeFichier (je liste 40000 fichiers ~ 2 secondes)
 
pour chaque fichier FTPRécupère (à chaque appel de FTPRécupère ~ 2 secondes)
 
FIN

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
FTPConnecte (connexion SFTP)
 
SI Ok ALORS
 
FTPListeFichier (je liste 10 fichiers ~ 50 ms)
 
pour chaque fichier FTPRécupère (à chaque appel de FTPRécupère ~ 70 ms)
 
FIN

Cordialement,

Madsl@nD

[frenchsting]

@madsland : tu as testé le psftp ?

[philouZ]

J'ai monté un serveur ftp chez moi, alors certes les temps de réponse sont surement meilleurs car je suis en local mais ça donne une idée.

Voici le code saisi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
nIDFtp est entier = FTPConnecte("127.0.0.1","psb","123")
 
SI nIDFtp = -1 ALORS 
	Erreur(ErreurInfo(errMessage))
	RETOUR
FIN
 
JAUGE_SansNom1..BorneMax =  FTPListeFichier(nIDFtp,"/*.*",listeFichier)
POUR TOUT sFichier DE gtabFichiers
	SI PAS FTPRécupère(nIDFtp,sFichier,fRepExe()) ALORS
		Erreur(ErreurInfo(errMessage))
	FIN
 
	JAUGE_SansNom1++
	Multitâche(-1)
FIN
 
//********************************************************
PROCÉDURE listeFichier(Nom, nTaille, sAttribut, sDate, sHeure, nParam)
 
gtabFichiers.Ajoute(Nom)
 
RENVOYER Vrai

Donc soit tu as un problème avec ton serveur ftp, soit un problème de code. Je pense qu'on doit même pouvoir paralléliser la récupération des fichiers ce qui réduirait le temps

Voilà mon analyse.

[madsland]

Bonjour,

@madsland : tu as testé le psftp ?

Nous avions déjà un existant java qui fonctionnait très bien, ceci dit j'ai mis la solution de côté.

Donc soit tu as un problème avec ton serveur ftp, soit un problème de code. Je pense qu'on doit même pouvoir paralléliser la récupération des fichiers ce qui réduirait le temps

Voilà mon analyse.

Si tu lis mes différents posts, il y a 2 choses importantes que tu as omis dans ton test :

1) mon problème est en SFTP pas FTP.

2) cela concerne une recupération de fichier dans un répertoire où il y a 40000 fichiers.

Ce sont bien entendu avec ces 2 conditions que cela pose problème.

Cordialement,

Madsl@nD