Discussion :

[Amine_sas]

Bonjour à tout,

Je travaille sur un programme de télechargement qui récupere des fichiers depuis internet; l'utilisateur peut choisir le nombre de parties du meme fichier à télecharger simultanement (ex de 1 à 10) en exploitant la propriété de HTTP1.1 de pouvoir lire une portion d'un fichier.
Pour chaque partie un thread est creé avec un buffer de 1 ko pour lire les données; chaque fois que les données sont lues on les écrit dans l'emplacement approprié dans le fichier de destination dont la taille est ajustée au départ pour etre la meme de celle du fichier source. L'écriture se fait dans une methode synchronisée.

De plus tous les threads de tous les telechargements partagent un fichier où sont ecrites des informations importantes pour pouvoir reprendre ulterieurement les télechargements incomplets (tel que l'url, le nombre de threads du telechargement, le nombre d'octets telechargés par chaque thread ..etc).
j'ai la deux questions:
1- Une taille de 1 ko pour le buffer de lecture est-elle bien choisie ?
2- Est il pratique d'ecrire les données dès qu'elles sont lues ?. Avec un nombre important de télechargements dont chacun contenant plusieurs threads il y aura un nombre élevé d'accès au disque par seconde.

J'espere que j'étais clair.

Merci d'avance.

[KiLVaiDeN]

Salut,

Pour répondre à tes questions, voici ma vision des choses :

1) Un buffer de 1Ko pour chacune de tes parties, c'est ça ? Si c'est le cas, ça me parait correct, tout dépend de la taille de la partie à télécharger, ce choix doit se faire à mon avis de manière dynamique, en prenant 1% de la taille d'une partie et 64Ko de buffer au maximum ( pour une très grosse partie ).

Donc si ton fichier faire 10Mo, que tu as 10 parties de 1Mo chacune, tu peux mettre un buffer de 10Ko pour chacune. Ca fera 100Ko de mémoire buffer utilisée pour un fichier de 10Mo. ce qui dans l'ensemble parait raisonable.

2) L'écriture directe du fichier sur le disque fonctionne bien pour cette utilisation : tu vas souvent télécharger moins vite que ton disque est capable d'écrire, donc ça peut aller. Par contre, si tu envisages d'être dans un environnement intranet un jour plutôt qu'internet, je pense qu'il faudrait en effet penser à employer également un buffer pour l'écriture.

A+

[Amine_sas]

Salut,

Pour répondre à tes questions, voici ma vision des choses :

1) Un buffer de 1Ko pour chacune de tes parties, c'est ça ? Si c'est le cas, ça me parait correct, tout dépend de la taille de la partie à télécharger, ce choix doit se faire à mon avis de manière dynamique, en prenant 1% de la taille d'une partie et 64Ko de buffer au maximum ( pour une très grosse partie ).

Oui pour un fichier de grande taille il convient mieux de lire des rafales de 64Ko que de faire 64 interruptions (chacune pour lire 1 ko).

2) L'écriture directe du fichier sur le disque fonctionne bien pour cette utilisation : tu vas souvent télécharger moins vite que ton disque est capable d'écrire, donc ça peut aller. Par contre, si tu envisages d'être dans un environnement intranet un jour plutôt qu'internet, je pense qu'il faudrait en effet penser à employer également un buffer pour l'écriture.

Pour le moment le programme est prevu pour fonctionner sur internet mais pour un réseau intranet il convient egalement de recourir à d'autres solutions.

Merci pour tes réponses.