Lecture fichier via url ou file, différence ?

Bonjour et bonne année à tous !

Je vous pose la question suivante, à savoir y a-t-il une différence (ou plusieurs) entre une lecture de fichier en local et via url.

Pour etre plus clair, voici une partie du code sur lequel je bute :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

//--- reads the font file File myFontFile = new File(theFileLocat); InputStream myFis = null; if (!myFontFile.exists()) { try { //myFis = (FileInputStream) (new URL(theFileLocat).openStream()); myFis = (new URL(theFileLocat).openStream()); } catch (MalformedURLException e) { throw new IOException("Kanji Font file '"+theFileLocat+"' is not accessible"); } } else { myFis = new FileInputStream(myFontFile); }   while ( myFis.read(myTabRead) > 0) {   //--- builds the key myKey = new byte[2];   //--- initialisation of key myKey[0] = myTabRead[0]; myKey[1] = myTabRead[1];   //--- new font myFont = new byte[106]; System.arraycopy(myTabRead, 0, myFont, 0, myFont.length);   //--- fills the Kanji table getKanjiTable().put(new Integer(byteToShort(myKey)), myFont); }

---

La première partie du code (avant la lecture du fichier, le while donc) consiste à créer le flux de lecture. Si le fichier passé en paramètre n'existe pas localement, on tente d'effectuer une lecture via url dessus.
La deuxieme partie du code lit le fichier et le load en mémoire dans une hashtable.

Mon problème est que la lecture du fichier en question est complète lorsque je passe par le fichier local, et incomplète losque la lecture se fait via URL (le fichier est situé sur un serveur distant).

Voilà donc mon probleme, tout est nickel en local, mais à distance ca foire. La lecture s'arrete aléatoirement à peu pres à la moitié du fichier pour vous donner un ordre d'idée.

Quelles sont les différences entre lecture de fichier en local et lecture de fichier via url ?

Un grand merci à vous si vous pouvez m'aider (et oui je n'ai que ca ^^).

Bah ca devrait marcher...

La difference c'est que File accede directement au Systeme de fichier de l'OS et que URL utilise la pile de protocole réseau, en l'occurence HTTP sur TCP/IP.

un probleme de timeout peut-etre ? Essaye de jouer avec URLConnection.setReadTimeout()...

Citation:

---

Envoyé par pseudocode

Bah ca devrait marcher...

La difference c'est que File accede directement au Systeme de fichier de l'OS et que URL utilise la pile de protocole réseau, en l'occurence HTTP sur TCP/IP.

un probleme de timeout peut-etre ? Essaye de jouer avec URLConnection.setReadTimeout()...

---

Ca marche aussi si la machine n'a pas d'interface eth0 ? ( je n'ai pas testé ).

oui ca marche aussi. Dans ce cas ca passe par le loopback (lo0)

Pour commencer merci pour vos réponses à tout deux :)

Tout fonctionne en temps normal effectivement.
J'ai avancé un peu dans mon problème et il se trouve que ca n'a finalement rien a voir avec le type de connection utilisé.
La premiere partie du code peut etre oubliée donc.

Dans la partie suivante :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

int myRet = -1; int compteur = 0; while ( ( myRet = myFis.read(myTabRead)) > 0) {   //--- builds the key compteur += myRet; myKey = new byte[2]; //--- initialisation of key   System.out.println();   myKey[0] = myTabRead[0]; myKey[1] = myTabRead[1];   //--- fills the Kanji table getKanjiTable().put(new Integer(byteToShort(myKey)), myTabRead);   }   System.out.println("Taille totale loadée : "+compteur); System.out.println("Nombre d'entrée dans la table : "+getKanjiTable().size());

---

J'ai laissé un System.out.println au milieu et qui a-priori ne sert à rien. Tel quel tout fonctionne bien. Si j'ote le System.out.println rien ne fonctionne.
J'ai déjà eu ce probleme il y a un bon moment en C et il me semblait que ca venait d'un problème de mémoire ou de flush... mais je ne sais plus trop.

Auriez-vous déjà eu le meme problème, à savoir que votre programme plante si vous ne mettez pas un System.out au bon endroit ?


Edit : en fait lorsque j'affiche la taille du fichier traité et le nombre d'entrée dans ma hashtable, je me rends compte que le fichier a bien été lu en entier, mais que dans la hashtable tout n'as pas été mis... je me pense donc en ce moment sur un problème lié à la méthode put des hashtables (peut etre) et au vidage de tampon mémoire de lecture, du tableau...

Le flush c'est sur les outputStream.
Sinon une erreur classique : fermes-tu bien TOUS tes flux via leur méthode close() ?

A mon avis, le System.out.println() ralentit ta boucle, ce qui laisse le temps aux données d'arriver. C'est donc bien un probleme de disponnibilité des données dans l' InputStream.

Il va falloir changer la boucle "while" pour:

1. Sortir quand TOUTES les données sont lues
2. Attendre quand l'InputStream est vide mais que TOUTES les données ne sont pas encore lues

Le mieux serait de connaitre la longueur des données AVANT de rentrer dans le "while". Il faut regarder du coté de la methode getContentLength() pour URL et length() pour FILE.

oui je ferme juste apres l'affichage de la facon suivante :

Code:

---

1 2	myFis.close();

---

Sinon, je remet ma remarque que j'ai éditer dans le message précédent.
Je me rends compte suite à l'affichage de la taille totale lu sur le fichier et du nombre d'entrée dans ma hashtable, que le fichier est bien lu en entier, mais qu'il n'y a pas le bon nombre d'entrée dans ma hashtable. (seulement la moitier) lorsque je ne met pas le sysout.


EDIT : lol, ca va vite aujourdh'ui c'est cool :)

Pour ce qui est de ta remarque Pseudocode j'y ai déjà pensé et j'ai testé avec un Thread.sleep() sur 10 secondes pour voir ce qui se passait, car je me suis effectivement apercu qu'en mode debug avec un breakpoint ca ne plante pas.

Mais la méthode d'attente ne fonctionne pas plus... je vais voir ce que tu viens de me dire.

Citation:

---

Envoyé par kij

Sinon, je remet ma remarque que j'ai éditer dans le message précédent.
Je me rends compte suite à l'affichage de la taille totale lu sur le fichier et du nombre d'entrée dans ma hashtable, que le fichier est bien lu en entier, mais qu'il n'y a pas le bon nombre d'entrée dans ma hashtable. (seulement la moitier) lorsque je ne met pas le sysout.

---

8O ???

Bah la c'est un probleme dans ton algo. Elle est initalisée comment la variable myTabRead ?

comme suit :

Code:

---

1 2	byte[] myTabRead = new byte[106];

---

juste avant la boucle de lecture.

Mais je pense que ce que tu as soulevé est mon problème, car le programme se déroule très bien lorsque je suis en mode debug et que j'attends un moment après la boucle. (point d'arret juste apres la boucle). :?

Mmhhh...

Donc a chaque boucle du while on lit entre 0 et 106 octets

Code:

---

1 2	myFis.read(myTabRead)

---

Mais dans le corps du while on n'en traite que 2:

Code:

---

1 2 3

myKey[0] = myTabRead[0]; myKey[1] = myTabRead[1];

---

Donc, potentiellement, on en perd 104 !! 8O


Essaye de declarer myTabRead comme ca:

Code:

---

1 2	byte[] myTabRead = new byte[2];

---

non on ne perd pas de donnée en fait.

Les deux premiers byte servent à faire une clé :

Code:

---

1 2 3 4

myKey = new byte[2]; myKey[0] = myTabRead[0]; myKey[1] = myTabRead[1];

---

puis on met le couple clé/myTabRead dans la hashtable :

Code:

---

1 2	getKanjiTable().put(new Integer(byteToShort(myKey)), myTabRead);

---

De maniere à en faire un couple unique et pouvoir retrouver les valeurs par la suite.

Arf. ok.... Sauf que tu sauve toujours la meme reference "myTabRead" dans la map

Code:

---

getKanjiTable().put(new Integer(byteToShort(myKey)), myTabRead);

---

Il faudrait copier les données dans un nouveau tableau avant chaque "put", comme tu le faisais dans ton premier source.

M'enfin quand meme, affiche la valeur de "myRet" dans la boucle, histoire de voir si tu lis tjrs la bonne taille de donnée.

oui j'ai remis avec le tableau intermédiaire entre temp, mais ca ne change rien.
Sans tableau ca marche tout aussi bien puisque la méthode put copie les données (mais pas les clés) il me semble, il n'y a donc qu'à reinitialiser les clés normalement.
Enfin là n'est pas le soucis de toute maniere.

J'ai bien 106 de lu à chaque passage de boucle et j'ai ajouté un :

Code:

---

1 2	System.out.println(myFis.available());

---

pour voir le comportement de la lecture. Tout se passe bien, c'est lu aussi par coup de 106 et alimenté à mesure que c'est lu.

:?

Je pense que le pb ne viens pas de l'algo car il fonctionne très bien sur des File.
Bon en temps normal je serais tenter de faire une redirection de la sortie sur null juste avant la boucle et de laisser le sysout, mais bon... c'est pas tres pro ^^

Citation:

---

Envoyé par kij

Sans tableau ca marche tout aussi bien puisque la méthode put copie les données (mais pas les clés) il me semble, il n'y a donc qu'à reinitialiser les clés normalement.

---

Ah bon ? Perso, j'en doute, mais ce n'est pas le pb pour l'instant.

Question: Comment sais-tu qu'il n y a pas le bon nombre d'entrée dans ta hashtable ?

lorsque je fais :

Code:

---

1 2	System.out.println("Nombre d'entrée dans la table : "+getKanjiTable().size());

---

Il devrait me sortir le chiffre 8272. Or généralement ca s'arrete aux alentours de 5000 quand ca ne fonctionne pas.

Je ré-édit le code ici :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

byte[] myTabRead = new byte[106]; byte[] myFont = null; byte[] myKey = null;   int myRet = -1; int compteur = 0;   while ( ( myRet = myFis.read(myTabRead)) > 0) {   //--- builds the key compteur += myRet; myKey = new byte[2];   //--- initialisation of key myKey[0] = myTabRead[0]; myKey[1] = myTabRead[1];   System.out.println("num car read : "+myRet);   //--- new font myFont = new byte[106]; System.arraycopy(myTabRead, 0, myFont, 0, myTabRead.length);   //--- fills the Kanji table getKanjiTable().put(new Integer(byteToShort(myKey)), myFont);   }   System.out.println("Taille totale loadée : "+compteur); System.out.println("Nombre d'entrée dans la table : "+getKanjiTable().size());   myFis.close();

---

J'ai essayé ton code chez moi et ca marche bien.

Enfin bon, j'ai du réécrire la methode byteToShort() et mettre un try/catch IOException pour que ca compile.

J'ai pas de texte en kanji sous la main, mais ca marche avec du katagana ;)

et ca marche comment ? Via url ou via file en local ?

Oui de toute manière le type de fichier on s'en fiche :)

Bon.. ca pourrait venir de chez moi alors. :cry:

Les 2 mon general. :mrgreen:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78

import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import java.util.HashMap; import java.util.Map;   public class testStream {   private Map kanjiTable = new HashMap();   public void test(InputStream myFis) throws IOException {   byte[] myTabRead = new byte[106]; byte[] myFont = null; byte[] myKey = null;   int myRet = -1; int compteur = 0;   while ( ( myRet = myFis.read(myTabRead)) > 0) {   //--- builds the key compteur += myRet; myKey = new byte[2];   //--- initialisation of key myKey[0] = myTabRead[0]; myKey[1] = myTabRead[1];   System.out.println("num car read : "+myRet);   //--- new font myFont = new byte[106]; System.arraycopy(myTabRead, 0, myFont, 0, myTabRead.length);   //--- fills the Kanji table kanjiTable.put(new Integer(byteToShort(myKey)), myFont); }   System.out.println("Taille totale loadée : "+compteur); System.out.println("Nombre d'entrée dans la table : "+kanjiTable.size());   myFis.close(); }     private int byteToShort(byte[] myKey) { int i = (myKey[0]*256)+myKey[1]; return i; }   public static void main(String[] args) { InputStream myFis = null;   String theFileLocat = "tmp/testfile.txt";   try { // http //myFis = (new URL("http://localhost:80/"+theFileLocat).openStream());   // file //myFis = new FileInputStream("C:/webroot/"+theFileLocat); } catch (Exception e) { e.printStackTrace(); return; }   try { new testStream().test(myFis); } catch (IOException e) { e.printStackTrace(); } }   }

---

Ok...

le probleme me semble etre en fait la distance entre le pc d'éxécution et le serveur sur lequel se situe le fichier.
Car en local (via url ou file), pas de souci, c'est à dire comme tu as testé.
De mon coté, sur serveur se situant sur un réseau proche du mien, ca ne load pas complétement, environ que la moitié.
Et là, je viens de faire le test avec un serveur client situé en belgique et ca ne load que le tiers.

J'ai donc l'impression qu'il y a une correspondance. As-tu la possibilité de tester sur un serveur qui se trouve plus "loin" ou pas ?

ca marche aussi sur un serveur http sur le reseau local... mais bon c'est du 100Mbs switché alors bof. :aie:

je poursuis les tests...

Ok merci. Pour ma part je reviens vers les 13h30, je vais manger, bon ap :)

Pourrais-tu faire le teste avec un fichier de taille supérieure ou égale à 876 832 octets ?

Car j'utilise la meme méthode ailleurs dans un prog pour bien d'autres fichiers et tous passent nickel sur quelque serveur que ce soit. Mais ils ont tous une taille de 1 ou 2 ko seulement.

Je voudrais voir si tu as le meme pb ou pas avec une grande taille.

Encore merci pour ton aide :mrgreen:

J'ai reussi a reproduire le phenomene. C'est bien lié a l'inputStream qui ne contient pas assez de donné (moins de 106). Donc j'ai modifié comme suit:

1. J'ai recuperé la taille du fichier que l'on doit lire

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

InputStream myFis = null; long myLength = 0;   // HTTP URL url = new URL("http://httptestserver:80/"+theFileLocat); URLConnection urlconn = url.openConnection(); myLength = urlconn.getContentLength(); myFis = urlconn.getInputStream();   // FILE File file = new File("Z:/webroot/"+theFileLocat); myLength = file.length(); myFis = new FileInputStream(file);

---

2. J'ai modifié la boucle pour attendre que l'inputStream soit remplie:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

(...) while (compteur<myLength) { // tant que TOUT le fichier n'est pas lu   // attent une trame complete while(myFis.available()<106) Thread.yield();   // lit la trame myRet = myFis.read(myTabRead);   //--- builds the key (...)

---

sur ce... bon app aussi :)

je vois ce que tu veux dire.

Mais dans le cas ou on arrive à la fin du fichier et qu'il n'y a plus que moins 106 caractères à lire, le thred ne va-t-il pas attendre infiniement ?

heu... si !

Si ton fichier n'a pas une taille multiple de 106 => attente infinie.

Donc re-modif:

Code:

---

1 2 3 4 5

(...) long needed = Math.min(myLength-compteur,106); while(myFis.available()<needed) Thread.yield(); (...)

---

Il se trouve que mon fichier à une taille multiple de 106 justement, mais je voulais savoir dans le cas général, car quitte à faire autant que ce soit général au possible :)

En tout cas je vois que ca fonctionne impéccable et je ne peux que te remercier énormément pour ton aide !

Un grand merci à toi donc sans qui j'aurais certainement fini de cette facon :aie:

De rien... c'etait sympa de t'aider... bcp plus que de me replonger dans mes pb actuels d'algo, de drivers, de code java, de dotnet3.0 et autres :?

PS: n'oublie pas le tag :resolu: