Accrochez vous ! erreur de read ftp unix

**jeffciara** · 20/12/2006, 09h07

Bonjour à tous !

L'erreur que j'ai est énorme..
J'y ai travaillé assez longtemps je pense pour donner ma langue au chat...

Je lis un fichier sur un serveur UNIX

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
       URL monUrl = new URL("ftp://root:xxx@192.168.1.1/home1/monfichier");
       URLConnection flux = monUrl.openConnection();
       InputStream  unFile = flux.getInputStream();
       String charSet = "ISO-8859-2";
       BufferedReader monFileReader;
       monFileReader = new BufferedReader(new InputStreamReader(unFile,charSet));

C'est un fichier qui contient des enregistrements de 512 octet.
Je parcours mon fichier avec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

monFileReader.read(new char[512])

j'affiche ce que je lis et tout va bien les premiers enregistrements ensuite ça se décale !!!
Pourtant personne d'autre accede au serveur et aucun processus n'accede au fichier.
Le pire et ça c'est le pompom c'est que le décalage ne se crée pas toujours au même endroit.

J'ai éssayé de transferer le fichier d'unix à Windows via le client ftp de windows. J'utilise la méthode classique de java qui permet de lire un fichier en local et là ça marche !!
Sinon en utilisant fopen et fread de PHP ça marche aussi.

Si vous comprenez quelque chose ecrivez moi de toute urgence tr ttrrr
ah c'est dur tr trr

**iohack** · 20/12/2006, 15h10

que veux-tu dire par décalages ?

**®om** · 20/12/2006, 18h35

Hmmm... J'imagine que tu ne peux pas lire un flux à partir d'un ftp comme ça à partir d'une URL... Tu dois, en plus des données, recevoir les msgs du protocol FTP qu'il faut traiter (d'où les décalages)...

**jeffciara** · 21/12/2006, 08h34

Le décalage :

09916
09917
09917
09918
09918
0991
0991

je devrais avoir 9919 au lieu de 0991.Donc à un momment donné il lit moins que ce qu'il devrait lire...
J'ai résolu mon probleme en mettant un Thread.sleep mais je ne vois toujours pas de quoi ca vient ...

Hmmm... J'imagine que tu ne peux pas lire un flux à partir d'un ftp comme ça à partir d'une URL... Tu dois, en plus des données, recevoir les msgs du protocol FTP qu'il faut traiter (d'où les décalages)...

Rom --> Alors le décalage devrait avoir lieu au même endroit à chaque relecture complete du fichier

**dingoth** · 21/12/2006, 08h38

Pourrait-on avoir plus de détails ? Genre le mode utilisé (Binaire ou ascii), un exemple concret de fichier transféré foireux.

Si c'est de l'ascii, je soupçonne un remplacement de \n par \r\n inopportun ou inversement. Y'a-t-il des caractères accentués dans le transfert à effectuer ? Le charset ISO-8859-2 est-il justifié ? Si c'est du binaire, est-ce que le buffer est systématiquement et complètement rempli ?

Enfin, on a de maigres détails, là

**jeffciara** · 21/12/2006, 08h53

C'est un fichier cobol indexé.(considere que c'est du ascii)
Le charset est OK.
Pour le changement de caractere j'y avais pensé mais, dans ce cas, l'erreur se recréerait au même endroit.
Et comme je l'ai déjà dit lorsque je transfert le fichier sous windows (sans remplacement de caractere ) la lecture se deroule normalement.
Je pense que c'est + une question de buffer peut etre. Tu peux m'en dire + sur la manipulation d'un buffer.

Merci.

**dingoth** · 21/12/2006, 09h24

Ok, c'est de l'ascii, mais le transfert se fait-il en ascii ? Je ne suis pas un pro de ftp, je l'utilise même rarement, mais je sais que beaucoup d'erreurs sont dues à une utilisation d'ascii en lieu et place de binaire et inversément. Je me dis qu'il y a un mode à définir au transfert.

Sinon, pour le buffer, le tout est de savoir ce qu'il fait. Puisque c'est du iso-8859-X, tu peux sans crainte exécuter le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
URL monUrl = new URL("ftp://root:xxx@192.168.1.1/home1/monfichier");
URLConnection flux = monUrl.openConnection();
InputStream  unFile = flux.getInputStream();
int len;
byte[] buf = new byte[512]; // C'est bien 512 la longueur normale d'une ligne ?
StringBuffer sb = new StringBuffer(512);
while ((len=unFile.read(buf)) > -1) {
  for (int i = 0; i < len; i++) {
    sb.append((char)buf[i]);
  }
  System.out.print(sb);
  sb.setLength(0);
}

Ainsi tu verras octet par octet ce qui se passe dans ta connexion. Et tu pourras voir éventuellement des caractères bizarres, sans pour autant qu'ils soient interprétés par le charset.

Lorsque le caractère ne te plaît pas, tu peux l'afficher trivialement en hexa.

**jeffciara** · 21/12/2006, 09h53

La lecture va planter aléatoirement ce n'est donc pas un caractere qui pose probleme. Et je rapelle qu'avec la fonction fread de php je n'ai pas ce soucis.
Ce qui est sur c'est que de mettre une tempo resoud mon probleme.

**adiGuba** · 21/12/2006, 09h57

Salut,

Et on pourrai voir le code complet que tu utilises pour la lecture ?
Parce que sinon je ne vois pas comment on pourrait t'aider...

a++

**jeffciara** · 21/12/2006, 10h05

Ok mais c'est du classique...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
    static public void LecBofap(String AdresseDuFichier){
        try {
            String charSet = "ISO-8859-2";
            InputStream  unFile = new URL(AdresseDuFichier).openConnection().getInputStream();
            BufferedReader monFileReader = new BufferedReader(new InputStreamReader(unFile,charSet));
            // j'affiche les 5 premiers caracteres car c'est l'info qui m'interesse
            char NB11[] =new char[5];
 
            while (monFileReader.read(NB11) >= 0) {
 
                monFileReader.skip(507);
                System.out.println(NB11);
                try {
                    Thread.sleep(1);
 
                } catch (InterruptedException ex) {
                    ex.printStackTrace();
                }
            }
            monFileReader.close();
            unFile.close();
        } catch (MalformedURLException ex) {
            ex.printStackTrace();
        } catch (IOException ex) {
            ex.printStackTrace();
        }
    }

Dans ce cas, cela fonctionne...Par contre, si j'enleve le sleep

alors ça se décale aléatoirement...

**adiGuba** · 21/12/2006, 10h52

Récupère (et affiche) la valeur de retour de la méthode read(), pour être sûr que tu lis bien le bon nombre de caractère...

Ensuite (mais ce n'est pas à l'origine de ton problème) les fermetures de flux devraient se trouver dans des blocs finally : http://www.developpez.net/forums/sho...04#post1170704

a++

**jeffciara** · 21/12/2006, 11h28

Pour la methode read j'ai toujours 5 donc c'est bon.
Par contre, j'ai changé la methode skip(507) par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

System.err.println(monFileReader.read(new char[507]));

Et là c'est le drame --> je lis bien les 507 plusieurs fois et d'un coup je tombe à 152 !!

Ca explique bien le fait que j'ai un décalage mais pas pourquoi j'ai une chute de lecture dans le flux.

Bien sur cela reste aléatoire.
Yaurait il un moyen de continuer ma boucle à condition que j'ai bien lu mes 512 octets ?

**adiGuba** · 21/12/2006, 11h41

Envoyé par jeffciara

Et là c'est le drame --> je lis bien les 507 plusieurs fois et d'un coup je tombe à 152 !!

Au milieu du traitement ou à la fin ? Si c'est à la fin c'est normal cela signifie que tu as atteint la fin du fichier...

Sinon d'après la doc de InputStream il est possible que skip() retourne plus tôt : il faut vérifier son code de retour

a++

**jeffciara** · 21/12/2006, 11h49

Aleatoirement.
Donc au milieu , vers le début, vers la fin...

En ce qui concerne la methode skip(long) je pense son job est de faire un read(new char[long])

**adiGuba** · 21/12/2006, 11h56

Il s'agit surement de lenteur réseaux, qui font que le buffer de lecture est vide et que le skip() ne bloque pas. Le problème vient surement de l'implémentation de l'InputStream qui gère le FTP...

Il faut donc que tu vérifies la valeur retourné par le read() et par le skip(), par exemple en le remplaçant par cette méthode :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
	public static void skip(Reader r, long n) throws IOException {
 
		long skipped;
		while (n>0) {
			skipped = r.skip(n);
			if (skipped<=0) {
				break; // EOF
			}
			n -= skipped;
		}
 
	}

a++

**jeffciara** · 21/12/2006, 12h16

S'il n'existe pas d'autre façon je pense que je vais adopter ta solution qui est quand même plus élegante qu'un sleep et plus sure

Merci pour ton aide