Discussion :

[zizou771]

Slt,

je veut copier le contenu d'un fichier (10G) dans un autre fichier, donc je fait comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 IOUtils.copy(is, out);  
out.close();
is.close();

où 'is' est l'inputStream de mon fichier source et 'out' est l'outputStream de mon fichier cible.

Seulement voila, dès que mon fichier source commence à faire 1G ou plus j'ai l'erreur OutOfMemoryError.

Quelqu'un aurait une autre idée pour ne pas avoir cet erreur?

Merci d'avance pour votre aide.

[schniouf]

Waou, c'est quel genre de fichier pour qu'il fasse 10Go ???

[zekey]

Le problême provient certainement du fait que cette méthode n'utilise pas de buffer pour lire/ecrire. Regarde du coté des doc sur ce site tu trouvera ton bonheur.

[zizou771]

avec les buffer j'ai la meme erreur:
j'ai fait:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 BufferedInputStream is = new BufferedInputStream(myInputStream);
long l = is.available();
 
BufferedOutputStream out = new BufferedOutputStream(myOutputStream);
for(long i=0;i<l;i++) {
     out.write(is.read());
}
out.flush();
out.close();
is.close();

où 'myInputStream' est l'inputStream de mon fichier source et 'myOutputStream' est l'outputStream de mon fichier cible.

[fnobb]

essaie avec des channels:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
    try {
        // Create channel on the source
        FileChannel srcChannel = new FileInputStream("srcFilename").getChannel();
 
        // Create channel on the destination
        FileChannel dstChannel = new FileOutputStream("dstFilename").getChannel();
 
        // Copy file contents from source to destination
        dstChannel.transferFrom(srcChannel, 0, srcChannel.size());
 
        // Close the channels
        srcChannel.close();
        dstChannel.close();
    } catch (IOException e) {
    }

[zizou771]

je ne peut pas utilisé les channel puique j'utilise commons-VFS pour acceder a des fichiers via SSH. Donc les object que je manipule sont des FileObject et non des File

[®om]

Et avec RandomAccessFile, en faisant petits bouts par petits bouts?

[iohack]

En voyant ce problème, je me pose une question ( conne ) pour laquelle j'espère qu'une personne éclairée apporte la réponse.
Les JVM officielles ( windows, linux, mac, AIX ) supportent-elles les adressages 64 bit ? J'avoue ne jamais avoir essayé et cela pourrait expliquer le soucis de zizou771. Si l'adressage se fait sur 32 bits ( 4294967296 ) - 1bit de control, cela nous fait 2147483648 soit 2Go une limite à laquelle beaucoup de logiciels sont encore restreints à l'heure actuelle.
Ou cela vient tout simplement de l'implémentation des flux du package java.io ?

[le y@m's]

avec les buffer j'ai la meme erreur:
j'ai fait:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 BufferedInputStream is = new BufferedInputStream(myInputStream);
long l = is.available();
 
BufferedOutputStream out = new BufferedOutputStream(myOutputStream);
for(long i=0;i<l;i++) {
     out.write(is.read());
}
out.flush();
out.close();
is.close();

où 'myInputStream' est l'inputStream de mon fichier source et 'myOutputStream' est l'outputStream de mon fichier cible.

Tout d'abord quelques remarques (qui à priori n'ont rien à voir avec ton problème).

Première remarque, il faut fermer les fluxs dans un bloc finally.
Deuxième remarque, pour faire ta copie utilise un buffer (byte[])

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
BufferedInputStream is = new BufferedInputStream(myInputStream);        
BufferedOutputStream out = new BufferedOutputStream(myOutputStream);
byte[] data = new byte[2048];
int nbRead = 0;
try {
    while((nbRead = is.read(data)) > 0) {
        out.write(data, 0, nbRead);
        out.flush();
    }
} finally {
    try {
        out.close();
    } finally {
        is.close();
    }
}

Pour ton problème de mémoire regarde du coté des options -Xmx et -Xms de java
http://java.sun.com/j2se/1.5.0/docs/.../java.html#Xms

[bouye]

Je me pose la meme question, tous les livres que j'ai indiquent cette limitation (meme ceux sortis apres les premieres JVM 64-bits mais bon ils etaient plus centres sur la version 32-bits) et comme toutes les indexations de tableaux et de collection utilisent des int on la retrouve un peu partout dans l'API ce qui limite de facto ce que peut faire le programmeur (en acces direct, apres on peut toujours travailler "par fenetres/plages").

Apres j'ignore si la couche native de la JVM a une correction a ce probleme pour ses addressages de memoire et acces a des flux/fichiers en iternes. Il y a peut-etre plus de doc a ce sujet sur le site de Sun.

[zizou771]

j'avais déjà essayé en augmentant la mémoire mais cela ne fonctionne pas.
Par contre je vient de me rendre compte que ce n'est pas au moment de la copie de fichier que j'ai l'erreur OutOfMemoryError, c'est lorsque je recupere l'inputStream du fichier source:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

InputStream in = file.getContent().getInputStream();

Comment faire autrement? (file est un FileObject de l'API commons-VFS)

[fnobb]

et du coté de commons-VFS tu as regardé FileReplicator ?

[le y@m's]

As-tu regardé dans la doc de l'API, peut-être y a-t-il une limitation sur la taille des fichiers.

[zizou771]

FileReplicator c'est pour faire des sauvegarde local or moi c'est pour copier d'un serveur sur un autre. Donc je manipule que des FileObject et non des File

[zizou771]

dans la doc il est dit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

The input stream is buffered, so there is no need to wrap it in a BufferedInputStream.

donc ils devrait gerer les gros fichier!!

[fnobb]

toujours dans la doc commons-vfs :FileUtil

[zizou771]

ah merci j'avais pas vu FileUtil.
je test et j'te dit dans 2s si ca marche

[zizou771]

he non j'y est cru mais j'ai encore:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Exception in thread "session Task" java.lang.OutOfMemoryError: Java heap space

[zizou771]

une autre idée?

[iohack]

C'est dégueulasse mais si c'est la seule solution... :
Utiliser une commande système pour effectuer la copie.
( cp sous unix ou del/erase sous windaube )
?