Discussion :

[zizou771]

Slt,

je veut copier le contenu d'un fichier (10G) dans un autre fichier, donc je fait comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 IOUtils.copy(is, out);  
out.close();
is.close();

où 'is' est l'inputStream de mon fichier source et 'out' est l'outputStream de mon fichier cible.

Seulement voila, dès que mon fichier source commence à faire 1G ou plus j'ai l'erreur OutOfMemoryError.

Quelqu'un aurait une autre idée pour ne pas avoir cet erreur?

Merci d'avance pour votre aide.

[schniouf]

Waou, c'est quel genre de fichier pour qu'il fasse 10Go ???

[zekey]

Le problême provient certainement du fait que cette méthode n'utilise pas de buffer pour lire/ecrire. Regarde du coté des doc sur ce site tu trouvera ton bonheur.

[zizou771]

avec les buffer j'ai la meme erreur:
j'ai fait:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 BufferedInputStream is = new BufferedInputStream(myInputStream);
long l = is.available();
 
BufferedOutputStream out = new BufferedOutputStream(myOutputStream);
for(long i=0;i<l;i++) {
     out.write(is.read());
}
out.flush();
out.close();
is.close();

où 'myInputStream' est l'inputStream de mon fichier source et 'myOutputStream' est l'outputStream de mon fichier cible.

[fnobb]

essaie avec des channels:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
    try {
        // Create channel on the source
        FileChannel srcChannel = new FileInputStream("srcFilename").getChannel();
 
        // Create channel on the destination
        FileChannel dstChannel = new FileOutputStream("dstFilename").getChannel();
 
        // Copy file contents from source to destination
        dstChannel.transferFrom(srcChannel, 0, srcChannel.size());
 
        // Close the channels
        srcChannel.close();
        dstChannel.close();
    } catch (IOException e) {
    }

[zizou771]

je ne peut pas utilisé les channel puique j'utilise commons-VFS pour acceder a des fichiers via SSH. Donc les object que je manipule sont des FileObject et non des File

[le y@m's]

avec les buffer j'ai la meme erreur:
j'ai fait:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 BufferedInputStream is = new BufferedInputStream(myInputStream);
long l = is.available();
 
BufferedOutputStream out = new BufferedOutputStream(myOutputStream);
for(long i=0;i<l;i++) {
     out.write(is.read());
}
out.flush();
out.close();
is.close();

où 'myInputStream' est l'inputStream de mon fichier source et 'myOutputStream' est l'outputStream de mon fichier cible.

Tout d'abord quelques remarques (qui à priori n'ont rien à voir avec ton problème).

Première remarque, il faut fermer les fluxs dans un bloc finally.
Deuxième remarque, pour faire ta copie utilise un buffer (byte[])

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
BufferedInputStream is = new BufferedInputStream(myInputStream);        
BufferedOutputStream out = new BufferedOutputStream(myOutputStream);
byte[] data = new byte[2048];
int nbRead = 0;
try {
    while((nbRead = is.read(data)) > 0) {
        out.write(data, 0, nbRead);
        out.flush();
    }
} finally {
    try {
        out.close();
    } finally {
        is.close();
    }
}

Pour ton problème de mémoire regarde du coté des options -Xmx et -Xms de java
http://java.sun.com/j2se/1.5.0/docs/.../java.html#Xms

[zizou771]

je suis en train de tester avec RandomAccessContent (equivalent a RandomAccessFile) et j'ai OutofMemoryError des que je veut lire dans le fichier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
RandomAccessContent racIn = file.getContent().getRandomAccessContent(RandomAccessMode.READ);
        RandomAccessContent racOut = flow.getContent().getRandomAccessContent(RandomAccessMode.READ);
        int tailleBuffer=5;
        byte [] tab=new byte[tailleBuffer];
        logger.info(racIn.length());//affiche 1418633216
        logger.info("!!"+racIn.getFilePointer());//affiche 0
            racIn.readByte();

j'ai essayé de lire par tout les moyen j'ai toujours la meme erreur.
que ce soit avec:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
byte [] tab=new byte[5];
racIn.readFully(tab,0,4);

ou encore

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
byte [] tab=new byte[5];
racIn.readFully(tab);

rien y fait je ne comprend pas!!

[fnobb]

tu as essayé byte par byte avec readByte() ?

[zizou771]

oui des le premier readByte() ca attend 4 minute et ca me met outofmemoryerror

[fnobb]

Tu as regardé dans FileObject les méthodes
- copyFrom ?
- moveTo ?

[zizou771]

copyfrom ca me fait pareil
moveto je ne l'ai pas tester puisque, a - que j'me trompe, elle va me virer mon fichier source (ce que je ne veux pas)
mais j'vais tester pour voir

[®om]

Pourquoi tu ne prends pas le code donné par iohack?