Discussion :

[JeremGamer]

Bonjour,

Mon problème est tout simple à expliquer: Mon programme compresse ou stocke des fichiers ou dossiers dans un fichier zip. Mais quand un le poids total des fichiers à compresser est supérieur à 2Go, l'archive ne se termine pas et donc elle est inutile. (Elle pèse cependant le poids qu'elle devrais une fois terminée)
Je n'obtiens cependant pas d'erreur, même du type OutOfMemory (ce que je pensais être la cause mais en fait c'est surement la limite de la JVM)

J'utilise Apache IO pour lister les fichiers.
Voici mon code: (j'ai retiré les parties inutiles à la résolution du problème)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
 
public class Compressor extends JFrame {
 
	public static String choosenRate = "Nul";
	public static String type;
	public static String getName = "Dossier ou fichier compressé";
	public static String zipPath;
	public static String srcPath;
	public static boolean srcModified = false;
	public static boolean zipModified = false;
 
 
	public void compressFile(String name , String zipFile , String srcDir , String rateEntry) {
 
		File zip = new File(zipFile + "/" + name + ".zip");
 
		try {
			try {
				zip.createNewFile();
			} catch (IOException e) {
				e.printStackTrace();
			}
 
			byte[] buffer = new byte[8192];
 
   			File dir = new File(srcDir);
 
			FileOutputStream fos = new FileOutputStream(zip);
 
			ZipOutputStream zos = new ZipOutputStream(fos);
			switch (rateEntry) {
			case "Nul": 
				zos.setLevel(ZipOutputStream.STORED);
				break;
			case "Faible":
				zos.setLevel(3);
				break;
			case "Moyen":
				zos.setLevel(6);
				break;
			case "Elevé":
				zos.setLevel(9);
				break;
			}
 
			try{
 
				FileInputStream fis = new FileInputStream(srcDir);
				int length;    						
 
    			System.out.println(srcDir);
 
   				zos.putNextEntry(new ZipEntry(dir.getName()));
 
				while ((length = fis.read(buffer)) > 0) {
					zos.write(buffer, 0, length);
				}
 
					zos.closeEntry();
 
					fis.close();
 
			} catch (FileNotFoundException e) {
				e.printStackTrace();
			}
 
 
		zos.close();
 
		} catch (IOException ioe) {
			ioe.printStackTrace();
		} catch (IllegalArgumentException iae) {    			
			iae.printStackTrace();
		}
	}
 
 
	public void zipProcess(String name , String zipFile , String srcDir , String rateEntry )  {
 
			File zip = new File(zipFile + "/" + name + ".zip");
 
    		try {
 
				try {
					zip.createNewFile();
				} catch (IOException e) {
					e.printStackTrace();
				}
 
    			byte[] buffer = new byte[1024];
 
       			File dir = new File(srcDir);
 
    			List<File> filesList = (List<File>) FileUtils.listFilesAndDirs(dir, TrueFileFilter.INSTANCE, TrueFileFilter.INSTANCE);
    			File[] files = filesList.toArray(new File[filesList.size()]);
 
    			FileOutputStream fos = new FileOutputStream(zip);
 
    			ZipOutputStream zos = new ZipOutputStream(fos);
    			switch (rateEntry) {
    			case "Nul": 
    				zos.setLevel(ZipOutputStream.STORED);
    				break;
    			case "Faible":
    				zos.setLevel(3);
    				break;
    			case "Moyen":
    				zos.setLevel(6);
    				break;
    			case "Elevé":
    				zos.setLevel(9);
    				break;
    			}
 
 
    			for (int i = 0; i < files.length; i++) {
				try{
 
					if (files[i].isDirectory()) {
 
					} else {
 
					FileInputStream fis = new FileInputStream(files[i]);
					int length;    						
 
 
	    			String filePath = files[i].getAbsolutePath().substring(srcDir.length() + 1);
	    			System.out.println(filePath);
 
	   				zos.putNextEntry(new ZipEntry(filePath));
 
					while ((length = fis.read(buffer)) > 0) {
						zos.write(buffer, 0, length);
					}
 
						zos.closeEntry();
 
						fis.close();
				}
				} catch (FileNotFoundException e) {
					e.printStackTrace();
				}
    			}
 
			zos.close();
 
    		} catch (IOException ioe) {
    			ioe.printStackTrace();
    		} catch (IllegalArgumentException iae) {    			
    			iae.printStackTrace();
    		}
	}
   ...

Excusez-moi pour l'indent un peu moyen, je passerais un peu de temps pour régler ça.

[tchize_]

Est-ce que ton programme bloque sur une ligne particulière à ce moment là, où est-ce qu'il interrompt son travail et retourne à la console?

[JeremGamer]

Comme vous l'avez surement remarqué, j'ai fait un petit println à chaque fois qu'un nouveau fichier commençait à être copié. En effet le programme met plus de temps à copier les gros fichiers, ce qui est parfaitement logique d'ailleurs. Mais une fois la copie finie, il enchaîne avec les autres fichiers.
Je n'ai pas l'impression qu'il y ai de problème dans le code, surtout dites-moi si je me trompe!^^

J'ai cherché un peu et j'ai trouvé le GZIPOutputStream qui supporterait des fichiers pesant plus de 2Go. Je fais quelques tests avec ça et je vous dirais si c'est convainquant!

edit: J'ai testé le code ci-dessous sur un fichier seul pesant 7.5Go. La compression prend pas mal de temps (normal vu le poids du fichier) mais semble fonctionner correctement avec un débit plutôt bon!

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
		     try{
 
		     	GZIPOutputStream gzos = new GZIPOutputStream(new FileOutputStream(zip));
 
		         FileInputStream in = new FileInputStream(srcDir);
 
		         int len;
		         while ((len = in.read(buffer)) > 0) {
		         	gzos.write(buffer, 0, len);
		         }
 
		         in.close();
 
		     	gzos.finish();
		     	gzos.close();
 
		     } catch (FileNotFoundException e) {
					e.printStackTrace();
			}

edit2: Le taux de compression est énorme! Je suis passé de 7.5Go no compressé à 6.55Go une fois compressé!
Problème: WinRar me sort: "Fin de l'archive non attendue" :/ Même problème qu'avec le ZipOutputStream!
Même avec un fichier de 1.25Go, le même problème se produit...

edit3: Il semblerais qu'il soit nécessaire que le fichier output soit au format .gz avec le GZIPOutputStream, or jusque là, j'utilisais du .zip. J'ai testé, ça fonctionne mais je ne peux ni extraire, ni ajouter de fichiers à l'archive...
Mais petit problème: le fichier contenu dans le .gz est nommé pareil que le .gz lui même. Je voudrais conserver le nom du fichier d'origine.

[tchize_]

gzip, c'est un format pour compresser un fichier. Ce n'est pas un format d'archive. Il n'a donc aucune meta information sur le fichier stocké.
Pour un format d'archive (nom, dates, etc), il faut utiliser ZipOutputStream. Remarque: je vois dans ton code que tu ne précise pas la taille du fichier décompressé (zipEntry.setSize()). Je vois aussi dans la javadoc de ZipEntry que, si l'implémentation utilisée par ZipOutputStream ne supporte pas zip64, tu ne peux pas stocker une taille supérieure à 4G. Comme tu parles de fichier de 7.5G...


edit: Commons compress te sera probablement plus utile pour gérer du lourd comme tu le fait, les classes dans java sont surtout là pour permettre à la JVM de lire les jar


http://commons.apache.org/proper/com.../examples.html

[JeremGamer]

Merci pour l'explication à propos du GZIP.

4G peut-être mais cela se limite à 2G de mon côté.
La méthode setSize() est essentielle afin que mon problème soit résolu? Si oui, comment faire pour obtenir la taille du fichier? Je n'ai pas trouvé dans la doc de la class File.

edit: je vais essayer Common Compress merci!

[tchize_]

Si oui, comment faire pour obtenir la taille du fichier? Je n'ai pas trouvé dans la doc de la class File.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

file.length();