Discussion :

[jeyGey]

Bonjour,

J'ai un petit ceci pour stocker un objet :

J'essaye de faire un algo mais j'ai un problème pour stocker un objet :

J'initialise une arrayList qui va contenir mon code de fin.

Au début, je dois parcourir un fichier (n'importe quel fichier), puis stocker tout les caractère qui apparaisse dans ce fichier.

J'ai stocker ces caractères dans une hashSet d'integer (j'ai caster le caractère en entier).

Ensuite, je dois re parcourir mon fichier et cette fois à chaque fois que je lis un caractère de mon fichier je dois récupérer l'indice de ce caractère dans ma hashSet (on s'en fiche comment je la récupère).

(C'est cette partie qui ne marche pas)
-->
Et cette indice, je l'ajoute à mon arrayList de départ, le problème c'est que pour les petit fichier, ça marche car il n'y à pas beaucoup d'élement à ajouter mais quand je test juste avec un film de 180mo, j'obtient :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
LinkedList<Integer> linkedList = new LinkedList<Integer>(dictonnary);
 
for (int i = 0; i < mappedByteBuffer.limit(); i++) {
	int caracter = (int) mappedByteBuffer.get();
	encoding.add(linkedList.indexOf(caracter));
}
 
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at java.util.Arrays.copyOf(Unknown Source)
	at java.util.Arrays.copyOf(Unknown Source)
	at java.util.ArrayList.grow(Unknown Source)
	at java.util.ArrayList.ensureExplicitCapacity(Unknown Source)
	at java.util.ArrayList.ensureCapacityInternal(Unknown Source)
	at java.util.ArrayList.add(Unknown Source)
	at mz78.MTF.swapAndShift(MTF.java:86)
	at mz78.MTF.encoding(MTF.java:26)
	at mz78.Main.main(Main.java:16)

<--

Que dois-je faire pour résoudre ce problème, je ne veux pas changer la taille de la jvm car si je test avec un film de 30go je ne pense pas que ça passera ^^.

On m'a conseillé d'utiliser la sérialisation mais je n'arrive pas à faire une sérialisation avec une boucle.

Merci.

[JoeChip]

Pourquoi ne pas stocker uniquement les caractères, au moment de la lecture du fichier ? Tu lis, tu teste si c'est un caractère, si oui tu le stocke dans la structure que tu veux. Par exemple un autre fichier... Comme ça t'es sûr d'avoir assez de place, en principe, sauf si ton HD est trop plein, ce que tu peux tester avant de commencer...

[jeyGey]

Merci pour réponse tout d'abord.

Je ne peux pas faire ça, parce que je ne l'ai pas expliquer mais je fais un traitement sur mon arrayList de départ (distonnary) quand je recherche le caractère que j'ai lu, je récupère son indice, je supprime l’élément et je le passe en tête de liste ^^. Je ne peux pas faire le traitement en même mais ce n'est pas le soucis.

Par contre j'ai essayé de stocker ça dans un fichier mais le problème c'est que c'est super long ...

[tchize_]

D'abord ta strutcture est mauvaise. Tu stocke tous les caractères, alors que ce qui t'intéresse, c'est le premier que tu trouve avec indexOf => t'as juste besoin d'une structure à 256 entrée qui stocke l'indice du premier caractère de chaque type. Tous les autres sont inutiles. Ensuite convertir le char en integer n'a pas de sens. Enfin, une vidéo, ce ne sont pas des caractères là dedans, donc je comprend pas trop le but de la manoeuvre....


Enfin, encoding gagnerais à être transformée en un int[] plutôt que de bouffer plein de place en tant que List<Integer>

Enfin, comme mentionné, il serait probablement préférable de revoir l'algo pour qu'il n'aie pas besoin de tout ce stockage, mais qu'il traite les données en flux continu.

[jeyGey]

Merci, ça m'intéresse,

Est-ce que tu pourrais me donner un exemple de ce que tu dit ?

Au départ c'est ce que j'avais fait un tableau[255] et j'ajoutais un caractère dans ce tableau en fonction de son code ascii du coup mon tableau était triée et il n'y avait pas de doublon, sauf que dans un fichier vidéo j'ai trouvé un caractère avec un code ascii de 65500 et quelque...

Qu'est ce que tu entend par 1er caractère de chaque type ?

je te fais un exemple simple de l'algo si tu veux pour bien qu'on ce comprenne qu'il n'y ai pas d'ambiguité. (Avec ce que je fais actuellement).

fichier "test.txt" contient "baaabacabacab"

Je récupère mon dictionnaire donc je parcours mon fichier et je récupère chaque caractère.
J'obtient : [a, b, c]

Ensuite je re parcours mon fichier :

Je lis un b
donc je récupère l'indice de b dans dictionnary (1 que j'ajoute a ma structure), je le supprimer [a, c], et je le passe en tête [b, a, c].

Je lis un a
donc je récupère l'indice de a dans dictionnary (1 que j'ajoute a ma structure), je le supprimer [b, c], et je le passe en tête [a, b, c].

... Jusqu’à la fin du fichier

A la fin j'obtient :
[1, 1, 0, 0, 1, 1, 2, 1, 2, 1, 2, 1, 2].

[tchize_]

sauf que dans un fichier vidéo j'ai trouvé un caractère avec un code ascii de 65500 et quelque...

Un fichier vidéo c'est du binaire, pas des caractères. T'essaie de faire quoi au juste?

Qu'est ce que tu entend par 1er caractère de chaque type ?

Ben l'index de la première rencontre, puisque visible c'est tout ce qu'utilise ta boucle. Quoi que vu ton exemple, tu n'utilise carrément que sa seul présence, ce qui est encore plus basique.

je te fais un exemple simple de l'algo si tu veux pour bien qu'on ce comprenne qu'il n'y ai pas d'ambiguité. (Avec ce que je fais actuellement).

Je ne vois toujours pas le but de l'algo (juste ce qu'il sort), mais soit. Tu peux très bien réaliser ça avec un tableau de taille 255 comme tu l'a fait avant. Quand aux nombres que tu génère en parcourant le deuxième fichier, tu peux très bien les utiliser directement plutot que les stocker en mémoire (mais bon, j'ai pas la moindre idée de ce à quoi tu les utilise)

[jeyGey]

Ok merci, je refaire la lecture et je te tiens au courant.
Le code de fin je m'en sert dans une autre méthode et je ne peux pas le faire au fur et a mesure il me faut absolument le code de fin.

[jeyGey]

En faite, sa ne m'aide pas du tout.
Car ce que tu m'explique je l'ai deja fait (j'ai en revanche bien modifier mon code, j'ai fait un tableau de 255 case pour stocker les caractères que je trouve) mais je n'arrive pas a stocker tout les 200 000 millions de int (ou plus) que je dois stocker.