Discussion :

[jforks]

J'ai un gros fichier à parser avec Regex/Pattern et j'ai pensé à utiliser
StringBuffer ou CharBuffer qui implémentent CharSequence ?

Je ne sais pas comment fonctionne le buffer sur un gros fichier d'un 1Go minimum par exemple. S'il n'a pas la place en mémoire pour stocker autant de données , s'occupe-t-il de la réallocation mémoire ou faut-il s'en charger ?

Par ailleurs savez-vous pourquoi le CharBuffer est plus rapide qu'un StringBuffer sur les gros fichiers ?

merci pour vos réponses

[dinobogan]

Salut,

J'ai un gros fichier à parser avec Regex/Pattern et j'ai pensé à utiliser
StringBuffer ou CharBuffer qui implémentent CharSequence ?

Je ne vois pas le rapport entre un CharSequence, qui est une interface, et un fichier...

Je ne sais pas comment fonctionne le buffer sur un gros fichier d'un 1Go minimum par exemple. S'il n'a pas la place en mémoire pour stocker autant de données , s'occupe-t-il de la réallocation mémoire ou faut-il s'en charger ?

Un StringBuffer n'a aucun lien avec un fichier. C'est un tableau monté en mémoire, à toi de le remplir comme tu le souhaite. Si tu remplis le buffer avec un milliard d'éléments, il y aura un milliard d'éléments en mémoire (la JVM n'appréciera pas du tout avec les options standards de lancements )

Par ailleurs savez-vous pourquoi le CharBuffer est plus rapide qu'un StringBuffer sur les gros fichiers ?

Ouhlala ! Tout d'abord, avec quelle implémentation de CharBuffer ? Ensuite, quelles sont les données de tests ? Les méthodes de bench ?



Pour traiter un fichier volumineux, il est inutile et souvent impossible de le monté en mémoire. Il faut conserver un flux de lecture avec le moins de retour arrière possible. Regarde du côté du java.io.PushBackInputStream, c'est peut-être une solution.

[iohack]

Une idée comme ça :
Faire un mapping mémoire avec java.nio et créer une méthode appliquant la regex au MappedByteBuffer.
( ne fonctionnera qu'avec des fichiers de taille <= 2Go ).