Discussion :

[shaiHulud]

Bonjour,

Je cherche à spliter un fichier en batchs, mais j'ai besoin de parcourir chaque batch plusieurs fois. Je cherche donc à avoir un Iterator<Iterable<Row>>, ou Row représente une ligne du fichier.

Si j'utilise Iterables.paritition() de Guava, je recois un Iterable<List<Row>>. Ca répond à mon problème pour des petits batchs, mais chaque batch est copié en mémoire dans une liste. Je voudrais éviter cette copie mémoire.

J'imagine une solution avec des outils bas niveaux sur le fichier, de type fseek et frewind : quand on appelle iterator() sur l'Iterable<Row> représentant un batch, je reviens sur la ligne de début du batch.

- Connaissez-vous une solution toute faite ?
- Existe-t'il des FileReader qui puissent revenir à une ligne antérieure ?
- Quelles fonction bas niveaux de lecture de fichier existent en Java ?

Merci d'avance.

[iohack]

Regarde RandomAccessFile
Tu fais un premier passage pour mémorisé tous les offsets de début de ligne. Il ne te reste plus qu'à faire un seek() sur les offsets que tu viens de récupérer. Le premier passage risque d'être une peu long en cas de gros fichier, mais au moins tu ne sature pas la mémoire avec l'ensemble du contenu du fichier.

[shaiHulud]

Merci Iohack, c'est exactement ce que je cherchais !

Même pas besoin de faire un premier passage complet explicitement, l'itérateur externe s'en charge.

[thelvin]

J'ose espérer que tu n'as pas de contraintes trop compliquées concernant l'encodage des fins de ligne et du texte, par contre -_-°.

[tchize_]

J'ose espérer que tu n'as pas de contraintes trop compliquées concernant l'encodage des fins de ligne et du texte, par contre -_-°.

Genre UTF-8 :-)

[shaiHulud]

Oui, j'ai vu la limitation dans la doc de RandomAccessFile.
J'espère moi aussi ^^

[thelvin]

UTF-8 ça va encore, mais si on doit aussi gérer des trucs genre UTF-16 ou Shift-JIS ça va être compliqué. Reconnaître les octets correspondants aux sauts de lignes, qui dépendant d'ailleurs si c'est CR, LF, CRLF ou n'importe lequel.
Alors qu'un simple Files.newBufferedReader() s'occupe de tout tranquille.