Discussion :

[wagui31]

Bonjour j'aurais besoin de votre aide

j'utilise un BufferedReader pour récupérer le résultat Json

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

br = new BufferedReader(new InputStreamReader(c.getInputStream()));

Et après je parcours mon résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 while ((line = br.readLine()) != null) 
{
	 json = json + line;
}

Sauf que des fois le ReadLine génére un out off Memory parce que la ligne qui va récupérer à beaucoup de donnée

En sachant que le fichier se compose d'une seule ligne généralement donc ce que va essayer de lire la méthode ReadLine c'est tout le fichier d'un coups

Est-ce que y un moyen de charger le fichier autrement pour le lire svp

Merci d'avance pour votre aide.

Cordialement

[dinobogan]

Tu peux utiliser ton InputStreamReader directement au lieu de le passer dans le BufferedReader et tu vas lire par blocs.
Si tu souhaites conserver la bufferisation, utilise un BufferedInputStream.

[wagui31]

Merci pour ta réponse dinobogan

comment j'utilise directement le InputStream ? tu veux dire j'utilise la méthode read(arg0, arg1, arg2) ?

Est ce que tu peux me donner un exemple stp ?

Cordialement

[thelvin]

Pardon si c'est une question stupide, mais tu veux en faire quoi, du JSON que tu es en train de lire ?

[wagui31]

Merci pour ta réponse thelvin

Pour le Json je doit le parcourir et récupérer les données Champs par champs, pour les sauvegarder après dans plusieurs tables d'une bases de donnée.

Cordialement

[thelvin]

Ok.

Donc a priori tu espérais ensuite donner ce texte JSON lu à une bibliothèque JSON pour qu'elle te permette d'extraire les données voulues.

Or, tu as remarqué qu'essayer de lire le JSON en entier provoque un dépassement de mémoire. Peu importe comment tu le lis, c'est le fichier JSON lui-même qui est trop grand pour être en mémoire. Et donc ne peut pas être donné à une bibliothèque JSON.

Tu as besoin de lire, non seulement le fichier petit à petit, mais surtout le JSON qu'il contient petit à petit. Puisque tout entier il est trop gros pour la mémoire. Et ça, ce n'est pas l'usage habituel.

Pas habituel, mais pas impossible. Tu peux utiliser par exemple JsonParser de la bibliothèque Jackson, qui va lire un JSON élément par élément, et te permettant donc de traiter le JSON au fur et à mesure, sans le charger entièrement en mémoire.
Un JsonParser peut lire un InputStream au lieu de nécessiter des données entièrement en mémoire.
Cela te permettrait par exemple, d'extraire des données par paquets de 500, mettre ce paquet en base de données, et passer au paquet suivant.