Discussion :

[Guignon]

Salut tous le monde !

Bon c'est encore moi... Dur pour vous héhé

Cette fois-ci je voulais savoir si il était possible de lire une table d'une BDD et un fichier Excel en même temps. Ceux-ci pour comparer si les données correspondent.

J'ai essayé, lecture de la table OK et envoie des données dans un TMAP ou je reçois de même les données lu dans le fichier Excel. Et du coup il plante après avec le TMAP... Ou en même temps :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at java.util.Arrays.copyOf(Unknown Source)
	at java.lang.AbstractStringBuilder.expandCapacity(Unknown Source)
	at java.lang.AbstractStringBuilder.ensureCapacityInternal(Unknown Source)
	at java.lang.AbstractStringBuilder.append(Unknown Source)
	at java.lang.StringBuilder.append(Unknown Source)
	at projecttest1.job3_0_1.Job3$1Util_tLogRow_3.format(Job3.java:1462)
	at projecttest1.job3_0_1.Job3.tAccessInput_1Process(Job3.java:2237)
	at projecttest1.job3_0_1.Job3.tAccessConnection_1Process(Job3.java:557)
	at projecttest1.job3_0_1.Job3.runJobInTOS(Job3.java:4577)
	at projecttest1.job3_0_1.Job3.main(Job3.java:4424)

il y a une boucle ou autre qu'il a pas aimé. Parce que, peut-être, les données ne sont pas lu en même temps ??

Merci

[XxArchangexX]

Bonjour,

Cette erreur est liée à l'espace mémoire, Java à une limite sur sa mémoire, le tMap stocke en mémoire le lookup (placer le flux le plus petit ici et le plus important en main), s'il est trop gros, un 'Java heap space' arrive.

1) Augmenter le xms et xmx. (Fenêtre->Préférences->Talend->Run/Debug : -Xms256M et -Xmx1024M par exemple)

2) Dans le tMap, à droite il est possible de dire : stocker sur disque (store temp data -> true), ça soulage la mémoire.

3) Le traitement n'est pas optimisé, il faut le revoir.

4) Faire un traitement par lot.

[Guignon]

Merci pour les infos !

Oui il traite trop de ligne, et plante... Mais il faut que je compare 2 listes ( La BDD et le fichier ) donc comment faire un traitement par lot ??!

Merci bien

Edit: il y a maximum 1500 lignes à traiter, de chaque côté (BDD/Fichier)

[XxArchangexX]

Bonjour,

As-tu regardé le store temp data du tMap?

Si la base fait 100.000 et un fichier 80.000 (Talend gère bien ces quantités ^^, c'est pour l'exemple) et que ça plante malgré le paramétrage. Il y a plusieurs options, l'une d'elle est de faire une boucle qui prend 20.000 lignes du fichier en lookup du tMap qui compare à la base et ainsi de suite jusqu’à épuiser les données du fichier

[Guignon]

La taille maximale initiale de la mémoire est de 2 000 000 de ligne, du TMap. C'est cela le store temp data ?

Il sort quand même un chiffre de ligne de sortie : ~1 800 000 lignes. Alors qu'il y en a 1500 max. C'est peut-être ma façon de faire qu'il faut que je change. J'ai, d'un côté la lecture des données dans la base, et de l'autre la lecture des données dans le fichier. Le tous regrouper dans un TMap pour une comparaison des données dans le constructeur d'expression. En sortie un TLogRow, pour voir ce qu'il sort...

J'ai mis des TLogRow après la lecture des données de la BDD et fichier et il sort bien les bonne données. C'est donc au niveau du TMap qu'il faut que ça change ?

Merci bien pour vos réflexions.

[Guignon]

Je relance un peu mon sujet. En faite j'ai 2 listes DIFFERENTES et je voudrais comparer l'une, à l'autre.

Savoir si A de la liste 2 est dans la liste 1 et si oui la stocker ou non ensuite B de la liste 2 est dans la liste 1 et ainsi de suite. Quelqu'un aurait une idée ? Se sont 2 listes Excel.

Merci

[Benoit_Durand]

quelle est la structure de la ligne ?
Ce n'est pas normal que ça plante avec 1500 lignes, vous comparez tous les champs entre eux ?
Est-ce qu'il y a une clé pour identifier les lignes ?

[kayim]

Je relance un peu mon sujet. En faite j'ai 2 listes DIFFERENTES et je voudrais comparer l'une, à l'autre.

Savoir si A de la liste 2 est dans la liste 1 et si oui la stocker ou non ensuite B de la liste 2 est dans la liste 1 et ainsi de suite. Quelqu'un aurait une idée ? Se sont 2 listes Excel.

Merci

Hello, tu peux utiliser les options "rejects" des jointures de ton tMap pour rediriger les correspondances / non-correspondances entre tes 2 flux

[Cogito.11]

une idée, peut-être bête, mais as tu vérifié que ton fichier Excel ne contenait pas de ligne vide , genre 1500 lignes de data en 1 000 000 de ligne vide ?
Pour palier ce genre de pb, je passe mes fichiers Excel au format CSV pour être sur de leur taille en colonne et ligne.