Discussion :

[StéphanieB.]

Bonjour,

est-ce que quelqu'un a déjà rencontré un souci d'insertion avec informatica? En source j'ai 99000 lignes, un mapping tout simple avec un bloc d'aggrégat et un petit bloc de f(x), et en cible il n'insère QUE 65874 lignes, aucune idée du pourquoi ! la log considère que c'est le nombre de lignes à traiter or non, ce n'est qu'un copier coller d'un fichier csv vers une table B d'une base de données ! J'avais déjà connu un souci d'insertion vers une base MySQL très ancienne sans avoir pu le résoudre mais en le contournant via des scripts, ce que là je ne peux faire... J'ai songé aux différentes tailles de caches et autres buffer, rien n'y change... Il y a des limites d'insertions? j'en doute dans certains mappings je fais des insertions par centaines de milliers. Quelqu'un a déjà eu un problème similaire? Des pistes, des idées? Merci de votre aide car mon informatica ne semble pas aimer la fin de l'année !

Si cela peut aider quelqu'un j'ai ceci dans la log qui semble pertinent sans que je parvienne à trouver où modifier éventuellement ces chiffres :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
MAPPING> CMN_1791 The index cache size that would hold indexes for [65874] aggregate groups of input rows, in memory, is [1524987] bytes
MAPPING> CMN_1790 The data cache size that would hold [65874] aggregate groups of input rows, in memory, is [6670411] bytes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
MAPPING> TT_11031 Transformation [AGGTRANS]:
MAPPING> TT_11114 [AGGTRANS]: Input Group Index = [0], Input Row Count [99847]
MAPPING> TT_11034     [SQ_INT_REGLEM1_csv]: Input - 99847
MAPPING> TT_11115 [AGGTRANS]: Output Group Index = [0]
MAPPING> TT_11037     [EXPTRANS]: Output - 65874,    Dropped - 0
MAPPING> CMN_1791 The index cache size that would hold indexes for [65874] aggregate groups of input rows, in memory, is [1524987] bytes
MAPPING> CMN_1790 The data cache size that would hold [65874] aggregate groups of input rows, in memory, is [6670411] bytes
MAPPING> 
MAPPING> TT_11031 Transformation [EXPTRANS]:
MAPPING> TT_11114 [EXPTRANS]: Input Group Index = [0], Input Row Count [65874]
MAPPING> TT_11034     [AGGTRANS]: Input - 65874
MAPPING> TT_11115 [EXPTRANS]: Output Group Index = [0]
MAPPING> TT_11037     [UPDTRANS]: Output - 65874,    Dropped - 0

[SQ_INT_REGLEM1_csv]: Input - 99847 : la lecture de ma source

[DevNico]

Bonjour,

A priori il s'agit juste de l'effet de ton agrégat qui a 99847 lignes en entrée et 65874 en sortie.

Nicolas

[StéphanieB.]

Je ne suis pas certaine que se soit l'effet de l'aggrégat : pour tester je l'ai virer, seulement 2 insertions : une par table... Encore pire donc... Et en le remettant finalement il reste à 2 insertions... Je n'y comprends plus rien...
Pour info je suis sous informatica power center V7.1.1

[Glutinus]

Es-tu sûre de la délimitation de ton fichier en entrée ?

C'est du csv, donc normalement délimité par de la virgule (ou du point-virgule...), mais le définis-tu tel quel ou alors à taille de champ limitée ?

Normalement, si les champs sont définis par taille et qu'il y a un décalage, tu devrais avoir en base un décalage également (sauf si ce n'est que des séries de chiffres ou de lettres).

Je ne vois pas ce que ça pourrait être sinon (sauf bien sûr un travail effectué par l'aggrégat, parce que ton f(x) n'est pas une transformation active et il y a donc autant de lignes en entrée qu'en sortie).

Par contre, à essayer, décharger d'un fichier en entrée à ... un fichier en sortie (et non ta base) pour voir quelle tête a ta sortie.