Discussion :

[Smix007]

Bonjour,
Depuis deux mois nous travaillons sur un projet avec Talend Open Studio, mais j'ai appris aujourd'hui que cet ETL ne supporte pas n'importe quel schéma xml;
http://www.talendforge.org/forum/vie...pid=9345#p9345

Nous devons donc tout recommencer!!!. mais comme le projet dois être fini à la fin du mois, je veux pas prendre le risque de tester plusieurs ETL.

Dans mon projet, on se connecte à une base Oracle, on fais notre mapping avant de stoquer ces informations dans un fichier xml;
exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
<?xml version="1.0" encoding="UTF-8"?>
<ODM xmlns="http://www.cdisc.org/ns/odm/v1.2" FileType="Snapshot" Granularity="All" FileOID="Export.629472970559578368" CreationDateTime="2007-12-19T16:22:21+01:00" ODMVersion="1.2">
   <Study OID="SPONSOR.Trial.2007">
      <GlobalVariables>
         <StudyName>Test Trial</StudyName>
         <StudyDescription>Implantation of Stents</StudyDescription>
         <ProtocolName>Trial Protocol</ProtocolName>
      </GlobalVariables>
      <BasicDefinitions>
         <MeasurementUnit OID="mu.kg" Name="kilogram">
            <Symbol>
               <TranslatedText xml:lang="de">kg</TranslatedText>
            </Symbol>
         </MeasurementUnit>
         <MeasurementUnit OID="mu.cm" Name="centimeter">
            <Symbol>
               <TranslatedText xml:lang="de">cm</TranslatedText>
            </Symbol>
         </MeasurementUnit>
      </BasicDefinitions>
      <MetaDataVersion OID="MDV.0.1" Name="Version 0.1">
         <Protocol>
            <StudyEventRef StudyEventOID="e.BASELINE" OrderNumber="1" Mandatory="Yes"/>
            <StudyEventRef StudyEventOID="e.FOLLOWUP" OrderNumber="2" Mandatory="Yes"/>
         </Protocol>
         <StudyEventDef OID="e.BASELINE" Name="Baseline" Repeating="No" Type="Unscheduled">
            <FormRef FormOID="f.base" OrderNumber="2" Mandatory="Yes"/>
            <FormRef FormOID="f.LAB" OrderNumber="4" Mandatory="Yes"/>
         </StudyEventDef>
         <StudyEventDef OID="e.FOLLOWUP" Name="Follow-Up" Repeating="Yes" Type="Unscheduled">
            <FormRef FormOID="f.FUSTATUS" OrderNumber="1" Mandatory="Yes"/>
         </StudyEventDef>
         <FormDef OID="f.base" Name="Base data" Repeating="No">
            <ItemGroupRef ItemGroupOID="ig.DEMOGRAPHICS" OrderNumber="3" Mandatory="Yes"/>
            <ItemGroupRef ItemGroupOID="ig.VITALSIGNS" OrderNumber="5" Mandatory="Yes"/>
         </FormDef>
         <FormDef OID="f.FUSTATUS" Name="Follow-up Status" Repeating="No">
            <ItemGroupRef ItemGroupOID="ig.FUSTATUS" OrderNumber="1" Mandatory="Yes"/>
         </FormDef>
         <FormDef OID="f.LAB" Name="Laboratory" Repeating="No">
            <ItemGroupRef ItemGroupOID="ig.LABBASLINE" OrderNumber="3" Mandatory="Yes"/>
         </FormDef>
         <ItemGroupDef OID="ig.VITALSIGNS" Name="Vital Signs" Repeating="No" SASDatasetName="VS">
            <ItemRef ItemOID="i.VS.HEIGHT" OrderNumber="1" Mandatory="No"/>
            <ItemRef ItemOID="i.VS.WEIGHT" OrderNumber="2" Mandatory="No"/>
            <ItemRef ItemOID="i.VS.BMI" OrderNumber="3" Mandatory="No"/>
         </ItemGroupDef>
         <ItemGroupDef OID="ig.FUSTATUS" Name="Follow-up Status" Repeating="No" SASDatasetName="GEN">
            <ItemRef ItemOID="i.FUDATE" OrderNumber="1" Mandatory="Yes"/>
            <ItemRef ItemOID="i.STATUSPATFU" OrderNumber="2" Mandatory="Yes"/>
         </ItemGroupDef>
         <ItemGroupDef OID="ig.LABBASLINE" Name="Lab baseline data" Repeating="No" SASDatasetName="LAB">
            <ItemRef ItemOID="i.LB.HGB" OrderNumber="2" Mandatory="No"/>
            <ItemRef ItemOID="i.LB.HBA1C" OrderNumber="3" Mandatory="No"/>
         </ItemGroupDef>
         <ItemGroupDef OID="ig.DEMOGRAPHICS" Name="Demographics" Repeating="No" SASDatasetName="DM">
            <ItemRef ItemOID="i.DM.INITIALS" OrderNumber="2" Mandatory="Yes"/>
            <ItemRef ItemOID="i.VISITDATE" OrderNumber="1" Mandatory="Yes"/>
         </ItemGroupDef>
         <ItemDef OID="i.VS.HEIGHT" Name="Height" DataType="integer" Length="3" SASFieldName="HEIGHT">
            <Question>
               <TranslatedText xml:lang="de">Größe</TranslatedText>
               <TranslatedText xml:lang="en">Height</TranslatedText>
            </Question>
            <MeasurementUnitRef MeasurementUnitOID="mu.cm"/>
         </ItemDef>
         <ItemDef OID="i.VS.WEIGHT" Name="Weight" DataType="integer" Length="3" SASFieldName="WEIGHT">
            <Question>
               <TranslatedText xml:lang="de">Gewicht</TranslatedText>
               <TranslatedText xml:lang="en">Weight</TranslatedText>
            </Question>
            <MeasurementUnitRef MeasurementUnitOID="mu.kg"/>
         </ItemDef>
         <ItemDef OID="i.VS.BMI" Name="BodyMassIndex" DataType="float" Length="3" SignificantDigits="1" SASFieldName="BMI">
            <Question>
               <TranslatedText xml:lang="de">BMI</TranslatedText>
               <TranslatedText xml:lang="en">BMI</TranslatedText>
            </Question>
         </ItemDef>
         <ItemDef OID="i.VISITDATE" Name="Visit date" DataType="date" Length="10">
            <Question>
               <TranslatedText xml:lang="de">Datum</TranslatedText>
               <TranslatedText xml:lang="en">Date</TranslatedText>
            </Question>
         </ItemDef>
	   <ItemDef OID="i.DM.INITIALS" Name="Initials" DataType="text" Length="2">
            <Question>
               <TranslatedText xml:lang="de">Initialen</TranslatedText>
               <TranslatedText xml:lang="en">Initials</TranslatedText>
            </Question>
         </ItemDef>
         <ItemDef OID="i.FUDATE" Name="Follow-up Date" DataType="date" Length="10">
            <Question>
               <TranslatedText xml:lang="de">Datum der Nachbeobachtung</TranslatedText>
               <TranslatedText xml:lang="en">Follow-up Date</TranslatedText>
            </Question>
         </ItemDef>
         <ItemDef OID="i.STATUSPATFU" Name="Patient Status" DataType="integer" Length="1">
            <Question>
               <TranslatedText xml:lang="de">Status des Patienten</TranslatedText>
            </Question>
            <CodeListRef CodeListOID="cl.Status"/>
         </ItemDef>
         <ItemDef OID="i.LB.HGB" Name="Hemoglobin" DataType="float" Length="5">
            <Question>
               <TranslatedText xml:lang="de">Hemoglobin</TranslatedText>
               <TranslatedText xml:lang="en">Hemoglobin</TranslatedText>
               <TranslatedText xml:lang="fr">Â*</TranslatedText>
            </Question>
         </ItemDef>
         <ItemDef OID="i.LB.HBA1C" Name="Hba1C" DataType="float" Length="6">
            <Question>
               <TranslatedText xml:lang="de">Hba1C</TranslatedText>
               <TranslatedText xml:lang="en">Hba1C</TranslatedText>
               <TranslatedText xml:lang="fr">Â*</TranslatedText>
            </Question>
         </ItemDef>         
         <CodeList OID="cl.Status" Name="Status" DataType="integer">
            <CodeListItem CodedValue="1">
               <Decode>
                  <TranslatedText xml:lang="de">Lebt</TranslatedText>
               </Decode>
            </CodeListItem>
            <CodeListItem CodedValue="2">
               <Decode>
                  <TranslatedText xml:lang="de">Kardiale Todesursache</TranslatedText>
               </Decode>
            </CodeListItem>
            <CodeListItem CodedValue="3">
               <Decode>
                  <TranslatedText xml:lang="de">Nicht-kardiale Todesursache</TranslatedText>
               </Decode>
            </CodeListItem>
            <CodeListItem CodedValue="9">
               <Decode>
                  <TranslatedText xml:lang="de">Unbekannte Todesursache</TranslatedText>
               </Decode>
            </CodeListItem>
         </CodeList>
      </MetaDataVersion>
   </Study>
   <AdminData StudyOID="SPONSOR.Trial.2007">
      <User OID="User.Admin">
         <LoginName>admin</LoginName>
         <DisplayName>Administrator</DisplayName>
         <LocationRef LocationOID="Center.Admin"/>
      </User>
      <User OID="User.002">
         <LoginName>investigator1</LoginName>
         <DisplayName>Dr. Vestigator 1</DisplayName>
         <LastName>Vestigator</LastName>
         <LocationRef LocationOID="Center.002"/>
      </User>
      <Location OID="Center.Admin" Name="Administration centre" LocationType="Other">
         <MetaDataVersionRef StudyOID="SPONSOR.Trial.2007" MetaDataVersionOID="MDV.0.1" EffectiveDate="1970-01-01"/>
      </Location>
      <Location OID="Center.002" Name="Center 1" LocationType="Site">
         <MetaDataVersionRef StudyOID="SPONSOR.Trial.2007" MetaDataVersionOID="MDV.0.1" EffectiveDate="1970-01-01"/>
      </Location>
   </AdminData>
   <ClinicalData StudyOID="SPONSOR.Trial.2007" MetaDataVersionOID="MDV.0.1">
      <SubjectData SubjectKey="Subject.17">
         <SiteRef LocationOID="Center.002"/>
         <StudyEventData StudyEventOID="e.BASELINE">
            <FormData FormOID="f.base">
               <ItemGroupData ItemGroupOID="ig.DEMOGRAPHICS">
                  <ItemData ItemOID="i.VISITDATE" Value="2007-12-03"/>
                  <ItemData ItemOID="i.DM.INITIALS" Value="DE"/>
               </ItemGroupData>
               <ItemGroupData ItemGroupOID="ig.VITALSIGNS">
                  <ItemData ItemOID="i.VS.HEIGHT" Value="170">
                     <MeasurementUnitRef MeasurementUnitOID="mu.cm"/>
                  </ItemData>
                  <ItemData ItemOID="i.VS.WEIGHT" Value="88">
                     <MeasurementUnitRef MeasurementUnitOID="mu.kg"/>
                  </ItemData>
                  <ItemData ItemOID="i.VS.BMI" Value="30.4"/>
               </ItemGroupData>
            </FormData>
            <FormData FormOID="f.LAB">
               <ItemGroupData ItemGroupOID="ig.LABBASLINE">
                  <ItemData ItemOID="i.LB.HGB" Value="100"/>
                  <ItemData ItemOID="i.LB.HBA1C" Value="34"/>
            </ItemGroupData>
            </FormData>
         </StudyEventData>
         <StudyEventData StudyEventOID="e.FOLLOWUP" StudyEventRepeatKey="001">
            <FormData FormOID="f.FUSTATUS">
               <ItemGroupData ItemGroupOID="ig.FUSTATUS">
                  <ItemData ItemOID="i.FUDATE" Value="2007-12-15"/>
                  <ItemData ItemOID="i.STATUSPATFU" Value="1"/>
               </ItemGroupData>
            </FormData>
         </StudyEventData>
      </SubjectData>
   </ClinicalData>  
</ODM>

Comme vous pouvez le constater, le schéma de mon fichier de sortie est un peu complexe. c'est un schéma que je ne dois pas changer.

Ma question est de savoir quel ETL nous devons utiliser

Je vous remercie d'avance.

[Smix007]

vous avez une idée?

[plegall]

Je suis ingénieur R&D chez Talend.

En effet, le schéma de sortie me semble très spécifique et nous aurions bien du mal à fournir une configuration générique permettant de produire des fichiers de ce type.

Cela étant dit, Talend Open Studio "a plus d'un tour dans son sac". Ce qui fait également la force de l'outil, c'est son extensibilité. Concrêtement, Talend Open Studio a été conçu pour permettre aux utilisateurs de combler leurs besoins spécifiques par des composants spécifiques. Il faudra se plonger dans le guide de création des composants [1], mais l'investissement sera valorisé par un résultat collant parfaitement au besoin, et réutilisable dans d'autres jobs.

Sur le forum de talendforge.org, une nouvelle section [2] a été créée la semaine dernière pour permettre d'échange sur la technique de création des composants.

PS: le même sujet est également débattu sur le forum talendforge.org [3]

[1] http://talendforge.org/wiki/doku.php...onent_creation
[2] http://talendforge.org/forum/viewforum.php?id=10
[3] http://www.talendforge.org/forum/viewtopic.php?id=2333

[Smix007]

Bonjour,
merci de m'avoir répondu,
effectivement, dans le troixième post sur le forum Talend, c'était moi!!
En tout cas, puisque je n'ai pas eu de réponse, j'ai commencé mon code java evec l'API JDOM. à partir du mois de Mai, j'aurai plus besoin de de cette option dans Talend. j'espère qu'il aura un release pour cette problèmatique d'ici là.

Je vous remercie encore.