tfileoutput, csv, et guillemets

Version imprimable

17/10/2017, 17h28
MaxBoun

tfileoutput, csv, et guillemets

Bonjour,

Je récupère "bêtement" le contenu de tables pour les mettre dans un csv.

J'arrive bien à choisir mon séparateur et à mettre des guillemets autour des données.

Par contre je choisis que ma première ligne soit les noms des colonnes mais du coup ceux-ci n'ont pas de guillemets autour de leurs noms.

ex :
colonne1;colonne2;colonne3
"azer";"3434";"jok"
"arer";"3334";"jak"

Alors que moi je veux :
"colonne1";"colonne2";"colonne3"
"azer";"3434";"jok"
"arer";"3334";"jak"

J'imagine que c'est extrêmement simple mais je n'ai pas trouvé.

Si quelqu'un pouvait m'aider, merci !
23/10/2017, 13h41
supergeoffrey

Hello,

De ce que je vois sur le forum Talend officiel.
Il faut que tu crées ton header seul puis que tu ajoutes les données au fichier.
C'est pas sexy !
29/10/2017, 22h21
MaxBoun

Ouaip c'est même plutôt pourri.
Dommage car le soft est plutôt très bon.
30/10/2017, 08h58
MythOnirie

Bonjour,

Une solution "propre" serait de modifier le composant talend pour que celui-ci propage l'option guillemet aux entêtes également.
31/10/2017, 16h37
MaxBoun

Faut que je m'intéresse à la modification de composants, effectivement ça peut être une solution intéressante.
31/10/2017, 17h14
supergeoffrey

Citation:

Envoyé par MaxBoun

Faut que je m'intéresse à la modification de composants, effectivement ça peut être une solution intéressante.

Un conseil : ne modifie jamais un composant natif, crée un fork.

Pour moi en un coup d'oeil il y a deux ligne à modifier dans le fichier tFileOutputDelimeted_begin.javajet

1 / remplacer (Ligne 90 en version 6.4.1)

Code:

out<%=cid%>.write("<%=column.getLabel() %>");

par

Code:

out<%=cid%>.write("\"<%=column.getLabel() %>\"");

2 / remplacer (Ligne 94 en version 6.4.1)

Code:

routines.system.DynamicUtils.writeHeaderToDelimitedFile(<%=conn.getName() %>.<%=column.getLabel() %>, out<%=cid%>, OUT_DELIM_<%=cid%>);

par

Code:

routines.system.DynamicUtils.writeHeaderToDelimitedFile("\"" + <%=conn.getName() %>.<%=column.getLabel() %> + "\"", out<%=cid%>, OUT_DELIM_<%=cid%>);

NB j'ai hardcodé les guillemets mais normalement je devrais récupérer le caractère de protection et l'ajouter
31/10/2017, 22h43
MaxBoun

Je test ça jeudi, merci beaucoup en tout cas !
09/11/2017, 08h15
dr_logic

bonjour MaxBoun,
si tu ne choisis pas que ta première ligne soit les noms des colonnes, tu obtiendras ce que du cherches ...
09/11/2017, 17h06
MaxBoun

Citation:

Envoyé par dr_logic

bonjour MaxBoun,
si tu ne choisis pas que ta première ligne soit les noms des colonnes, tu obtiendras ce que du cherches ...

Non car justement, je n'aurai pas le titre des colonnes.

Pour la solution du fork, je n'ai toujours pas eu le temps de tester.
J'avais d'autres trucs à faire avec des fichiers positionnels, une horreur ^^

Bon j'avoue, je n'ai pas non plus trouver comment faire un fork ...
(de moi-même, mais je pense que je vais rapidement trouvé ça en fouillant sur le net)

3 pièce(s) jointe(s)

un peu de java ...

bonjour MaxBoun,

voici une solution qui fonctionne:

Pièce jointe 326005Pièce jointe 326006Pièce jointe 326011
l'idée est de faire un premier job pour enregistrer les noms des champs (avec des guillemets)
puis à la suite du fichier l'extraction (penser à cocher "Ecrire après" dans tFileOutputDelimited2)

pour ajouter un caractère, j'ai une routine perso (ajouter dans Code / Routines -> créer ma_routine 0.1 et coller le code.

Enfin, c'est le composant tMAP qui fait le reste ...

voici le code de la routine:

public class ma_routine {
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 /** * addChars: return to char z. * * * {talendTypes} String * * {Category} TalendString * * {param} Integer(92) text: insert \. * * * {example} addChars(34) */ public static String addChars(Integer z){ int number = z; char c = (char)number; String pa = new String (""); pa = Character.toString(c); return pa; } }

14/11/2017, 13h38
MaxBoun

Citation:

Envoyé par dr_logic

bonjour MaxBoun,

voici une solution qui fonctionne:
[...]

Alors j'ai bien compris le principe mais je n'ai pas trouvé comment le reproduire avec une table en entrée (et donc plusieurs colonnes).

Je m'attaque au fork là pour l'autre solution proposée.
14/11/2017, 15h06
MaxBoun

Citation:

Envoyé par supergeoffrey

Un conseil : ne modifie jamais un composant natif, crée un fork.

Bon j'ai "copié-collé" le répertoire du composant, renommer les fichiers du nouveau et fait les modif.
Je lance mais ça ne fonctionne pas. J'imagine que ça vient de la méthode que j'ai utilisé ...

Si tu passes par là ^^
15/11/2017, 10h50
supergeoffrey

Citation:

Envoyé par MaxBoun

Bon j'ai "copié-collé" le répertoire du composant, renommer les fichiers du nouveau et fait les modif.
Je lance mais ça ne fonctionne pas. J'imagine que ça vient de la méthode que j'ai utilisé ...

Si tu passes par là ^^

Quand je forkais des composants tAforker je m'y prennais comme ça :
_ pré-requis avoir un dossier de composant utilisateur #USER_COPONENT_DIR# https://help.talend.com/reader/mhqCk...sMxVh5F9pJguUA
_ je copiais le dossier TOS_DI-20170623_1246-#VERSION#\plugins\org.talend.designer.components.localprovider_#VERSION_REALEASE#\components\tAforker dans le dossier #USER_COPONENT_DIR#
_ je supprimais les fichiers de langues qui ne m'intéresse pas (Ie je garder le français et l'anglais)
_ je renommais le dossier #USER_COPONENT_DIR#\tAforker par #USER_COPONENT_DIR#\pAforker
_ je renommais tous les fichiers du dossier #USER_COPONENT_DIR#\pAforker commançant par un t pour le remplacer par un p
_ je vérifiais dans tous les fichiers d'extensions .javajet si il y avait des directive include, si il y en a il faut copier les fichiers du dossier TOS_DI-20170623_1246-#VERSION#\plugins\org.talend.designer.components.localprovider_#VERSION_REALEASE#\components\tAforker vers le dossier #USER_COPONENT_DIR#.
_ A ce moment là, tu as dupliqué ton composant, tu peux faire tes modifications.

Il est a savoir :
_ que les composants de Talend sont compilé qu'une fois à la création du workspace ;
_ que les composants personnalisé dans le dossier #USER_COPONENT_DIR# sont compilés à chaque redémarage ou que tu le recharge depuis la vue Component Designer. (NB : il y a une autre config à faire, d'apres le forum Talend : Go to windows-->preference-->Talend-->Components and set the user component folder.)

En fait, tu peux avoir deux dossiers différents pour les composants utilisateurs et pour le component designer.
Ce que je faisait à l'époque je builder mes composant avec Ant afin de recopier des templates dans plusieurs composants.

Alors à part le

Citation:

_ je vérifiais dans tous les fichiers d'extensions .javajet si il y avait des directive include, si il y en a il faut copier les fichiers du dossier TOS_DI-20170623_1246-#VERSION#\plugins\org.talend.designer.components.localprovider_#VERSION_REALEASE#\components\tAforker vers le dossier #USER_COPONENT_DIR#.

C'est à peu près clair.

Je ne sais pas ce qu'est un directive include (enfin j'ai du mal comprendre car ça ne fonctionne pas).
Le seul include que je vois c'est pour du Log4j.

J'ai bien crée mon répertoire de component et mis un p à la place du t dans les fichiers, supprimé les fichiers de langue en trop (même si ils ne gênaient pas vraiment).
J'ai fait les modif du poste précédent.

J'ai des erreurs de compilation, il ne trouve pas ses petits.

Citation:

Message détaillé: CsvWriterpFileOutputDelimited_1 cannot be resolved

Avec la source qui donne ça en erreur :
Code:

1 2 3 4 5 nb_line_pFileOutputDelimited_1++; resourceMap.put("nb_line_pFileOutputDelimited_1", nb_line_pFileOutputDelimited_1); CsvWriterpFileOutputDelimited_1 .writeNext(rowpFileOutputDelimited_1);
Donc soit c'est lié au include que je ne comprend pas (on est bien d'accord que ça n'a rien à voir avec les imports ?) soit c'est autre chose.

Je suis désolé, j'essaie vraiment de comprendre de moi-même mais je galère :(

Citation:

Envoyé par MaxBoun

Alors à part le

C'est à peu près clair.

C'est la copie du dossier. Il n'y a rien à comprendre ;)

Citation:

Envoyé par MaxBoun

Je ne sais pas ce qu'est un directive include (enfin j'ai du mal comprendre car ça ne fonctionne pas).
Le seul include que je vois c'est pour du Log4j.

Oui c'est ça une directive include !
Il y en a pas beaucoup dans les composant.
Exemple :
Pour le fichier Log4J par exemple en faisant comme un dur
En fait ça copie le contenu du fichier au niveau de l'insertion de la directive lors de la compilation

Code:

<%@ include file="../templates/Log4j/Log4jFileUtil.javajet"%>

Tu récupére le fichier Log4jFileUtil.javajet, tu le mets à la racine de ton composant
et tu change la ligne par

Code:

<%@ include file="./Log4jFileUtil.javajet"%>
Citation:
J'ai des erreurs de compilation, il ne trouve pas ses petits.

Avec la source qui donne ça en erreur :
Code:

1 2 3 4 5 nb_line_pFileOutputDelimited_1++; resourceMap.put("nb_line_pFileOutputDelimited_1", nb_line_pFileOutputDelimited_1); CsvWriterpFileOutputDelimited_1 .writeNext(rowpFileOutputDelimited_1);
Peux-tu me dire ce que tu as dans le fichier XML dans le balise CODEGENERATION :
Par exemple j'ai :
(Je pense qu'on a pas la même version)
Code:

1 2 3 4 5 6 <CODEGENERATION> <IMPORTS> <IMPORT NAME="Talend_CSV" MODULE="talendcsv.jar" MVN="mvn:org.talend.libraries/talendcsv/6.0.0" UrlPath="platform:/plugin/org.talend.libraries.csv/lib/talendcsv.jar" REQUIRED="true"/> </IMPORTS> </CODEGENERATION>
Tu peux exécuter ton job pour qu'il affiche l'erreur de compilation STP ?

J'ai ça :

Code:

1
2
3
4
5
6
	<CODEGENERATION>
		<IMPORTS>
			<IMPORT NAME="Talend_CSV" MODULE="talendcsv.jar" MVN="mvn:org.talend.libraries/talendcsv/6.0.0"  UrlPath="platform:/plugin/org.talend.libraries.csv/lib/talendcsv.jar"
				REQUIRED="true"/>
		</IMPORTS>
	</CODEGENERATION>

Soit exactement la même chose si j'ai bien lu.
Je tourne avec la version 6.4.1.

et l'erreur :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
org.talend.designer.runprocess.ProcessorException: Erreurs de compilation du Job 
Au moins le Job "test" a des erreurs de compilation, réparez et réexportez.
Ligne en erreur: 2047
Message détaillé: CsvWriterpFileOutputDelimited_1 cannot be resolved
Il peut y avoir d'autres erreurs causées par la compatibilité avec la JVM. Vérifiez que les paramètres de votre JVM sont les mêmes que dans le studio.
	at org.talend.designer.runprocess.JobErrorsChecker.checkLastGenerationHasCompilationError(JobErrorsChecker.java:326)
	at org.talend.designer.runprocess.DefaultRunProcessService.checkLastGenerationHasCompilationError(DefaultRunProcessService.java:380)
	at org.talend.designer.runprocess.RunProcessService.checkLastGenerationHasCompilationError(RunProcessService.java:292)
	at org.talend.designer.runprocess.ProcessorUtilities.generateBuildInfo(ProcessorUtilities.java:634)
	at org.talend.designer.runprocess.ProcessorUtilities.generateCode(ProcessorUtilities.java:523)
	at org.talend.designer.runprocess.ProcessorUtilities.generateCode(ProcessorUtilities.java:1413)
	at org.talend.designer.runprocess.RunProcessContext$1.run(RunProcessContext.java:576)
	at org.eclipse.jface.operation.ModalContext.runInCurrentThread(ModalContext.java:466)
	at org.eclipse.jface.operation.ModalContext.run(ModalContext.java:374)
	at org.eclipse.jface.dialogs.ProgressMonitorDialog.run(ProgressMonitorDialog.java:527)
	at org.eclipse.ui.internal.progress.ProgressMonitorJobsDialog.run(ProgressMonitorJobsDialog.java:284)
	at org.eclipse.ui.internal.progress.ProgressManager.run(ProgressManager.java:1190)
	at org.talend.designer.runprocess.RunProcessContext.exec(RunProcessContext.java:531)
	at org.talend.designer.runprocess.ui.ProcessComposite.exec(ProcessComposite.java:1450)
	at org.talend.designer.runprocess.ui.views.ProcessView$RunAction.run(ProcessView.java:691)
	at org.talend.designer.runprocess.ui.actions.RunProcessAction.run(RunProcessAction.java:58)
	at org.talend.designer.core.debug.JobLaunchConfigurationDelegate$1.run(JobLaunchConfigurationDelegate.java:84)
	at org.eclipse.swt.widgets.RunnableLock.run(RunnableLock.java:35)
	at org.eclipse.swt.widgets.Synchronizer.runAsyncMessages(Synchronizer.java:136)
	at org.eclipse.swt.widgets.Display.runAsyncMessages(Display.java:4147)
	at org.eclipse.swt.widgets.Display.readAndDispatch(Display.java:3764)
	at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine$9.run(PartRenderingEngine.java:1151)
	at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
	at org.eclipse.e4.ui.internal.workbench.swt.PartRenderingEngine.run(PartRenderingEngine.java:1032)
	at org.eclipse.e4.ui.internal.workbench.E4Workbench.createAndRunUI(E4Workbench.java:148)
	at org.eclipse.ui.internal.Workbench$5.run(Workbench.java:636)
	at org.eclipse.core.databinding.observable.Realm.runWithDefault(Realm.java:332)
	at org.eclipse.ui.internal.Workbench.createAndRunWorkbench(Workbench.java:579)
	at org.eclipse.ui.PlatformUI.createAndRunWorkbench(PlatformUI.java:150)
	at org.talend.rcp.intro.Application.start(Application.java:255)
	at org.eclipse.equinox.internal.app.EclipseAppHandle.run(EclipseAppHandle.java:196)
	at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.runApplication(EclipseAppLauncher.java:134)
	at org.eclipse.core.runtime.internal.adaptor.EclipseAppLauncher.start(EclipseAppLauncher.java:104)
	at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:380)
	at org.eclipse.core.runtime.adaptor.EclipseStarter.run(EclipseStarter.java:235)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at java.lang.reflect.Method.invoke(Unknown Source)
	at org.eclipse.equinox.launcher.Main.invokeFramework(Main.java:648)
	at org.eclipse.equinox.launcher.Main.basicRun(Main.java:603)
	at org.eclipse.equinox.launcher.Main.run(Main.java:1465)

20/11/2017, 19h55
supergeoffrey

je teste et je reviens vers toi

1 pièce(s) jointe(s)

J'ai sué un peu mais voici le patch en pièce jointe. J'ai aussi une version 6.4.1

Mon premier coup d’œil n’était pas bon!

J'ai dupliqué la génération de cette ligne dans mon fork. Qui était fait entre l'ajout du header et des lignes

Code:

CsvWriterpFileOutputDelimited_1.setQuoteStatus(com.talend.csv.CSVWriter.QuoteStatus.FORCE);

Comme le header était ajouté avant cette configuration, le header n'avais pas de quote.

Dans le jet voici ce que j'ai ajouté pour le faire avant l'ajout du header.
Code:

1 2 3 4 if(("true").equals(ElementParameterParser.getValue(node,"__CSV_OPTION__"))) { %> CsvWriter<%=cid%>.setQuoteStatus(com.talend.csv.CSVWriter.QuoteStatus.FORCE); <% } %>
Pour ton erreur de compilation je pense que tu avais mal modifié les directives.

21/11/2017, 16h44
MaxBoun

Parfait ^^

Merci pour tout.