Génération d'un fichier de log en sortie d'exécution d'un flux Talend (avec log4j.xml)

Version imprimable

J’essaie d’exécuter un flux talend via un ordonnanceur (Opcon), et j’ai modifié le log4j.xml afin de générer un fichier de log avec son exécution (du log4j.xml)

J’essaie donc de générer un fichier de log (peu importe le nom) suite à l’exécution du fichier log4j.xml appelé lors du lancement d’un flux Talend.

Voici le log4j.xml :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
 
<log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/' >
 
  	<!--  CONSOLE appender  -->
	<appender name="CONSOLE" class="org.apache.log4j.ConsoleAppender">
		<layout class="org.apache.log4j.PatternLayout">
		 	<param name="ConversionPattern"  
		  		value="[%-5p]: %c - %m%n" />
		</layout>
	</appender>
 
	<!-- logstash appender -->
    <!-- <appender name="LOGSTASH" class="org.apache.log4j.net.SocketAppender">
        <param name="RemoteHost" value="localhost"/>
        <param name="Port" value="8052"/>
    </appender> -->
 
	<!-- Spring Logger -->  
	<logger name="log4j.logger.org.springframework">  
        <level value="WARN" />  
        <appender-ref ref="CONSOLE"/>
    </logger>
 
  <!-- throwableRenderer <throwableRenderer class="org.apache.log4j.EnhancedThrowableRenderer"/>--> 
    <appender name="FileAppender" class="org.apache.log4j.FileAppender">
        <param name="FILE" value="/log/execution.log" />
        <param name="append" value="false" />
        <param name="threshold" value="debug" />
        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d{ISO8601} %-5p [%c{1}] - %m%n" />
        </layout>
    </appender>
 
    <!-- Root Logger -->  
  <root> 
    <priority value ="debug" /> 
    <appender-ref ref="fileAppender" /> 
  </root> 
</log4j:configuration>

Et voici le retour de ce même log4j exécuté (c’est une partie du log d’exécution du flux Talend depuis OPCON et l’appel au log4j c’est le bloc d’erreur tout en bas (log4j WARN … )

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
+ REP_LIV=IDG_DOU
+ chemin=/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF
+ '[' LanceurTalendV2 == LanceurTalendV2Vars ']'
+ cmd='IDG_DOU_INT_REF_run.sh --context_param P_VAR_CODE_MARQUE=K --context_param P_VAR_CODE_ENTREPOT=OL1 --context_param'
+ echo 'Lanceur: Marque: TestDNO, Domaine: '
+ echo 'Lanceur: User: talend_adm'
+ echo 'Lanceur: Chemin: /opt/app/tis/IDG_DOU/IDG_DOU_INT_REF'
+ echo 'Lanceur: Cmd: IDG_DOU_INT_REF_run.sh --context_param P_VAR_CODE_MARQUE=K --context_param P_VAR_CODE_ENTREPOT=OL1 --context_param'
++ mktemp /tmp/tmp.LanceurTalend.XXXXXX
+ fragment=/tmp/tmp.LanceurTalend.siX07z
+ chown talend_adm /tmp/tmp.LanceurTalend.siX07z
+ cat
+ echo 'cd "/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF" && /bin/bash IDG_DOU_INT_REF_run.sh --context_param P_VAR_CODE_MARQUE=K --context_param P_VAR_CODE_ENTREPOT=OL1 --context_param | /usr/bin/awk -f /opt/opconxps.dev/log.awk'
+ echo 'RETURNCODE=${PIPESTATUS[0]}'
+ echo 'exit $RETURNCODE'
+ cat /tmp/tmp.LanceurTalend.siX07z
++ getent passwd talend_adm
++ cut -f7 -d:
+ usershell=/bin/bash
+ test -n /bin/bash
+ su - talend_adm -c '/bin/bash /tmp/tmp.LanceurTalend.siX07z'
log4j:WARN Continuable parsing error 41 and column 23
log4j:WARN The content of element type "log4j:configuration" must match "(renderer*,throwableRenderer?,appender*,plugin*,(category|logger)*,root?,(categoryFactory|loggerFactory)?)".
log4j:ERROR No appender named [fileAppender] could be found.
log4j:WARN No appenders could be found for logger (idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in component tOracleInput_1
java.sql.SQLSyntaxErrorException: ORA-00936: missing expression
 
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:450)
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:399)
	at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:1017)
	at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:655)
	at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:249)
	at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:566)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:202)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:45)
	at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:766)
	at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:897)
	at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1034)
	at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1244)
	at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:420)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleInput_1Process(IDG_DOU_INT_REF.java:6646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_2Process(IDG_DOU_INT_REF.java:6174)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_5Process(IDG_DOU_INT_REF.java:6039)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_7Process(IDG_DOU_INT_REF.java:5756)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_6Process(IDG_DOU_INT_REF.java:5490)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_6Process(IDG_DOU_INT_REF.java:5218)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_1Process(IDG_DOU_INT_REF.java:4982)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_5Process(IDG_DOU_INT_REF.java:4748)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_3Process(IDG_DOU_INT_REF.java:4511)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_2Process(IDG_DOU_INT_REF.java:4278)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_2Process(IDG_DOU_INT_REF.java:4028)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_4Process(IDG_DOU_INT_REF.java:2894)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_2Process(IDG_DOU_INT_REF.java:2646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_1Process(IDG_DOU_INT_REF.java:2532)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.runJobInTOS(IDG_DOU_INT_REF.java:13445)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.main(IDG_DOU_INT_REF.java:12947)
+ RETURNCODE=1
+ echo 'Lanceur: Return code: 1'
+ rm /tmp/tmp.LanceurTalend.siX07z
+ exit 1

Je ne comprends d’où vient le souci, je débute en XML (et en développement ou script tout court)

Merci,

05/05/2017, 22h08
tsuji
Il me semble que le nom d'appender référentié soit FileAppender?
Code:

1 2 3 4  <appender-ref ref="FileAppender" />

Hello,
Merci du retour.
Pas de changement en corrigeant avec un F plutôt que f
Je continue de chercher et tester.
dernier résultat :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
log4j:WARN Fatal parsing error 7 and column 3
log4j:WARN The markup in the document following the root element must be well-formed.
log4j:ERROR Could not parse url [file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml].
org.xml.sax.SAXParseException; systemId: file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml; lineNumber: 7; columnNumber: 3; The markup in the document following the root element must be well-formed.
	at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:257)
	at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:338)
	at org.apache.log4j.xml.DOMConfigurator$2.parse(DOMConfigurator.java:767)
	at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:866)
	at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:773)
	at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:483)
	at org.apache.log4j.LogManager.<clinit>(LogManager.java:127)
	at org.apache.log4j.Logger.getLogger(Logger.java:117)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.<clinit>(IDG_DOU_INT_REF.java:54)
log4j:WARN No appenders could be found for logger (idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in component tOracleInput_1
java.sql.SQLSyntaxErrorException: ORA-00936: missing expression
 
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:450)
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:399)
	at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:1017)
	at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:655)
	at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:249)
	at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:566)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:202)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:45)
	at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:766)
	at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:897)
	at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1034)
	at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1244)
	at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:420)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleInput_1Process(IDG_DOU_INT_REF.java:6646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_2Process(IDG_DOU_INT_REF.java:6174)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_5Process(IDG_DOU_INT_REF.java:6039)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_7Process(IDG_DOU_INT_REF.java:5756)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_6Process(IDG_DOU_INT_REF.java:5490)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_6Process(IDG_DOU_INT_REF.java:5218)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_1Process(IDG_DOU_INT_REF.java:4982)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_5Process(IDG_DOU_INT_REF.java:4748)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_3Process(IDG_DOU_INT_REF.java:4511)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_2Process(IDG_DOU_INT_REF.java:4278)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_2Process(IDG_DOU_INT_REF.java:4028)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_4Process(IDG_DOU_INT_REF.java:2894)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_2Process(IDG_DOU_INT_REF.java:2646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_1Process(IDG_DOU_INT_REF.java:2532)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.runJobInTOS(IDG_DOU_INT_REF.java:13445)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.main(IDG_DOU_INT_REF.java:12947)
+ RETURNCODE=1
+ echo 'Lanceur: Return code: 1'
+ rm /tmp/tmp.LanceurTalend.4IPWzA
+ exit 1

15/05/2017, 14h52
thelvin

Hello,

tu vois bien que l'erreur est très très différente. Il faut nous montrer le nouveau fichier avec lequel tu as cette nouvelle erreur là.

Elle ne serait pas arrivée en appliquant juste la proposition donnée, et cette proposition, si faite seule et sans rien d'autre, aurait résolu au moins deux des erreurs soulevées. (Je garantis pas que tu aurais eu les logs voulus mais il y avait de fortes chances.)

Merci de prendre du temps :)

Voici le fichier log4j que j'ai modifié

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
 
<log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/'>
 
  	<!--  CONSOLE appender  -->
	<appender name="console" class="org.apache.log4j.ConsoleAppender">
		<layout class="org.apache.log4j.PatternLayout">
		 	<param name="ConversionPattern"  
		  		value="[%-5p]: %c - %m%n" />
		</layout>
	</appender>
 
	<!-- logstash appender -->
    <!-- <appender name="LOGSTASH" class="org.apache.log4j.net.SocketAppender" -->
        <param name="RemoteHost" value="localhost"/>
        <param name="Port" value="8052"/>
    </appender>
 
	<!-- Spring Logger -->  
	<logger name="log4j.logger.org.springframework">  
        <level value="WARN" />  
        <appender-ref ref="CONSOLE"/>
    </logger>
 
  <!-- throwableRenderer <throwableRenderer class="org.apache.log4j.EnhancedThrowableRenderer"/>--> 
    <appender name="console" class="org.apache.log4j.ConsoleAppender">
        <param name="FILE" value="/log/execution.log" />
        <param name="append" value="false" />
        <param name="threshold" value="debug" />
        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d{ISO8601} %-5p [%c{1}] - %m%n" />
        </layout>
    </appender>
 
    <!-- Root Logger -->  
  <root> 
    <priority value ="debug" /> 
    <appender-ref ref="console" /> 
  </root> 
 
</log4j:configuration>

Et voici le lanceur de flux (qui prend en paramètre mon nom de flux)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
#!/bin/bash -x
 
SCHEDULE="$SMA_SCHEDULE_NAME"
JOBNAME="$SMA_user_SPECIFIED_JOBNAME"
# Determine la marque et le domaine d'apres le nom de la schedule (champs 3 et 4)
IFS=- read dummy dummy MARQUE DOMAINE dummy < <( echo "$SCHEDULE" )
#
# v2.5.0 : Détection du nom de l'executable
#
_SCRIPTNAME=$(basename $0 .sh)

user="$1" ; shift
talenddir="$1" ; shift
flux="$1" ; shift

_PLUS=""

if [ $_SCRIPTNAME == "LanceurTalendV2Vars" ]
then
   _PLUS="variante VARIABLES "
   sep="$1" ; shift
else
   if [ "${1:0:1}" != "-" ] && [ "${1:0:1}" != " " ] && [ "${1:0:1}" != "" ]
   then
      echo "**** ERREUR D'APPEL : verifiez la syntaxe !!!!!!"
      exit 100
   fi
fi

version="2.5.3"

_REP_OPCON=$(dirname $BASH_SOURCE[0])

echo "ID GROUP "
echo "Lanceur Talend "$_PLUS"Version : "$version
echo "================================"

verif_nom(){
  #
  # Verifie que le nom commence par le trigramme d'une société
  #
  _NOM=$1
  _SOCIETES="IDG_OKA_JAC_IDK_OXY_" # Mettre les trigrammes de socité et le _ les uns à la suite des autres "ABC_DEF_GHI_"
  #for i in {0..${#_SOCIETES}..4}
  lg=${#_SOCIETES}
  rtn=10
  for (( i=0; i<$lg; i=i+4 ))
  do
  if [ ${_SOCIETES:$i:4} == ${_NOM:0:4} ]
          then
                rtn=0
          fi
  done
  return $rtn
}

$_REP_OPCON/VerifCTX.sh /opt/app/ctx/Linux.General.cfg

if [ $? == 0 ] && [ "${flux:7:12}" != "_NUL_NUL_NUL" ]
then
    verif_nom $flux

    if [ $? == 0 ]
        then
            REP_LIV=${flux:0:7}
            chemin=$talenddir/$REP_LIV/$flux
            if [ $_SCRIPTNAME == "LanceurTalendV2Vars" ]
            then
                cmd=$flux"_run.sh "${*//$sep/=}
            else
                cmd=$flux"_run.sh "$*
            fi
            echo "Lanceur: Marque: $MARQUE, Domaine: $DOMAINE"
            echo "Lanceur: User: $user"
            echo "Lanceur: Chemin: $chemin"
            echo "Lanceur: Cmd: $cmd"

            fragment="$( mktemp /tmp/tmp.LanceurTalend.XXXXXX )"
            chown "$user" "$fragment"
            cat >"$fragment" <<'EOF'
[ "$SHELL" = "/bin/bash" -a -e .bash_profile ] && . .bash_profile
[ -e .profile ] && . .profile
echo "ENV set to $ENV"
[ -n "$ENV" -a -e "$ENV" ] && . "$ENV"
umask 0007
EOF
            echo "cd \"$chemin\" && /bin/bash $cmd | /usr/bin/awk -f $_REP_OPCON/log.awk" >>"$fragment"
            echo "RETURNCODE=\${PIPESTATUS[0]}" >>"$fragment"
            # echo "echo \$RETURNCODE" >>"$fragment"
            echo "exit \$RETURNCODE" >>"$fragment"
 
 
            cat "$fragment"
 
            usershell="$( getent passwd "$user" |cut -f7 -d: )"
            test -n "$usershell" # Dies if $user does not exist
            su - "$user" -c "$usershell $fragment"
 
            RETURNCODE=$?
            echo "Lanceur: Return code: $RETURNCODE"
 
            rm "$fragment"
        else
            echo "Nom du flux incorrect"
            RETURNCODE=254
        fi
else
    if [[ "${flux:7:12}" == "_NUL_NUL_NUL" ]]
    then
        echo "Flux NULL détecté : aucune action réalisée après vérification du fichier de contexte"
    fi
    RETURNCODE=$?
fi
exit $RETURNCODE

et enfin le log du résultat

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
 
+ su - talend_adm -c '/bin/bash /tmp/tmp.LanceurTalend.vq89PI'
log4j:WARN Fatal parsing error 8 and column 4
log4j:WARN The markup in the document following the root element must be well-formed.
log4j:ERROR Could not parse url [file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml].
org.xml.sax.SAXParseException; systemId: file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml; lineNumber: 8; columnNumber: 4; The markup in the document following the root element must be well-formed.
	at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:257)
	at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:338)
	at org.apache.log4j.xml.DOMConfigurator$2.parse(DOMConfigurator.java:767)
	at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:866)
	at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:773)
	at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:483)
	at org.apache.log4j.LogManager.<clinit>(LogManager.java:127)
	at org.apache.log4j.Logger.getLogger(Logger.java:117)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.<clinit>(IDG_DOU_INT_REF.java:54)
log4j:WARN No appenders could be found for logger (idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in component tOracleInput_1
java.sql.SQLSyntaxErrorException: ORA-00936: missing expression
 
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:450)
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:399)
	at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:1017)
	at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:655)
	at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:249)
	at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:566)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:202)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:45)
	at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:766)
	at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:897)
	at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1034)
	at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1244)
	at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:420)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleInput_1Process(IDG_DOU_INT_REF.java:6646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_2Process(IDG_DOU_INT_REF.java:6174)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_5Process(IDG_DOU_INT_REF.java:6039)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_7Process(IDG_DOU_INT_REF.java:5756)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_6Process(IDG_DOU_INT_REF.java:5490)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_6Process(IDG_DOU_INT_REF.java:5218)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_1Process(IDG_DOU_INT_REF.java:4982)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_5Process(IDG_DOU_INT_REF.java:4748)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_3Process(IDG_DOU_INT_REF.java:4511)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_2Process(IDG_DOU_INT_REF.java:4278)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_2Process(IDG_DOU_INT_REF.java:4028)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_4Process(IDG_DOU_INT_REF.java:2894)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_2Process(IDG_DOU_INT_REF.java:2646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_1Process(IDG_DOU_INT_REF.java:2532)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.runJobInTOS(IDG_DOU_INT_REF.java:13445)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.main(IDG_DOU_INT_REF.java:12947)
+ RETURNCODE=1
+ echo 'Lanceur: Return code: 1'
+ rm /tmp/tmp.LanceurTalend.vq89PI
+ exit 1

Citation:
Code:

1 2 3 4  <param name="RemoteHost" value="localhost"/> <param name="Port" value="8052"/> </appender>
Il me semble bien evident que ça ne se fait pas à ce point.

Citation:

Code:

org.xml.sax.SAXParseException; systemId: file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml; lineNumber: 7; columnNumber: 3; The markup in the document following the root element must be well-formed.

J'ai repris le script log4j que j'avais mis dans mon premier post, et testé uniquement avec la correction proposée (FileAppender) au lieu de fileAppender
Voici le résultat après rappel du script log4j.

Voici le log4j.xml :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
 
<log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/' >
 
  	<!--  CONSOLE appender  -->
	<appender name="CONSOLE" class="org.apache.log4j.ConsoleAppender">
		<layout class="org.apache.log4j.PatternLayout">
		 	<param name="ConversionPattern"  
		  		value="[%-5p]: %c - %m%n" />
		</layout>
	</appender>
 
	<!-- logstash appender -->
    <!-- <appender name="LOGSTASH" class="org.apache.log4j.net.SocketAppender">
        <param name="RemoteHost" value="localhost"/>
        <param name="Port" value="8052"/>
    </appender> -->
 
	<!-- Spring Logger -->  
	<logger name="log4j.logger.org.springframework">  
        <level value="WARN" />  
        <appender-ref ref="CONSOLE"/>
    </logger>
 
  <!-- throwableRenderer <throwableRenderer class="org.apache.log4j.EnhancedThrowableRenderer"/>--> 
    <appender name="FileAppender" class="org.apache.log4j.FileAppender">
        <param name="FILE" value="/log/execution.log" />
        <param name="append" value="false" />
        <param name="threshold" value="debug" />
        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d{ISO8601} %-5p [%c{1}] - %m%n" />
        </layout>
    </appender>
 
    <!-- Root Logger -->  
  <root> 
    <priority value ="debug" /> 
    <appender-ref ref="fileAppender" /> 
  </root> 
</log4j:configuration>

et voici la log associée, une fois exécutée :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
log4j:WARN Fatal parsing error 1 and column 1
log4j:WARN Content is not allowed in prolog.
log4j:ERROR Could not parse url [file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml].
org.xml.sax.SAXParseException; systemId: file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml; lineNumber: 1; columnNumber: 1; Content is not allowed in prolog.
	at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:257)
	at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:338)
	at org.apache.log4j.xml.DOMConfigurator$2.parse(DOMConfigurator.java:767)
	at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:866)
	at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:773)
	at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:483)
	at org.apache.log4j.LogManager.<clinit>(LogManager.java:127)
	at org.apache.log4j.Logger.getLogger(Logger.java:117)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.<clinit>(IDG_DOU_INT_REF.java:54)
log4j:WARN No appenders could be found for logger (idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Exception in component tOracleInput_1
java.sql.SQLSyntaxErrorException: ORA-00936: missing expression
 
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:450)
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:399)
	at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:1017)
	at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:655)
	at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:249)
	at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:566)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:202)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:45)
	at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:766)
	at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:897)
	at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1034)
	at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1244)
	at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:420)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleInput_1Process(IDG_DOU_INT_REF.java:6646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_2Process(IDG_DOU_INT_REF.java:6174)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_5Process(IDG_DOU_INT_REF.java:6039)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_7Process(IDG_DOU_INT_REF.java:5756)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_6Process(IDG_DOU_INT_REF.java:5490)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_6Process(IDG_DOU_INT_REF.java:5218)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_1Process(IDG_DOU_INT_REF.java:4982)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_5Process(IDG_DOU_INT_REF.java:4748)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_3Process(IDG_DOU_INT_REF.java:4511)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_2Process(IDG_DOU_INT_REF.java:4278)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_2Process(IDG_DOU_INT_REF.java:4028)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_4Process(IDG_DOU_INT_REF.java:2894)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_2Process(IDG_DOU_INT_REF.java:2646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_1Process(IDG_DOU_INT_REF.java:2532)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.runJobInTOS(IDG_DOU_INT_REF.java:13445)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.main(IDG_DOU_INT_REF.java:12947)
+ RETURNCODE=1
+ echo 'Lanceur: Return code: 1'
+ rm /tmp/tmp.LanceurTalend.a97v7l
+ exit 1

15/05/2017, 18h41
thelvin

Ah oui ça c'est la vacherie.

Vérifie que tu as pas une ligne vide avant la première ligne <?xml version="1.0" encoding="UTF-8"?>. Vérifie qu'il n'y a pas d'espace avant, pas de tabulation, rien du tout même pas un caractère invisible.

Il faut que le fichier sur le disque dur commence par < sinon ça va pas. A la limite si tu vois rien avant <?xml version="1.0" encoding="UTF-8"?> attache-nous tout simplement ton fichier ici (j'ai pas dit copier-coller du texte, j'ai dit attacher un fichier.)
15/05/2017, 18h43
tsuji
Citation:

J'ai repris le script log4j que j'avais mis dans mon premier post, et testé uniquement avec la correction proposée (FileAppender) au lieu de fileAppender

L'expression "tourner en rond", c'est ça? Et vous dites avec la correction proposée, et je vois ça?

Citation:

Code:

<appender-ref ref="fileAppender" />

Je vois ça, dès le début:
Citation:
Code:

1 2 3 log4j:WARN Fatal parsing error 1 and column 1 log4j:WARN Content is not allowed in prolog. log4j:ERROR Could not parse url [file:/opt/app/tis/IDG_DOU/IDG_DOU_INT_REF/log4j.xml].
Il faut regarder log4j.xml. Le prolog devrait commencer au commencement, sans rien avec le symbole "<?". Si il y a BOM, enlevez-le aussi.

Et puis, le schéma pour log4j v1 exige que tous les éléments appender soient devant les éléments logger et puis logger devant root. Ce n'est pas le cas. Il faut corriger de haut en bas d'après le message d'erreur. Vous avez pris conscient de ça?

Et faites attention si l'application demande log4j v1 et non v2, si vous faites tout ça.

Tout d'abord Merci à toi @tsuji

J'ai repris le fil de la discussion, entrepris de faire les modifications et les vérifications selon toutes les préconisations.
J'ai beaucoup moins d'erreur maintenant. J'ai bien mis les appender avant logger et root.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
log4j:WARN No such property [FILE] in org.apache.log4j.FileAppender.
log4j:WARN File option not set for appender [FileAppender].
log4j:WARN Are you using FileAppender instead of ConsoleAppender?
log4j:ERROR No output stream or file set for the appender named [FileAppender].
Exception in component tOracleInput_1
java.sql.SQLSyntaxErrorException: ORA-00936: missing expression
 
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:450)
	at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:399)
	at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:1017)
	at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:655)
	at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:249)
	at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:566)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:202)
	at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:45)
	at oracle.jdbc.driver.T4CStatement.executeForDescribe(T4CStatement.java:766)
	at oracle.jdbc.driver.OracleStatement.executeMaybeDescribe(OracleStatement.java:897)
	at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1034)
	at oracle.jdbc.driver.OracleStatement.executeQuery(OracleStatement.java:1244)
	at oracle.jdbc.driver.OracleStatementWrapper.executeQuery(OracleStatementWrapper.java:420)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleInput_1Process(IDG_DOU_INT_REF.java:6646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_2Process(IDG_DOU_INT_REF.java:6174)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_5Process(IDG_DOU_INT_REF.java:6039)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_7Process(IDG_DOU_INT_REF.java:5756)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tSetGlobalVar_6Process(IDG_DOU_INT_REF.java:5490)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_6Process(IDG_DOU_INT_REF.java:5218)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_1Process(IDG_DOU_INT_REF.java:4982)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_5Process(IDG_DOU_INT_REF.java:4748)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_3Process(IDG_DOU_INT_REF.java:4511)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tOracleConnection_2Process(IDG_DOU_INT_REF.java:4278)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_2Process(IDG_DOU_INT_REF.java:4028)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_4Process(IDG_DOU_INT_REF.java:2894)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tJava_2Process(IDG_DOU_INT_REF.java:2646)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.tRunJob_1Process(IDG_DOU_INT_REF.java:2532)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.runJobInTOS(IDG_DOU_INT_REF.java:13445)
	at idgroup.idg_dou_int_ref_0_2.IDG_DOU_INT_REF.main(IDG_DOU_INT_REF.java:12947)
+ RETURNCODE=1
+ echo 'Lanceur: Return code: 1'
+ rm /tmp/tmp.LanceurTalend.8F9dw1
+ exit 1

Et voici la dernière version de mon fichier log4j.xml

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
 
<log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/' >
 
    <!--  CONSOLE appender  -->
  <appender name="CONSOLE" class="org.apache.log4j.ConsoleAppender">
    <layout class="org.apache.log4j.PatternLayout">
      <param name="ConversionPattern"
          value="[%-5p]: %c - %m%n" />
    </layout>
  </appender>
 
  <!-- logstash appender -->
    <!-- <appender name="LOGSTASH" class="org.apache.log4j.net.SocketAppender">
        <param name="RemoteHost" value="localhost"/>
        <param name="Port" value="8052"/>
    </appender> -->
 
  <!-- throwableRenderer <throwableRenderer class="org.apache.log4j.EnhancedThrowableRenderer"/>-->
    <appender name="FileAppender" class="org.apache.log4j.FileAppender">
        <param name="FILE" value="/log/execution.log" />
        <param name="append" value="false" />
        <param name="threshold" value="debug" />
        <layout class="org.apache.log4j.PatternLayout">
            <param name="ConversionPattern" value="%d{ISO8601} %-5p [%c{1}] - %m%n" />
        </layout>
    </appender>
 
  <!-- Spring Logger -->
  <logger name="log4j.logger.org.springframework">
        <level value="WARN" />
        <appender-ref ref="CONSOLE"/>
    </logger>
 
    <!-- Root Logger -->
  <root>
    <priority value ="debug" />
    <appender-ref ref="FileAppender" />
  </root>
</log4j:configuration>

16/05/2017, 20h46
tsuji
Ça semble très bien avec un progrès bien positif.

Citation:

log4j:WARN No such property [FILE] in org.apache.log4j.FileAppender.

Ceci serait le seul problème souligné en ce qui concerne la partie reliée à log4j v1. Le problem est que le nom des paramètres n'est pas arbitraire, plutôt qu'il faut être exact jusqu'au cas d'alphabet.
Code:

1 2 3 4  <param name="file" value="/log/execution.log" />
Voilà, le reste n'est probablement lié à sql, pas de rapport avec log4j.
19/05/2017, 16h01
Figo59554

Merci ! ça fonctionne !
Vous êtes les meilleurs :)

Bonne continuation mais je continue à lire vos articles, vous êtes au top :)