Discussion :

[lynec45]

Bonjour,

Je souhaite extraire des données d'un fichier texte pour les mettre dans une base oracle.

Je passe par le LKM par défaut d'ODI 11g "File to Oracle (SQLLDR)" qui utilise SQL Loader.

Mon erreur intervient au moment du call avec l'import de données dans la table C$ d'ODI.

Il crée bien mon .out, le .ctl mais il ne fait pas de .log
Je n'ai pas d'autre fichier, pas de .bad puisqu'il n'arrive pas à charger.

Ci dessous le ctl généré :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
OPTIONS (
SKIP=0,
ERRORS=0,
DIRECT=FALSE
)
LOAD DATA
INFILE "U:/ODI/IN/Test_Import_txt.txt" "STR x'0D0A'"
BADFILE "U:/ODI/IN/Entete.bad"
DISCARDFILE "U:/ODI/IN/Entete.dsc"
DISCARDMAX 1
INTO TABLE ODITMP."TC$_0Entete_Cible"
 
(
CODSEG POSITION(1:3) ,
DATESEG POSITION(4:11) 
)

L'erreur n'est pas parlante, ça me dis d'aller voir le fichier log (pas créer) et donne l'erreur en ligne 34, qui correspond au raise qui affiche le message d'erreur.

Bref je ne sais pas ou est le problème, je ne sais même pas ou regarder.

Please help !

Celine

[shaun_the_sheep]

bonjour

tu n'as rien dans le journal d' exécution ?

[lynec45]

Dans l'operator j'ai le code suivant dans l'étape "Call sqlldr" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
org.apache.bsf.BSFException: exception from Jython:
Traceback (innermost last):
  File "<string>", line 32, in ?
Load Error: See U:/ODI/IN/Entete.log for details
 
	at org.apache.bsf.engines.jython.JythonEngine.exec(JythonEngine.java:146)
	at com.sunopsis.dwg.codeinterpretor.SnpScriptingInterpretor.execInBSFEngine(SnpScriptingInterpretor.java:345)
	at 
(...)

Le code jython généré est celui-ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
import java.lang.String
import java.lang.Runtime as Runtime
from jarray import array
import java.io.File
import os
import re
import javaos
 
 
def reportnbrows():		
 
	f = open(r"U:/ODI/IN/Entete.log", 'r') 
	try:
		for line in f.readlines():
			if line.find("MAXIMUM ERROR COUNT EXCEEDED")>=0 :
				raise line
	finally:
		f.close() 
 
 
ctlfile = r"""U:/ODI/IN/Entete.ctl"""
logfile = r"""U:/ODI/IN/Entete.log"""
outfile = r"""U:/ODI/IN/Entete.out"""
oracle_sid=''
if len('ODITMPDBLK')>0: oracle_sid = '@'+'ODITMPDBLK'
 
loadcmd = r"""sqlldr ODITMP/<@=snpRef.getInfo("DEST_PASS") @>%s control="%s" log="%s" > "%s" """ % (oracle_sid,ctlfile, logfile, outfile)
 
rc = os.system(loadcmd)
 
if rc <> 0 and rc <> 2:
        raise "Load Error", "See %s for details" % logfile
 
if rc==2:
        reportnbrows()

Je pense que le problème vient de la variable DEST_PASS qui n'est pas remplacer par sa valeur.

A coté de ça, j'ai lancer le .ctl généré et cela fonctionne bien.

[shaun_the_sheep]

Personnellement j'utilise une très vielle version , mais le principe doit être le même.

Je déclare mon fichier dans la topology, je fais le reverse dans le modèle de données. Cela me donne une table.

Je fais mon interface en prenant en source cette table représentant le fichier et une table cible.

Et la plus part du tant j'utilise ISO File to SQL même si je suis en Oracle ...

par contre pour ma part je ne vois pas de code Java ou Jython ....

[lynec45]

Oui, le LKM File to SQL ne travail pas avec sqlloader et n'a pas de code jython.
Je voudrais utiliser SQLLoader car c'est beaucoup plus performant.

J'ai essayé de mettre le mot de passe en dur, à la place du getinfo (DEST_PASS) mais ça ne marche toujours pas

[shaun_the_sheep]

tu as essayé sans passer par ODI mais directement sous Oracle ?

[lynec45]

Le but principal est l'utilisation d'ODI ici, mais sinon on à exécuter le ctl sous Oracle et ça fonctionne

Après je souhaiterai exécuter cette ligne sous Oracle ??

sqlldr ODIUSER/ODIPASSWORD%s control="%s" log="%s" > "%s" """ % (oracle_sid,ctlfile, logfile, outfile)

[doc malkovich]

Hello

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LOAD Error: See U:/ODI/IN/Entete.log FOR details

Ca donne quoi dans U:/ODI/IN/Entete.log ?

Oui, le LKM File to SQL ne travail pas avec sqlloader et n'a pas de code jython.
Je voudrais utiliser SQLLoader car c'est beaucoup plus performant.

Tu peux aussi passer par les tables externes, je ne sais plus quel KM le fait mais c'est aussi performant et en plus tu as les fonctions et les jointures possibles.

[lynec45]

Entete.log n'est pas créé malheureusement, ce qui fait parti des interrogations !!

Qu'appelles-tu passer par des tables externes ?

[doc malkovich]

Des pseudo-tables, mais derrière tu as un fichier

Regardes cette discussion

[lynec45]

Ok merci, j'ai regardé les discutions associées à ces tables externe.

J'ai essayé de mettre en place cette autre solution car elle a apparemment l'avantage de pouvoir être exécuté en parallèle.
Mais j'ai toujours un souci avec le fichier log
Ce LKM doit en créer un aussi et cela plante quand on arrive à l'étape Insert News Rows. Le message est "table ou vue inexistante" en pointant sur la table C$, table qui existe bien, mais quand je veux la visualiser (sous toad), j'ai ce message :

ORA-29913: erreur d'exécution de l'appel ODCIEXTTABLEOPEN
ORA-29400: erreur de cartouche de données
error opening file U:/ODI/IN/Test_Import_txt.txt_000.log

Il n'arrive pas a ouvrir le fichier log, ce qui est normal puisque que celui-ci n'existe pas.

Moi pas comprendre le reverse accède bien à mon fichier, quand j'utilise le LKM SQLLDR j'ai bien des fichiers qui se créés dans mon dossier, donc pourquoi le fichier log fait exception !!????

[doc malkovich]

hum, il est possible que tu aies tout simplement un souci de localisation

normalement les logs doivent se trouver sur le serveur, mais à ce que je pense ton U: pointe sur un répertoire partagé ?
Essayes de mettre un répertoire local sur ton serveur, comme si tu étais dessus. ( le serveur oracle )

[lynec45]

Oui le U est un répertoire partagé.

J'ai déplacé mon fichier et mon répertoire à la base du serveur ODI, mais je ne sais comment noté sont chemin d'accès
J'ai essayé C:home/ODI/IN, ../home/odi/in .... rien ne marche, toujours la même erreur.

[lynec45]

Pour info nous travaillons sous Windows 7 pro et le serveur sur lequel est situé ODI est Unix, dès fois que cela inspire à quelqu'un une solution miracle !!

[shaun_the_sheep]

tu utilises un agent pour l' exécution ?

[lynec45]

J'oubliais, depuis que j'ai changer mon chemin d'accès dans mon shéma physique, mes reverses ne fonctionne plus.

Sinon non, je passe en local sans agent.

Message d'erreur quand je veux acceder à ma table C$ :

ORA-29913: erreur d'exécution de l'appel ODCIEXTTABLEOPEN
ORA-29400: erreur de cartouche de données
error opening file /home/odiagt/odi/IN/Test_Import_txt.txt_000.log

on y voit le chemin d'accès spécifié.

[shaun_the_sheep]

je me demande si dans ce genre d'opération il ne faut pas que le fichier soit au même niveau que le serveur de base de données ...

/home/odiagt/odi/IN/Test_Import_txt.txt_000.log

cela ressemble a un chemin linux pas windows ....

j'ai trouvé ce post

http://www.developpez.net/forums/d21...ile-not-found/

parlant du même type d'erreur

[doc malkovich]

Essayes de mettre un répertoire local sur ton serveur, comme si tu étais dessus. ( le serveur oracle )

oui, c'est ce que je disais, mets le chemin unix sur le serveur du SGBD !
il faut aussi que le user oracle du sgbd puisse écrire dans le répertoire des logs ...

hum, contactes ton dba

[lynec45]

je me demande si dans ce genre d'opération il ne faut pas que le fichier soit au même niveau que le serveur de base de données ...

cela ressemble a un chemin linux pas windows ....

Oui c'est pour ça que j'ai déplacé dossier et fichier à importer sur le serveur unix d'ODI.

J'ai regardé l'histoire des droits, j'ai mis en 777 le dossier IN ainsi que mon fichier txt à importer, j'ai même essayé de créer le fichier log (lui aussi en 777).

Je vais déprimer !