[OCILIB] Problème d'execution sous AIX

Version imprimable

Bonjour Vincent, voila mon petit soucis.

J'ai crée un fichier oracle.c avec le code suivant (exemple dans votre doc):
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 int main(int argc, char* argv[]) { OCI_Connection *cn; if (!OCI_Initialize(NULL, NULL, OCI_ENV_DEFAULT)) return EXIT_FAILURE; cn = OCI_ConnectionCreate("db", "usr", "pwd", OCI_SESSION_DEFAULT); if (cn != NULL) { printf(OCI_GetVersionServer(cn)); printf("Server major version : %i\n", OCI_GetServerMajorVersion(cn)); printf("Server minor version : %i\n", OCI_GetServerMinorVersion(cn)); printf("Server revision version : %i\n", OCI_GetServerRevisionVersion(cn)); printf("Connection version : %i\n", OCI_GetVersionConnection(cn)); OCI_ConnectionFree(cn); } OCI_Cleanup(); return EXIT_SUCCESS; }
Ma ligne de compilation est la suivante:
Code:

1 2 3 /usr/vacpp/bin/xlC_r -qlanglvl=extc89 -+ -O -g -I/applis/dsgu/datastage/data/lib/fgu/ocilib-3.1.0/doc_lib/include -DOCI_IMPORT_LINKAGE -DOCI_CHARSET_ANSI -L/produits/oracle/10204/products/lib32 -lclntsh -L/applis/dsgu/datastage/data/lib/fgu/ocilib-3.1.0/doc_lib/lib -locilib -c oracles.c -o oracles.o et /usr/vacpp/bin/xlC_r -qlanglvl=extc89 -G -qmkshrobj=1000 oracles.o -o oracles
J'ai installé le produit avec les options suivantes:

Code:

./configure --prefix='/applis/dsgu/datastage/data/lib/fgu/ocilib-3.1.0/doc_lib' '--with-oracle-home=/produits/oracle/10204/products' '--with-oracle-headers-path=/produits/oracle/10204/products/rdbms/public' '--with-oracle-lib-path=/produits/oracle/10204/products/lib32' '--with-oracle-lib64=no' '--with-oracle-lib-path=/produits/oracle/10204/products/lib32'

A priori tout s'est correctement déroulé.
Le binaire oracle généré renvoie l'erreur suivante:
exec(): 0509-036 Cannot load program oracles because of the following errors:
0509-151 The program does not have an entry point or
the o_snentry field in the auxiliary header is invalid.
0509-194 Examine file headers with the 'dump -ohv' command.

J'ai l'impression que mes lignes de compilations (à l'édition de lien) ne sont pas bonnes.

Merci pour votre aide.
Cdt.
Farid.

essaie plutôt ca :

Code:

1
2
3
4
5
6
CC=/usr/vacpp/bin/xlC_r
OCILIB_HOME=/applis/dsgu/datastage/DATA/lib/fgu/ocilib-.1.0/doc_lib
ORACLE_HOME=/produits/oracle/10204/products/
CFLAGS=-qlanglvl=extc89 -O -g -DOCI_IMPORT_LINKAGE -DOCI_CHARSET_ANSI
INCS=-I$OCILIB_HOME/include
LDFLAGS=-L$ORACLE_HOME/lib32 -lclntsh  -L$OCILIB_HOME/lib -locilib

Code:

$CC $CFLAGS $INCS -c oracles.c -o oracles.o

Code:

$CC $LDFLAGS oracles.o oracles

12/03/2009, 15h39
farid Guennif

Nickel

Vincent, c'est bien la bonne ligne de commande.
Une toute petite correction :
$CC $LDFLAGS oracles.o -o oracles
au lieu de
$CC $LDFLAGS oracles.o oracles

Merci pour ta réactivité. Je vais passer aux variables d'environnements et faire des tests de performance (peut etre as tu un avis sur le sujet).

Cdt.
Farid.
12/03/2009, 15h41
Vincent Rogier

effectivement, petite erreur de copier/coller..lol

que veux tu savori sur les test de perfs ?
12/03/2009, 18h03
farid Guennif

performance

Vincent,
Dans le cadre de test avec un outil d'extraction (ETL Datastage) je désire tester le niveau de performance entre les librairies de l'outil et la librairie ocilib.
Pour cela je peux procéder de différentes facons, créer un binaire ou bien incorporer le code C dans un composant "buildop". Ce type de composant sous Datastage permet d'incorporer du code C/C++ (à ma charge de pouvoir le compiler).
Sous Datastage je ne peux travailler (dans la version actuelle) qu'en 32 bits.
Je me demande donc:
- si un binaire avec ocilib sera plus performant que les composants Datastage.
- si le passage en 64 bits sera plus performant,
- qu'apporterais le mode multi thread (indiqué dans ta doc).
En fait, as tu déja réalisés des benchs avec ocilib ?

Merci Vincent.
Cdt.
Farid.
12/03/2009, 19h12
Vincent Rogier

Citation:

Envoyé par farid Guennif

- si un binaire avec ocilib sera plus performant que les composants Datastage.

je ne connais pas vraiment le produit et les technos sous jacente mais au vu de ce que j'au pu en voir et en raison de son architecture d'ETL, un binaire OCILIB sera plus rapide (pour la partie connectivité Oracle)

Citation:

Envoyé par farid Guennif

- si le passage en 64 bits sera plus performant,

Ca dépend ca peut mais pas forcément. Ca dépend de plein de facteurs.

Citation:

Envoyé par farid Guennif

- qu'apporterais le mode multi thread (indiqué dans ta doc).

Avec une logique applicative appropriée, cela permet de paralléliser les actions sur la DB et gagner sur le temps global de traitement.

Citation:

Envoyé par farid Guennif

En fait, as tu déja réalisés des benchs avec ocilib ?

Oui entre C#, JDBC, OTL, OCILIB et 2 ou 3 autres frameworks mineurs...
J'ai plus les valeurs des résultats mais OCILIB était le plus rapide notamment sur la partie array interface... ou la OCILIB troue le cul à tous les autres ;). De plus OCILIB est toujours plus rapide que des libs C++ car celles ci doiivent bufferiser en interne les données pour les transformer en objet C++

Je suis interessé par les résultats de tes tests ;)
13/03/2009, 10h54
farid Guennif

Performance

Bonjour Vincent, ce matin je suis d'attaque pour quelques tests de performance.
Et voici quelques retours. J'ai inséré dans une table 7 millions de lignes avec deux colonnes de 10 caracteres chacun.
Le binaire qui utilise oraclib extrait les données avec un débit de 60000lignes/secondes.
Le processus Datastage (ETL) extrait les données avec un débit de 460000lignes/secondes.

Je pense que le code c du binaire manque de positionnement de variables (buffer, mutli thread.....).
Si tu as une idée de variables à bouger tant base que sur le code je suis preneur.
Cdt.
Farid
13/03/2009, 10h58
Vincent Rogier

donc le binaire ocilib est 7,6 fois plus rapide que l' ETL, c'est bien ca ? ou t'a fait une faute de frappe ?

Envoi moi le code du binaire pour que je vois si c'est bien optimisé
13/03/2009, 11h17
farid Guennif

performance

Non non, l'ETL est dans ce cas la 6 fois plus rapide.
Je vois dans ta documentation que tu parles de OCI_SetFetchSize et OCI_SetPrefetcSize. Quelle valeur leur donner ?
Cdt.
Farid.
13/03/2009, 11h22
Vincent Rogier

envoi moi le code pour voir comment tu as fait et voir si la logique est bonne et quelle sont les modifs à faire

code du binaire

Vincent voila le code,
En fait la fonction printf est couteuse..

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
#include "ocilib.h"
int main()
{
  OCI_Connection *cn;
  OCI_Statement *st;
  OCI_Resultset *rs;
 
  int toto;
 
  if (!OCI_Initialize(NULL, NULL, OCI_ENV_THREADED))
    return EXIT_FAILURE;
 
  cn = OCI_ConnectionCreate("ddsgddsg", "dsg", "dsg", OCI_SESSION_DEFAULT);
  st = OCI_StatementCreate(cn);
 
  OCI_ExecuteStmt(st, "select * from farid");
  //OCI_SetPrefetchSize(st,1000000);
  //OCI_SetFetchSize(st,1000000);
 
  rs = OCI_GetResultset(st);
  while (OCI_FetchNext(rs))
    printf("code: %i, name %s\n", OCI_GetInt(rs, 1) , OCI_GetString(rs, 2));
 
  //printf("\n%d row(s) fetched\n", OCI_GetRowCount(rs));
 
  OCI_Cleanup();
 
  return EXIT_SUCCESS;
}

"ddsgddsg", "dsg", "dsg"

bien sur que printf() est super couteuse ;).

Essaie ca et postes l'output de ton prog

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#include "ocilib.h"
 
int main()
{
  OCI_Connection *cn;
  OCI_Statement  *st;
  OCI_Resultset  *rs;
 
  clock_t t;
  int n;
 
  if (!OCI_Initialize(NULL, NULL, OCI_ENV_DEFAULT))
    return EXIT_FAILURE;
 
  cn = OCI_ConnectionCreate("ddsgddsg", "dsg", "dsg", OCI_SESSION_DEFAULT);
  st = OCI_StatementCreate(cn);
 
  OCI_SetPrefetchSize(st, 200);
  OCI_SetFetchSize(st, 200);
 
 
  OCI_ExecuteStmt(st, "select * from farid");
 
  t = clock();
 
  rs = OCI_GetResultset(st);
 
  while (OCI_FetchNext(rs))
  {
      /* do nothing */
  }
 
  t = clock() - t;
 
  n = OCI_GetRowCount(rs),
 
  printf("**************** RESULTATS ************************\n");
  printf("Total time : %d seconds\n", (t / CLOCKS_PER_SEC));
  printf("Total rows : %d rows\n", n);
  printf("Row/second : %d \n", (n / (t / CLOCKS_PER_SEC)));
 
  OCI_Cleanup();
 
  return EXIT_SUCCESS;
}

13/03/2009, 12h21
farid Guennif

c'est mieux

Hi Vincent, voila les résultats (trés agréable):
**************** RESULTATS ************************
Total time : 6 seconds
Total rows : 7185004 rows
Row/second : 1197500

Il me faut maintenant passer par l'ETL pour récupérer les colonnes. Pour comparer les résultats, il me faut récupérer les lignes de données. L'outil ETL en plus de récupérer les données fait une validation technique des colonnes (il vérifie le type de la donnée date, char, integer.....).
Merci pour ton aide sur le sujet...je vais continuer mes tests et te fournirait une synthèse.
Cdt.
Farid.