Discussion :

[farid Guennif]

Bonjour Vincent, voila mon petit soucis.

J'ai crée un fichier oracle.c avec le code suivant (exemple dans votre doc):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 
int main(int argc, char* argv[])
{
  OCI_Connection *cn;
 
  if (!OCI_Initialize(NULL, NULL, OCI_ENV_DEFAULT))
    return EXIT_FAILURE;
 
  cn = OCI_ConnectionCreate("db", "usr", "pwd", OCI_SESSION_DEFAULT);
 
  if (cn != NULL)
  {
    printf(OCI_GetVersionServer(cn));
    printf("Server major version : %i\n", OCI_GetServerMajorVersion(cn));
    printf("Server minor version : %i\n", OCI_GetServerMinorVersion(cn));
    printf("Server revision version : %i\n", OCI_GetServerRevisionVersion(cn));
    printf("Connection version : %i\n", OCI_GetVersionConnection(cn));
    OCI_ConnectionFree(cn);
  }
 
  OCI_Cleanup();
 
  return EXIT_SUCCESS;
}

Ma ligne de compilation est la suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
/usr/vacpp/bin/xlC_r -qlanglvl=extc89 -+ -O -g  -I/applis/dsgu/datastage/data/lib/fgu/ocilib-3.1.0/doc_lib/include -DOCI_IMPORT_LINKAGE -DOCI_CHARSET_ANSI -L/produits/oracle/10204/products/lib32 -lclntsh  -L/applis/dsgu/datastage/data/lib/fgu/ocilib-3.1.0/doc_lib/lib -locilib -c oracles.c -o oracles.o
et 
/usr/vacpp/bin/xlC_r -qlanglvl=extc89 -G -qmkshrobj=1000 oracles.o -o oracles

J'ai installé le produit avec les options suivantes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

./configure --prefix='/applis/dsgu/datastage/data/lib/fgu/ocilib-3.1.0/doc_lib' '--with-oracle-home=/produits/oracle/10204/products' '--with-oracle-headers-path=/produits/oracle/10204/products/rdbms/public' '--with-oracle-lib-path=/produits/oracle/10204/products/lib32' '--with-oracle-lib64=no' '--with-oracle-lib-path=/produits/oracle/10204/products/lib32'

A priori tout s'est correctement déroulé.
Le binaire oracle généré renvoie l'erreur suivante:
exec(): 0509-036 Cannot load program oracles because of the following errors:
0509-151 The program does not have an entry point or
the o_snentry field in the auxiliary header is invalid.
0509-194 Examine file headers with the 'dump -ohv' command.

J'ai l'impression que mes lignes de compilations (à l'édition de lien) ne sont pas bonnes.

Merci pour votre aide.
Cdt.
Farid.

[Vincent Rogier]

essaie plutôt ca :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
CC=/usr/vacpp/bin/xlC_r
OCILIB_HOME=/applis/dsgu/datastage/DATA/lib/fgu/ocilib-.1.0/doc_lib
ORACLE_HOME=/produits/oracle/10204/products/
CFLAGS=-qlanglvl=extc89 -O -g -DOCI_IMPORT_LINKAGE -DOCI_CHARSET_ANSI
INCS=-I$OCILIB_HOME/include
LDFLAGS=-L$ORACLE_HOME/lib32 -lclntsh  -L$OCILIB_HOME/lib -locilib

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$CC  $CFLAGS $INCS -c oracles.c -o oracles.o

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$CC  $LDFLAGS oracles.o oracles

[farid Guennif]

Vincent, c'est bien la bonne ligne de commande.
Une toute petite correction :
$CC $LDFLAGS oracles.o -o oracles
au lieu de
$CC $LDFLAGS oracles.o oracles

Merci pour ta réactivité. Je vais passer aux variables d'environnements et faire des tests de performance (peut etre as tu un avis sur le sujet).

Cdt.
Farid.

[Vincent Rogier]

effectivement, petite erreur de copier/coller..lol

que veux tu savori sur les test de perfs ?

[farid Guennif]

Vincent,
Dans le cadre de test avec un outil d'extraction (ETL Datastage) je désire tester le niveau de performance entre les librairies de l'outil et la librairie ocilib.
Pour cela je peux procéder de différentes facons, créer un binaire ou bien incorporer le code C dans un composant "buildop". Ce type de composant sous Datastage permet d'incorporer du code C/C++ (à ma charge de pouvoir le compiler).
Sous Datastage je ne peux travailler (dans la version actuelle) qu'en 32 bits.
Je me demande donc:
- si un binaire avec ocilib sera plus performant que les composants Datastage.
- si le passage en 64 bits sera plus performant,
- qu'apporterais le mode multi thread (indiqué dans ta doc).
En fait, as tu déja réalisés des benchs avec ocilib ?

Merci Vincent.
Cdt.
Farid.

[Vincent Rogier]

- si un binaire avec ocilib sera plus performant que les composants Datastage.

je ne connais pas vraiment le produit et les technos sous jacente mais au vu de ce que j'au pu en voir et en raison de son architecture d'ETL, un binaire OCILIB sera plus rapide (pour la partie connectivité Oracle)

- si le passage en 64 bits sera plus performant,

Ca dépend ca peut mais pas forcément. Ca dépend de plein de facteurs.

- qu'apporterais le mode multi thread (indiqué dans ta doc).

Avec une logique applicative appropriée, cela permet de paralléliser les actions sur la DB et gagner sur le temps global de traitement.

En fait, as tu déja réalisés des benchs avec ocilib ?

Oui entre C#, JDBC, OTL, OCILIB et 2 ou 3 autres frameworks mineurs...
J'ai plus les valeurs des résultats mais OCILIB était le plus rapide notamment sur la partie array interface... ou la OCILIB troue le cul à tous les autres . De plus OCILIB est toujours plus rapide que des libs C++ car celles ci doiivent bufferiser en interne les données pour les transformer en objet C++

Je suis interessé par les résultats de tes tests

[farid Guennif]

Vincent voila le code,
En fait la fonction printf est couteuse..

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
#include "ocilib.h"
int main()
{
  OCI_Connection *cn;
  OCI_Statement *st;
  OCI_Resultset *rs;
 
  int toto;
 
  if (!OCI_Initialize(NULL, NULL, OCI_ENV_THREADED))
    return EXIT_FAILURE;
 
  cn = OCI_ConnectionCreate("ddsgddsg", "dsg", "dsg", OCI_SESSION_DEFAULT);
  st = OCI_StatementCreate(cn);
 
  OCI_ExecuteStmt(st, "select * from farid");
  //OCI_SetPrefetchSize(st,1000000);
  //OCI_SetFetchSize(st,1000000);
 
  rs = OCI_GetResultset(st);
  while (OCI_FetchNext(rs))
    printf("code: %i, name %s\n", OCI_GetInt(rs, 1) , OCI_GetString(rs, 2));
 
  //printf("\n%d row(s) fetched\n", OCI_GetRowCount(rs));
 
  OCI_Cleanup();
 
  return EXIT_SUCCESS;
}

[Vincent Rogier]

bien sur que printf() est super couteuse .

Essaie ca et postes l'output de ton prog

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
#include "ocilib.h"
 
int main()
{
  OCI_Connection *cn;
  OCI_Statement  *st;
  OCI_Resultset  *rs;
 
  clock_t t;
  int n;
 
  if (!OCI_Initialize(NULL, NULL, OCI_ENV_DEFAULT))
    return EXIT_FAILURE;
 
  cn = OCI_ConnectionCreate("ddsgddsg", "dsg", "dsg", OCI_SESSION_DEFAULT);
  st = OCI_StatementCreate(cn);
 
  OCI_SetPrefetchSize(st, 200);
  OCI_SetFetchSize(st, 200);
 
 
  OCI_ExecuteStmt(st, "select * from farid");
 
  t = clock();
 
  rs = OCI_GetResultset(st);
 
  while (OCI_FetchNext(rs))
  {
      /* do nothing */
  }
 
  t = clock() - t;
 
  n = OCI_GetRowCount(rs),
 
  printf("**************** RESULTATS ************************\n");
  printf("Total time : %d seconds\n", (t / CLOCKS_PER_SEC));
  printf("Total rows : %d rows\n", n);
  printf("Row/second : %d \n", (n / (t / CLOCKS_PER_SEC)));
 
  OCI_Cleanup();
 
  return EXIT_SUCCESS;
}

[farid Guennif]

Hi Vincent, voila les résultats (trés agréable):
**************** RESULTATS ************************
Total time : 6 seconds
Total rows : 7185004 rows
Row/second : 1197500

Il me faut maintenant passer par l'ETL pour récupérer les colonnes. Pour comparer les résultats, il me faut récupérer les lignes de données. L'outil ETL en plus de récupérer les données fait une validation technique des colonnes (il vérifie le type de la donnée date, char, integer.....).
Merci pour ton aide sur le sujet...je vais continuer mes tests et te fournirait une synthèse.
Cdt.
Farid.