Discussion :

[Karibou]

Bonjour,

Afin d'ameliorer les performances de mon ETL je souhaite partitionner les resultats d'une requete en plusieurs morceaux qui seront par la suite traités en parallèle.

J'ai une clé primaire sur ma table mais elle est pas dense (les valeurs se suivent pas, ya des trous).
Bref j'aimerais pouvoir obtenir les intervalles de clé primaire qui permetterait de decouper la ma table en n morceau de volumen (ou nombre de lignes) equivalent.

J'ai cherché du côté de partition over mais sans succès.

Si vous avez des idées je suis preneur ca fait un bout de temps que je me casse la tete dessus.

Merci d'avance!!!

ps: ma clé primaire est de type varchar (donc je peux pas faire de fonctions numeriques dessus) => c'est pas moi qui est choisi ca, c'est que c'est une table provenant de siebel!

[mnitu]

regarde cette discution sur AskTom.

[Karibou]

Merci mnitu pour ta reponse, malheureusement je ne peux pas utiliser le "parallel query" parce que je n'ai pas la main sur la db.
(En gros, j'accède a la table a travers une vue qui elle meme pointe sur une table sur une autre db (via un db link) qui se trouve en amerique du nord.)

De plus, je voudrais pouvoir decouper ma requete de maniere a obtenir n sets de données de façons a avoir n pipelines dans mon mapping ETL par la suite....

Donc il faut absolument que je trouve un moyen de determiner comment decouper une table par en n morceaux de volume equivalent...

[Waldar]

Quand on parle de partition c'est plutôt au niveau des tables que celà se passe, au niveau des requêtes on parle plutôt de parallélisme.

Que fait votre flux exactement, copier une table en amérique et la ramener en local chez vous ? Quelle est la volumétrie de vos données ?

Vous pouvez utiliser le dernier caractère de votre PK, ou son code ascii, ou la somme des chiffres de tous les codes ascii de la clef, en général on retrouve des volumétrie sensiblement équivalente.

Mais attention de bien vérifier que le temps nécessaire à ce découpage n'est pas supérieur à celui de tout prendre en direct, car si la table n'est pas optimisée pour envoyer des données en parallèle il n'est vraiment pas sûr que vous soyez gagnant.

[mnitu]

Merci mnitu pour ta reponse, malheureusement je ne peux pas utiliser le "parallel query" parce que je n'ai pas la main sur la db.
...

Ce n'était pas pour le "parallel query" mais plutôt pour le DIY

[Karibou]

Ayest j'ai trouvé.

Il y a une fonciton analytique oracle qui permet de faire ca: la fonction ntile().

Dans mon cas, si j'ai une table de 3 colonnes, avec col1 etant ma clé, et que je veux 'diviser' les resultats en 4 groupe de volument (nombre de lignes) equivalent, il me suffit de faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
select 
col1, 
col2, 
col3, 
ntile(3), ntile(4) OVER(ORDER BY col1) AS groupe
From matable
group by col1

Et apres pour obtenir chacun des groupes separement, je filtre sur groupe=1 (ou 2, ou 3 ou 4).

Voila.

Merci pour votre aide.

[sandrine49]

Bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Et apres pour obtenir chacun des groupes separement, je filtre sur groupe=1 (ou 2, ou 3 ou 4).

Comment faites vous pour filter sur un groupe parce que moi j'ai un message errreur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
SELECT 
matricule,
ntile(10) OVER(ORDER BY matricule) AS groupe 
FROM matricule
where GROUPE = 1

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
SQL Error: ORA-00904: "GROUPE": invalid identifier
00904. 00000 -  "%s: invalid identifier"

merci