y a t'il plus rapide qu'un select via un dblink pour charger des données?

ukanoldai · 28/08/2007, 10h23

Bonjour,
je dois charger des données d'une application de production et pour le moment l'incrémentiel n'est pas possible, les tables grossissent rapidement et mon chargement s'éternise, pour l'instant je rapatrie les données via un select en passant par un dblink, existe t'il quelque chose de plus rapide?

les deux oracle sont en 9.2.0.6

merci a vous

orafrance · 28/08/2007, 10h26

faudrait commencer par nous expliquer le besoin... tu veux faire de la réplication en temps réel ? Tu as omis de préciser la version d'Oracle aussi

ukanoldai · 28/08/2007, 13h41

non juste un chargement de donnée journalier que j'effectue dans la nuit pour faire mes traitements hors production dans le cadre d'un datawarehouse, pour la version je ne vois pas quoi dire de plus :/

orafrance · 28/08/2007, 14h20

j'avais pas vu la version

Utilise plutôt des vue matérialisées avec leur log pour pouvoir faire des synchros incrémentales

Scual · 28/08/2007, 14h48

Si tu es sous 10g, tu peux aussi envisager les tablespaces transportables.

++

ukanoldai · 28/08/2007, 14h55

ca a l'air pas mal du tout

apparement ce serait donc avec CREATE MATERIALIZED VIEW LOG

si je comprend bien il va capter et queuer les logs de modification de la table et les rejouer lors de la mise a jour de la vue?
est ce que tu as une expérience de ces materialized view log et de l'impact sur la table cible en production?

par contre j'y pense juste la mais je me demande comment il va s'en sortir si je crée ma vue sur une table attaquée en dblink, pour accéder les log, testons ca

orafrance · 28/08/2007, 14h55

en 9i aussi

Par contre en 10gR2 il peut envisager Streams... mais il est en 9.2.0.6

Harry Potter · 29/08/2007, 08h49

Ca ne pose pas de problèmes (et c'est même fait pour) de créer des snapshots (Materialized View) sur une base attaquée par un DBLink.
Par contre pour ta base de production, s'il y a beaucoup de mises à jour sur tes tables maîtres, les snapshot_logs (ou MATERIALIZED VIEW LOG) vont grossir assez rapidement (il faut prévoir un tablespace dédié à ces tables) et peuvent ralentir le transactionnel (chaque fois que tes tables de production sont impactées il y a création d'un tu^ple dans la table du snapshot_log correspondante).

A noter que dans ce cas le mode de rafraîchissement des snapshots (sur la base de datawarehouse) il faudra pendre le mode force (qui utilise les snapshot_logs en mode fast si possible ou sinon le mode complete qui realimente le snapshot [truncate puis alimentation]).

orafrance · 29/08/2007, 08h57

l'overhead généré par un snapshot log est minime, je ne pense pas qu'il y a d'inquiétude à avoir

ukanoldai · 29/08/2007, 09h00

merci de vos réponses.

j'ai regardé l'article sur downstreams http://fadace.developpez.com/oracle/downstreams/ et ils conseillent d'être en 10.2, mais est il possible d'avoir sa source en 9i et sa cible en 10.2? et cela arrange t'il les bidons? (en belsh)

parceque ca a l'air un peu magique pour tous mes imports de données oracle (reste l'informix, db2, et mssql apres

)

28/08/2007, 10h23	#1
ukanoldai Candidat au titre de Membre du Club Inscription : janvier 2005 Messages : 62 Détails du profil Informations forums : Inscription : janvier 2005 Messages : 62 Points : 14 Points : 14	y a t'il plus rapide qu'un select via un dblink pour charger des données? Bonjour, je dois charger des données d'une application de production et pour le moment l'incrémentiel n'est pas possible, les tables grossissent rapidement et mon chargement s'éternise, pour l'instant je rapatrie les données via un select en passant par un dblink, existe t'il quelque chose de plus rapide? les deux oracle sont en 9.2.0.6 merci a vous
	00

28/08/2007, 10h26	#2
orafrance Rédacteur/Modérateur Inscription : janvier 2004 Messages : 15 861 Détails du profil Informations personnelles : Âge : 35 Informations forums : Inscription : janvier 2004 Messages : 15 861 Points : 16 212 Points : 16 212	faudrait commencer par nous expliquer le besoin... tu veux faire de la réplication en temps réel ? Tu as omis de préciser la version d'Oracle aussi __________________ Règles et liens du forum Oracle Guide Oracle Pense-bête du DBA Oracle : Exemple
	00

28/08/2007, 14h20	#4
orafrance Rédacteur/Modérateur Inscription : janvier 2004 Messages : 15 861 Détails du profil Informations personnelles : Âge : 35 Informations forums : Inscription : janvier 2004 Messages : 15 861 Points : 16 212 Points : 16 212	j'avais pas vu la version Utilise plutôt des vue matérialisées avec leur log pour pouvoir faire des synchros incrémentales __________________ Règles et liens du forum Oracle Guide Oracle Pense-bête du DBA Oracle : Exemple
	00

28/08/2007, 14h55	#7
orafrance Rédacteur/Modérateur Inscription : janvier 2004 Messages : 15 861 Détails du profil Informations personnelles : Âge : 35 Informations forums : Inscription : janvier 2004 Messages : 15 861 Points : 16 212 Points : 16 212	en 9i aussi Par contre en 10gR2 il peut envisager Streams... mais il est en 9.2.0.6 __________________ Règles et liens du forum Oracle Guide Oracle Pense-bête du DBA Oracle : Exemple
	00

29/08/2007, 08h57	#9
orafrance Rédacteur/Modérateur Inscription : janvier 2004 Messages : 15 861 Détails du profil Informations personnelles : Âge : 35 Informations forums : Inscription : janvier 2004 Messages : 15 861 Points : 16 212 Points : 16 212	l'overhead généré par un snapshot log est minime, je ne pense pas qu'il y a d'inquiétude à avoir __________________ Règles et liens du forum Oracle Guide Oracle Pense-bête du DBA Oracle : Exemple
	00

28/08/2007, 13h41	#3
ukanoldai Candidat au titre de Membre du Club Inscription : janvier 2005 Messages : 62 Détails du profil Informations forums : Inscription : janvier 2005 Messages : 62 Points : 14 Points : 14	non juste un chargement de donnée journalier que j'effectue dans la nuit pour faire mes traitements hors production dans le cadre d'un datawarehouse, pour la version je ne vois pas quoi dire de plus :/
	00

28/08/2007, 14h48	#5
Scual Membre actif Inscription : avril 2006 Messages : 149 Détails du profil Informations personnelles : Âge : 28 Localisation : France, Paris (Île de France) Informations forums : Inscription : avril 2006 Messages : 149 Points : 185 Points : 185	Si tu es sous 10g, tu peux aussi envisager les tablespaces transportables. ++
	00

28/08/2007, 14h55	#6
ukanoldai Candidat au titre de Membre du Club Inscription : janvier 2005 Messages : 62 Détails du profil Informations forums : Inscription : janvier 2005 Messages : 62 Points : 14 Points : 14	ca a l'air pas mal du tout apparement ce serait donc avec CREATE MATERIALIZED VIEW LOG si je comprend bien il va capter et queuer les logs de modification de la table et les rejouer lors de la mise a jour de la vue? est ce que tu as une expérience de ces materialized view log et de l'impact sur la table cible en production? par contre j'y pense juste la mais je me demande comment il va s'en sortir si je crée ma vue sur une table attaquée en dblink, pour accéder les log, testons ca
	00

29/08/2007, 08h49	#8
Harry Potter Membre régulier Inscription : octobre 2006 Messages : 73 Détails du profil Informations personnelles : Âge : 39 Localisation : France, Haute Vienne (Limousin) Informations forums : Inscription : octobre 2006 Messages : 73 Points : 85 Points : 85	Ca ne pose pas de problèmes (et c'est même fait pour) de créer des snapshots (Materialized View) sur une base attaquée par un DBLink. Par contre pour ta base de production, s'il y a beaucoup de mises à jour sur tes tables maîtres, les snapshot_logs (ou MATERIALIZED VIEW LOG) vont grossir assez rapidement (il faut prévoir un tablespace dédié à ces tables) et peuvent ralentir le transactionnel (chaque fois que tes tables de production sont impactées il y a création d'un tu^ple dans la table du snapshot_log correspondante). A noter que dans ce cas le mode de rafraîchissement des snapshots (sur la base de datawarehouse) il faudra pendre le mode force (qui utilise les snapshot_logs en mode fast si possible ou sinon le mode complete qui realimente le snapshot [truncate puis alimentation]).
	00

29/08/2007, 09h00	#10
ukanoldai Candidat au titre de Membre du Club Inscription : janvier 2005 Messages : 62 Détails du profil Informations forums : Inscription : janvier 2005 Messages : 62 Points : 14 Points : 14	merci de vos réponses. j'ai regardé l'article sur downstreams http://fadace.developpez.com/oracle/downstreams/ et ils conseillent d'être en 10.2, mais est il possible d'avoir sa source en 9i et sa cible en 10.2? et cela arrange t'il les bidons? (en belsh) parceque ca a l'air un peu magique pour tous mes imports de données oracle (reste l'informix, db2, et mssql apres )
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email