Copie de base Oracle

[jlm22]

Bonjour,

Je fait un programme de copie de base Oracle, j'execute le programme tout les soir grâce à une tâche planifier.

Problème : les copies sont très longue et les tables très grosses.

J'aimerais savoir s'il y a une méthode plus optimisé que celle que j'ai :

En gros je crée une connection sur les 2 bases, (pour l'instant c'est dans une base access que j'envoie mes données c'est pour les test)

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
 
Dim LDaOracle AS OleDbDataAdapter
        Dim LDtOracle AS New DataTable
        Dim LDrOracle AS DataRow
        Dim cmd, cmd2 AS New OleDb.OleDbCommand
        P_cnOracle = New OleDbConnection("Provider=MSDAORA.0; Data Source=Base1;User Id=****;Password=*****;")
        P_cnAccess.ConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source= C:\mabase2.mdb;"
        P_cnAccess.Open()
        IF P_cnOracle.State = ConnectionState.Broken Then P_cnOracle.Close()
        IF P_cnOracle.State = ConnectionState.Closed Then
            Try
                P_cnOracle.Open()
            Catch
                MsgBox("Impossible de se connecter à la base : Base1", vbAbort, "ERREUR")
            End Try
        End IF
        cmd.Connection() = P_cnAccess
        LDaOracle = New OleDbDataAdapter("SELECT * FROM tablebase1", P_cnOracle)
        LDaOracle.Fill(LDtOracle)
 
        IF LDtOracle.Rows.Count > 0 Then
            FOR Each LDrOracle IN LDtOracle.Rows
 
                cmd.CommandText = "INSERT INTO TableBase2Access (colonne1, colonne2, colenne3, colonne4,colonne5, colonne6, colonne7, colenne8, colonne9, colonne10, colonne11, colonne12, colonne13, colonne14, colenne15) VALUES " & _
                                   "('" & LDrOracle("colonne1").ToString & "'" & _
                                   ", '" & LDrOracle("colonne2").ToString & "'" & _
                                  ", '" & LDrOracle("colonne3").ToString & "'" & _
                                   ", '" & LDrOracle("colonne4").ToString & "'" & _
                                    ", '" & LDrOracle("colonne5").ToString & "'" & _
                                    ", '" & LDrOracle("colonne6").ToString & "'" & _
                                    ", '" & LDrOracle("colonne7").ToString & "'" & _
                                   ", '" & LDrOracle("colonne8").ToString & "'" & _
                                    ", '" & LDrOracle("colonne9").ToString & "'" & _
                                    ", '" & LDrOracle("colonne10").ToString & "'" & _
                                    ", '" & LDrOracle("colonne11").ToString & "'" & _
                                    ", '" & LDrOracle("colonne12").ToString & "'" & _
                                    ", '" & LDrOracle("colonne13").ToString & "'" & _
                                    ", '" & LDrOracle("colonne14").ToString & "'" & _
                                    ", '" & LDrOracle("colonne15").ToString & "')"
                cmd.ExecuteNonQuery()
            Next
        End IF
    End Sub

Imaginez ce code pour 50 tables de ma base 1, c'est un peu lourd (un peu )
Peut être y'a t-il mieux à faire ?

En faite j'ai ma première base qui est purger tout les 2 mois pour que les requêtes soit plus rapide pour les utilisateurs, et pour avoir un historique il faut avoir une base qui est une fourchette de donnée d'environ 3 ans, il faut donc que tout les jours j'envoie les données d'une base vers l'autre ( c'est envoie doit être planifier vers 00h)

Merci d'avance

[orafrance]

T'as regardé du coté de streams ? Cela permettrait de faire de la réplication différentielle parce que là le souci c'est que tu réinjectes toutes les lignes tous les soirs au lieu de ne faire que ce qui a changé

[jlm22]

Salut,

Justement je pensait à une sauvegarde incrémentale mais je n'est aucune idée du moyen pour réaliser ça, en plus ça prendrait beaucoup moins de temps que de supprimer et de tout remettre.

[orafrance]

La sauvegarde incrémentale ne t'aidera pas puisque lorsque tu purgeras les lignes, elles ne seront plus dans ta sauvegarde

Non, faut faire de la réplication logique... après ça peut aussi passer par une colonne identifiant la dernière réplication faite et une autre permettant de connaitre l'action à mener.
Quand tu mets à jour une ligne, tu stockes la date à laquelle c'est fait ou un identifiant de situation et tu écris UPDATE dans la colonne action. Lors de la réplication tu fais un truc du genre :
- UPDATE [ligne locale] WHERE action_distante = 'UPDATE' AND id_replication > (SELECT max (id_replication) FROM table_log) PK_locale = PK_distance AND data = data distante
- INSERT into locale SELECT * FROM distante where action_distante = 'INSERT' AND id_replication > (SELECT max (id_replication) FROM table_log)
- DELETE FROM locale WHERE PK_locale NOT IN (SELECT PK_distante FROM distante)
- INSERT INTO table_log SELECT MAX(id_replication) + 1, sysdate, 'OK' FROM table_log

Désolé, c'est pas forcément clair mais j'espère que tu saisiras le principe

[jlm22]

En faite tu crée une table qui regroupe l'historique des actions sur toutes les tables de la base ? (enfin je crois)

sinon j'ai regarder Oracle streams mais sa me parait compliquer a mettre en place à mon niveau ^^ Je n'ai pas d'archivelog sur ma base source sa pose problème pour stream ?

[orafrance]

Envoyé par jlm22

En faite tu crée une table qui regroupe l'historique des actions sur toutes les tables de la base ? (enfin je crois)

Non, cette info sera dans chaque table à répliquer, je crée juste une table pour savoir quand les données ont été modifiées. Lors de la 1er répli, tu crées une ligne avec une séquence et la date. Cette séquence sera stockée sur chaque ligne traitée de chacune de tes tables, comme ça le coup d'après, tu ne prends en compte que les lignes modifiées (numéro de séquence nul ou inférieur à celui en cours).

[jlm22]

Difficile à imaginer dsl je me force mais j'ai du mal comprendre

[orafrance]

Je me doute

[jlm22]

Me revoilà après une semaine de labeur ,

Donc voilà ou j'en suis (je sais pas si je doit ouvrir un nouveau sujet mais bon). J'ai donc décidé d'utilisé Streams comme tu me l'avais conseillé, je l'ai mis en place sur quelque chose de très simple pour commencé, mon exemple : 2 tables dans un même base une table source qui se déverse dans un table destination.

Tout fonctionne nikel ! j'ai donc décidé d'augmenter un peu la difficulté (un peu ^^) utilisé 2 PC chacun une base avec une table d'une base qui se réplique dans une table de l'autre base. J'utilise des databases link (qui fonctionne nikel) j'ai suivi une procédure en l'adaptant à mes besoins, tout s'execute sans erreur mais au moment de la réplication .........Rien.

C'est pourquoi j'aimerais savoir si quelqu'un a déjà réaliser ce type de réplication ? et s'il pouvait m'aider ?

PS: je vais refaire un essai au cas où

Cordialement

[macben]

Je ne connais pas Streams, mais en lisant ton post je me suis posé une interrogation :

pourquoi utilises-tu un dblink ?

tu ne peux te connecter en sqlnet de ton pc source à ton pc cible ?

EDIT : Bon j'ai trouvé ma réponse

[jlm22]

ah yeah tout fonctionne, cependant j'ai une question !

Situation : Mes 2 bases sont sur 2 pc différent qui sont mis tout les 2 sur le même réseaux, et en faite j'ai voulu faire un test de coupure réseaux. j'enleve le cable réseau et j'insère une ligne dans ma base source, si je fait un commit lors de la coupure BAM:

Code :

1
2
3
4
5
6
7
8
9
 
SQL> commit;
commit
*
ERREUR Ó la ligne 1 :
ORA-02050: transaction 3.35.317 annulÚe, certaines BdD distantes peuvent Ûtre
en doute
ORA-02068: suivant erreur sÚvÞre de STREAM6
ORA-03135: contact perdu pour la connexion

cependant si je ne fait pas de commit, que je rebranche le cable et que je refasse un commit après la ligne s'insère bien.

Question :

Y'a t il un moyen de contourner la perte de connexion par exemple d'éxécuter le commit et que la base "copie" se mette à jour à la reconnexion ?

ou

faire attendre le commit en cas de perte de connexion !

Merci d'avance

[orafrance]

Il me semble que c'est le comportement que ça devrait avoir à en croire l'erreur : http://ora-02050.ora-code.com/

[jlm22]

Je pensais aussi, mais apparemment non, il y a peut être une option dans streams qui permet le commit sur la source et la resynchro à la reconnexion mais j'avoue que je ne vois pas laquelle si quelqu'un est au courant ou est déjà passer par là !!

[jlm22]

Peut-on faire une copie de base journalière avec des impdp journalier qui fusionne avec les lignes déja présente dans la table.

Exemple
Jour 1

Table1@base1 {1,2,3,4}
expdp
impdp
Table1@base2 {1,2,3,4}

Jour 2

Table1@base1 {1,2,3,4,5,6,7}
expdp
impdp
Table1@base2 {1,2,3,4,5,6,7}

[orafrance]

le problème c'est qu'à moins d'une contrainte d'unicité t'auras des doublons

[NicoL__]

Bonjour,

A mon sens tu n'as pas besoin de faire un synchro de base, cela permet de faire de la haute disponibilité et bien d'autres chose mais c'est du lourd et il y a pas mal de contraintes comme faire du monitoring en continu que tout se passe bien...
Si tu veux une base qui contient un historique, cela ressemble plus à une problématique de BI. Du coup je pense qu'avec un outils comme TALEND OPEN STUDIO (open source, gratuit) du peut créer une tache consistant à récupérer les nouvelles données de la journée. Et même à réaliser la purge...

[jlm22]

J'ai fini par faire une procédure PL/SQL qui s'execute une fois par semaine. Plus long mais aussi efficace et zéro perte