Discussion :

[skander.isic]

je suis un étudiant et dans le cadre de mon pfe je suis amené à faire le transfert de données d'une base de production à une base d'archivage en utilisant talend, mais je rencontre un problème lors du transfert d'une table de 32million de lignes . je voulais savoir s'il y'a une possibilité de faire le transfert de cette table par blocs avec talend bien sur ? merci

[supergeoffrey]

Oui j'ai déjà fait se genre de chose.

Avec des clés primaires entière

J'avais un flux
tMysqlInput -row1> tMysqlOutput

que j'ai du remplacer par
tMysqlInput -row2> tFlowToIterate -iterate> tJavaFlex -iterate> tMysqlInput -row1> tMysqlOutput



dans le tMysql que j'ai ajouté je sélectionnais la plus petite et la plus grande de ma clé primaire en base.

dans le tJavaFLex je définissait la boucle de mes intervaux :
code de début

Code java :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
    int group_by = 10000;
 
    int borneInf = row2.min;
    boolean hasNextLoop = true;
    while(hasNextLoop){
        int borneSup = borneInf + group_by;

code principal

Code java :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
// pas de code car on est entre deux iterate : le code dans la boucle est ce qui sera généré pas talend après l'itération

code de fin

Code java :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
      borneInf = borneSup + 1;
      hasNextLoop = borneInf > row2.max;
  }// fin while

et dans mon tMysql existant j'ai dynamisé ma requête afin d'avoir une close where du genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

where id >= " + borneInf +  " and id <=   " + borneSup +  "