Discussion :

[lobna20]

Bonjour tout le monde,

J'a créer un job sous Talend for Big Data pour charger des données d'une table hive contenant 1M de données vers une base nosql neo4j. Le temps d'éxécution est plutot trop lent, la vitesse est de 14.43 rows/s voire plus.
Je travaille avec une machine de 16Go de RAM.
J'ai regardé le fichier TOS_BD_win.ini et voila ce que j'ai trouvé:
-vmargs
-Xms512m
-Xmx1536m
-XX:MaxPermSize=512m
-Dfile.encoding=UTF-8



Quelqu'un peut m'aider et me dire comment je peux optimiser ce job ?

[lennelei]

Salut,

tu as essayé sans activer les statistiques ? En général, ça plombe les perfs...

[lobna20]

Quand je descative les statistiques dans les paramètres avancés du job , ce dernier ne démarre plus

[lennelei]

Désolé, j'ai raté ta réponse :s

Je serais très surpris que le job ne parte pas sans stats : tu en es sûre ? Sans les statistiques, tu ne vas rien voir à l'écran, donc il faut regarder en sortie et attendre assez longtemps.
Je ne connais pas les composants, mais tu as peut-être des options de tunning (blocs, commits, etc.) ?
Autre piste possible: utiliser des chargements bulks s'ils existent ?

Compte tenu des infos, tu peux toujours augmenter les paramètres mémoires (directement dans les paramètres avancés, au même endroit que tu désactives les stats) mais je ne suis pas certain que ça aide ; je pense vraiment que ce sont tes statistiques.

Ce qui peut-être pas mal, c'est d'ajouter un tJava entre chaque étape pour écrire des logs sur la sortie (avec System.out.println("...") par exemple) : ça permet de voir l'avancement du job.