Discussion :

[pcouas]

Bonjour

Je recherche un exemple de configuration Pycharm ou Intellij Ultimate pour debugger sur hadoop distant via une authentification kerberos
Mon script Python est sur mon PC et hadoop sur un serveur LINUX

https://www.jetbrains.com/help/idea/...tml#connection pour l'instant cela ne fonctionne pas

Merci

[rouardg]

Bonjour,

Votre lien ne fonctionne pas.

[pcouas]

Oui il ne fonctinne plus https://www.jetbrains.com/help/idea/...-overview.html

Ma nouvelle piste en cours de test est du spark-submit en remote debuging via ssh avec option shell
Cela demarre et un process unix est visible sur le serveur distance, mais pas de point d"arret pour l'instant

[rouardg]

Bonjour,

N'étant pas développeur Big Data, je suis dans l'incapacité de vous aider.

Depuis votre PC, vous êtes donc obligé d'utiliser un client SSH pour vous connecter sur une des machines du cluster Hadoop, et vous vous authentifiez sous Kerberos.

Ensuite, vous lancez votre traitement d'un seul coup avec un spark-submit.

Or, vous parlez de points d'arrêt. En fait, ce que vous voulez faire, c'est débugguer votre programme pySpark.

Dans ce cas, au lieu de lancer votre programme d'un seul coup, en mode batch, à l'aide d'un spark-submit, pourquoi vous n'utilisez pas l'interface pyspark pour développer votre programme pas à pas ?

Vous pourriez ainsi tester votre programme, et visualiser vos données après chaque action Spark.

En entreprise, un des grands classiques aussi, c'est d'utiliser un Notebook Jupyter plutôt que le pyspark en ligne de commande. En règle générale, il y a toujours un serveur JupyterHub de déployé quelque part dans une entreprise, notamment pour les Datascientists.

Je ne sais pas si ce que je dis vous aide ?

[pcouas]

Bonjour

C'est un projet a l'arret depuis 3 ans que je reprend et autant il y a de la doc metier autant la doc technique est manquante et peu de monde maitrise les sujets.
Pour l'instant j'essaye depuis intellij ultimate en mode python de lancer les commandes spark-submit dans le "Run Configuration".
Je vois bien un process unix sur le serveur distant, mais je n'ai pas de point d'arret dans mon code python en local
Je ne dispose QUE d'intellij Ultimate que j'ai mis en mode "Python" et qui possede une option Spark-submit sur mon PC en Windows10.

voici la ligne de commande distante dans le bash que j'essaye de lancer en local
spark-submit /app/Txxx/prod/bin/scripts/lxxx.py $1 $2 $3 Analysis.xlsx CS $salesdir $4

Merci