Discussion :

[cricricr7]

Bonjour, j'ai un problème pour importer une table en Spark sur Jupyter. J'arrive à importer ma table sans problème avec Python mais j'ai un problème en spark. Voici ce que j'ai fait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
Table_deces = (spark.read.load('hdfs://nameservice/met_dsm/TA/work/BET_Vie/PS/PS_Collectives/JESS_CALCUL_PROVISION/TG05F.csv',
                                       format ='com.databricks.spark.csv',
                                       header='true',
                                       #quote ='\\',
                                       delimiter = ';',
                                      encoding='UTF-8',
                                       inferSchema='true'))
 
from pyspark.sql.functions import rand                  
Table_deces.head()

je vous remercie.

[cricricr7]

Non , c'est bon j'ai réussi. Par contre, j'aimerais remplacer les NaN par des 0 dans le langage Spark.

je vous remercie.