Bonjour
J'ai besoin de votre aide pour résoudre mon problème, ça m'empêche de rendre mon projet de fin d'étude et valider le diplome


Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
       val negReviews2vec = negReviews.filter(sentence => sentence.length >= 1).map(sentence => sentence.toLowerCase.split("\\W+") 
               ).map(wordSeq => {
                    var vSum = Vectors.zeros(vectSize)
                    var vNb = 0
                    wordSeq.foreach { word =>
                        if(!(bStopWords.value)(word) & (word.length >= 2)) {
                            bVectors.value.get(word).foreach { v =>
                                vSum = add(v, vSum)
                                vNb += 1
                            }
                        }
 
                    }
                    if (vNb != 0) {
                        vSum = scalarMultiply(1.0 / vNb, vSum)
                    }
                    vSum
                }).filter(vec => Vectors.norm(vec, 1.0) > 0.0).persist()


Ce code me provoque une erreur avec la trace :

org.apache.spark.SparkException: Task not serializable
Caused by: java.io.NotSerializableException: org.apache.spark.SparkContext
Serialization stack:
- object not serializable (class: org.apache.spark.SparkContext, value: org.apache.spark.SparkContext@13c0ccc5)



Merci d'avance de votre aide.
Djam