Import d'un tableau de données de plus de 22 colonnes
Bonjour,
Etant débutant en Scala, j'essaie d'importer mon tableau de données (pour calibrer des algos de machine learning par la suite) sauf que celui-ci possèdent 27 colonnes. Lorsque je lance ce code j'ai le massage d'erreur suivant qui m'indique qu'un tuple ne peut avoir plus de 22 éléments.
Je précise que je travaille avec la version 2.11.8 de scala et 2.1.0 de Spark.
Code:
1
2
3
4
5
6
| var table = sc.textFile("table.csv")
.map(line=>line.split(";") match {
case Array(ID, var1, var2, ...., var27) =>
(ID.toString, var1.toString, ..... , var27.toString)
}
) |
Voici l'erreur :
Code:
1
2
| Error:(64, 9) too many elements for tuple: 27, allowed: 22
(ID.toString, var1.toString , var2.toString, ..., var27.toString, |
Quelqu'un pourrait m'indiquer si il existe une alternative ou un package recommandé pour importer des données dans l'optique de modéliser une variable cible ?
Cordialement
