importer avec scan()

Bonjour,

J'ai un tableau "énorme" (i.e > 100.000.000 lignes et 8 colonnes), avec la fonction read.table cela s'avère très long. J'ai donc opté pour scan().
Je veux importer ce tableau, le sauvegarder et pouvoir le restaurer.

* pour l'importer :

Code:

---

you <- as.data.frame( matrix (data = scan(file = "toto",what = "char", sep = "\t"),nc=4 ) )

---

Read 20 items

Code:

---

names(you)

---

[1] "V1" "V2" "V3" "V4"

Code:

---

you

---

Code:

---

1 2 3 4 5 6

V1 V2 V3 V4 1 nom 98 0 94.06 2 taille 0 99.01 id_4#AGTC 3 nb 97.03 id_3#AGTC 99 4 Id id_2#AGTC 100 3 5 id_1#AGTC 100 5 95.05

---

ce que je ne comprend pas, c'est pourquoi en lançant you je ne retrouve pas la structure de mon tableau?


* pour sauvegarder :

Code:

---

save(you, file = "you.RData")

---

pour restaurer :

Code:

---

(load("you.Rdata"))

---

Bonjour,

Pour le problème de formatage, il suffit d'ajouter le paramètre "byrow" de la fonction "matrix" :

Code:

---

you <- as.data.frame( matrix (data = scan(file = "toto",what = "character", sep = "\t"),ncol=4, byrow=TRUE ) )

---

Pour plus d'infos, voir l'aide de la fonction :

Code:

---

?matrix

---

Pour la modification des noms de colonnes, on peut par exemple procéder comme suit :

Code:

---

1 2 3 4

you <- matrix (data = scan(file = "toto",what = "char", sep = "\t"),nc=4,byrow=TRUE ) colnames(you)<-you[1,] you<-you[-1,] you<-as.data.frame(you) # si vous voulez absolument un data.frame

---

Enfin, n'oubliez pas que bien que le forum soit là pour vous aider, cela ne fait pas de mal d'effectuer quelques recherches de son côté avant de venir poster sa question.

Bonne continuation :)


Cordialement,

A.D.

Merci

Bonjour,

j'ai lancé ma commande pour importer mon fichier et j'obtiens le message ci-dessous:

Code:

---

tempsimport <- system.time(you <- as.data.frame( matrix (data = scan(file = "toto",what = "char", sep = "\t"),ncol=8, byrow=TRUE ) ))

---

Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
negative length vectors are not allowed

Mon fichier est très gros (>100.000.000 lignes et 8 colonnes), j'ai effectué des grep sur celui-ci afin de voir si j'avais la présence de valeurs négatives, mais à priori non. J'ai regardé sur le net, mais en vain.

Bonjour,

Citation:

---

Envoyé par pontarose

Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
negative length vectors are not allowed

Mon fichier est très gros (>100.000.000 lignes et 8 colonnes), j'ai effectué des grep sur celui-ci afin de voir si j'avais la présence de valeurs négatives

---

L'erreur signalée par R ne concerne pas d'éventuelles valeurs négatives dans votre jeu de données mais des longueurs de vecteurs (negative length vectors) qui sont considérées comme négatives dans votre code. Pourquoi, ça c'est une autre histoire...

Peut-être que cela est dû à un problème de séparateur de champ... Votre jeu de données a-t-il bien 8 colonnes séparées par des tabulations?
Avez-vous sinon essayé la même commande mais sans passer par le data.frame, ie. :

Code:

---

you <- matrix (data = scan(file = "toto",what = "char", sep = "\t"),ncol=8, byrow=TRUE ) )

---

Enfin, êtes-vous sûr qu'il soit possible de charger un fichier aussi volumineux avec R?? En effet, il me semble que dans l'aide de la fonction "scan" il est indiqué qu'il y a une taille maximum pour les données à charger...

Bon bah en tout cas, bonne continuation :)


Cordialement,

A.D.

Bonjour,

Merci.
J'ai essayé la commande sans passer par les data.frame et cela fonctionne!

Code:

---

you <- matrix (data = scan(file = "toto",what = "char", sep = "\t"),ncol=4, byrow=TRUE ) )

---