Discussion :

[pontarose]

Bonjour,

J'ai un tableau "énorme" (i.e > 100.000.000 lignes et 8 colonnes), avec la fonction read.table cela s'avère très long. J'ai donc opté pour scan().
Je veux importer ce tableau, le sauvegarder et pouvoir le restaurer.

* pour l'importer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

you <- as.data.frame( matrix (data = scan(file = "toto",what = "char", sep = "\t"),nc=4 ) )

Read 20 items

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

names(you)

[1] "V1" "V2" "V3" "V4"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

you

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
         V1        V2        V3        V4
1       nom        98         0     94.06
2    taille         0     99.01 id_4#AGTC
3        nb     97.03 id_3#AGTC        99
4        Id id_2#AGTC       100         3
5 id_1#AGTC       100         5     95.05

ce que je ne comprend pas, c'est pourquoi en lançant you je ne retrouve pas la structure de mon tableau?


* pour sauvegarder :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

save(you, file = "you.RData")

pour restaurer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

(load("you.Rdata"))

[A. D.]

Bonjour,

Pour le problème de formatage, il suffit d'ajouter le paramètre "byrow" de la fonction "matrix" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

you <- as.data.frame( matrix (data = scan(file = "toto",what = "character", sep = "\t"),ncol=4, byrow=TRUE ) )

Pour plus d'infos, voir l'aide de la fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

?matrix

Pour la modification des noms de colonnes, on peut par exemple procéder comme suit :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
you <- matrix (data = scan(file = "toto",what = "char", sep = "\t"),nc=4,byrow=TRUE )
colnames(you)<-you[1,]
you<-you[-1,]
you<-as.data.frame(you) # si vous voulez absolument un data.frame

Enfin, n'oubliez pas que bien que le forum soit là pour vous aider, cela ne fait pas de mal d'effectuer quelques recherches de son côté avant de venir poster sa question.

Bonne continuation


Cordialement,

A.D.

[pontarose]

Merci

[pontarose]

Bonjour,

j'ai lancé ma commande pour importer mon fichier et j'obtiens le message ci-dessous:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tempsimport <- system.time(you <- as.data.frame( matrix (data = scan(file = "toto",what = "char", sep = "\t"),ncol=8, byrow=TRUE ) ))

Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
negative length vectors are not allowed

Mon fichier est très gros (>100.000.000 lignes et 8 colonnes), j'ai effectué des grep sur celui-ci afin de voir si j'avais la présence de valeurs négatives, mais à priori non. J'ai regardé sur le net, mais en vain.

[A. D.]

Bonjour,

Error in scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
negative length vectors are not allowed

Mon fichier est très gros (>100.000.000 lignes et 8 colonnes), j'ai effectué des grep sur celui-ci afin de voir si j'avais la présence de valeurs négatives

L'erreur signalée par R ne concerne pas d'éventuelles valeurs négatives dans votre jeu de données mais des longueurs de vecteurs (negative length vectors) qui sont considérées comme négatives dans votre code. Pourquoi, ça c'est une autre histoire...

Peut-être que cela est dû à un problème de séparateur de champ... Votre jeu de données a-t-il bien 8 colonnes séparées par des tabulations?
Avez-vous sinon essayé la même commande mais sans passer par le data.frame, ie. :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

you <- matrix (data = scan(file = "toto",what = "char", sep = "\t"),ncol=8, byrow=TRUE ) )

Enfin, êtes-vous sûr qu'il soit possible de charger un fichier aussi volumineux avec R?? En effet, il me semble que dans l'aide de la fonction "scan" il est indiqué qu'il y a une taille maximum pour les données à charger...

Bon bah en tout cas, bonne continuation


Cordialement,

A.D.

[pontarose]

Bonjour,

Merci.
J'ai essayé la commande sans passer par les data.frame et cela fonctionne!

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

you <- matrix (data = scan(file = "toto",what = "char", sep = "\t"),ncol=4, byrow=TRUE ) )