Données partiellement importer avec read.csv2

Version imprimable

Bonjour à tous.
Je suis confronté à un problème pour importer mes données sur R. Je vous explique:
J'ai un fichier csv ayant plus de 460000 lignes. Quand je veux importer ces données avec read.csv2 j'optiens environs 38000 mais quand j'importe mon fichier avec read_delim j'ai bien mes 460000 lignes. Est ce normal?
Voici les 2 codes:
Code:

1 2 3 #avec read.csv2 setwd(chemin) donnees = read.csv2(nom_data, sep =";" , header=TRUE)
Code:

1 2 3 #avec read_delim donnees = read_delim(chemin,";", escape_double = FALSE, col_names = TRUE, col_types = cols(`Date.de.réponse` = col_date(format = "%d-%m-%Y"), Q1 = col_number()), trim_ws = TRUE)
et je mets mon fichier csv en pièce jointe.
Merci d'avance pour votre aide.

09/08/2017, 10h59
mgdondon

Données partiellement importer avec read.csv2

Bonjour,

Pouvez-vous donner le résultats de dim(donnees) dans les deux cas ?

Peut-être y a-t-il des caractères "^Z" dans votre fichier qui interrompent l'import dans un cas et pas dans l'autre (voir ici) ?

Votre fichier csv n'est pas passé. Je ne sais pas s'il y a une limitation de taille mais il faut de toute façon remplacer l'extension csv par txt.

Cordialement,

PS : Pensez à utiliser les balises [CODE] autour de votre code, ça facilite la lecture.
10/08/2017, 11h02
vicjohns

Bonjour, désolé du retard et merci de m'avoir répondu.
Avec read.csv2 j'obtiens 38869 obs of 139 variables et avec read_delim j'obtiens 462351 obs of 139 variables.

Par remplacement de l'extension csv par txt, vous vouliez que je convertisse le fichier csv en fichier txt avant de l'importer sur R? ou plutôt dans R au lieu de mettre nom_fichier.csv je mets nom_fichier.txt?
A propos des caractères "^Z" je vais vérifier.

Encore Merci.
10/08/2017, 13h57
mgdondon

Données partiellement importer avec read.csv2

Bonjour,

Citation:

Par remplacement de l'extension csv par txt, vous vouliez que je convertisse le fichier csv en fichier txt avant de l'importer sur R? ou plutôt dans R au lieu de mettre nom_fichier.csv je mets nom_fichier.txt?

Il s'agit juste de remplacer l'extension csv par txt pour essayer de mettre votre fichier en pièce jointe (j'ai déjà remarqué qu'il n'était pas possible de joindre un fichier csv).

Cordialement,
10/08/2017, 14h09
tototode

Bonjour,

je doute que le problème vienne de l'extension. La fonction read.csv2 (qui est un alias de la fonction read.table) n'a pas de limitation de ligne sauf si on lui spécifie explicitement le nombre de lignes à lire.
Est-ce que tu as un message d'erreur au moment de l'import ? Si non alors regarde ce qui se passe à la 38871 lignes de ton fichier texte, peut-être qu'il y a un caractère spécial qui pose problème et le prendre en compte en modifiant les arguments de la fonction read.csv2.

cordialement
10/08/2017, 14h09
vicjohns

Citation:

Envoyé par mgdondon

Bonjour,

Il s'agit juste de remplacer l'extension csv par txt pour essayer de mettre votre fichier en pièce jointe (j'ai déjà remarqué qu'il n'était pas possible de joindre un fichier csv).

Cordialement,

Ah daccord, mais je crois bien qu'il y a aussi un soucis de taille du fichier car mon ficher fait 285 Mo. En le compressant j'ai 64.8 Mo mais pour pouvoir joindre un fichier il faut 10 Mo je crois
10/08/2017, 14h11
vicjohns

Citation:

Envoyé par tototode

Bonjour,

je doute que le problème vienne de l'extension. La fonction read.csv2 (qui est un alias de la fonction read.table) n'a pas de limitation de ligne sauf si on lui spécifie explicitement le nombre de lignes à lire.
Est-ce que tu as un message d'erreur au moment de l'import ? Si non alors regarde ce qui se passe à la 38871 lignes de ton fichier texte, peut-être qu'il y a un caractère spécial qui pose problème et le prendre en compte en modifiant les arguments de la fonction read.csv2.

cordialement

Non justement je n'ai pas de message d'erreur. Je vais donc vérifier la 38871 lignes. Merci
10/08/2017, 14h33
vicjohns

Pouvez vous me préciser s'il vous plait quel genre de caractères spéciaux peuvent causent ce problème à part "^Z"? Car je n'ai pas trouvé de "^Z".
10/08/2017, 14h39
mgdondon

Données partiellement importer avec read.csv2

Je ne connais pas la liste de caractères spéciaux pouvant causer problème. Pouvez-vous copier-coller les lignes 38869 et 38870 (dernière ligne importée et première non importée) en ouvrant le fichier dans un éditeur de texte ?

Cordialement,
10/08/2017, 14h58
mgdondon

Données partiellement importer avec read.csv2

Vous avez joint un fichier Excel où les données ont donc déjà été importées. (Un fichier csv est un fichier texte où les données sont séparées par des virgules ou des points-virgules.) Il faudrait vérifier les données brutes en ouvrant votre fichier texte dans Word par exemple et copier coller les deux lignes depuis ce fichier.

De plus je vous conseille de modifier votre précédent message et de supprimer le fichier Excel qui contient des adresses mail...

Cordialement,
10/08/2017, 15h03
vicjohns

Vraiment merci beaucoup effectivement c'est un caractère spéciale qui causait le problème et c'était celui là: "" . Une fois enlevé à la ligne 38870 ça a marché.

Encore merci.
10/08/2017, 15h05
vicjohns

Citation:

Envoyé par mgdondon

Vous avez joint un fichier Excel où les données ont donc déjà été importées. (Un fichier csv est un fichier texte où les données sont séparées par des virgules ou des points-virgules.) Il faudrait vérifier les données brutes en ouvrant votre fichier texte dans Word par exemple et copier coller les deux lignes depuis ce fichier.

De plus je vous conseille de modifier votre précédent message et de supprimer le fichier Excel qui contient des adresses mail...

Cordialement,

Je prend note de vos remarques je vais de ce pas mon message précédent. Merci pour les conseilles