Discussion :

[vicjohns]

Bonjour à tous.
Je suis confronté à un problème pour importer mes données sur R. Je vous explique:
J'ai un fichier csv ayant plus de 460000 lignes. Quand je veux importer ces données avec read.csv2 j'optiens environs 38000 mais quand j'importe mon fichier avec read_delim j'ai bien mes 460000 lignes. Est ce normal?
Voici les 2 codes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
#avec read.csv2
setwd(chemin)
donnees = read.csv2(nom_data, sep =";" , header=TRUE)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
#avec read_delim
donnees = read_delim(chemin,";", escape_double = FALSE, col_names = TRUE, col_types = cols(`Date.de.réponse` = col_date(format = "%d-%m-%Y"), 
                                                                  Q1 = col_number()), trim_ws = TRUE)

et je mets mon fichier csv en pièce jointe.
Merci d'avance pour votre aide.

[mgdondon]

Bonjour,

Pouvez-vous donner le résultats de dim(donnees) dans les deux cas ?

Peut-être y a-t-il des caractères "^Z" dans votre fichier qui interrompent l'import dans un cas et pas dans l'autre (voir ici) ?

Votre fichier csv n'est pas passé. Je ne sais pas s'il y a une limitation de taille mais il faut de toute façon remplacer l'extension csv par txt.

Cordialement,

PS : Pensez à utiliser les balises [CODE] autour de votre code, ça facilite la lecture.

[vicjohns]

Bonjour, désolé du retard et merci de m'avoir répondu.
Avec read.csv2 j'obtiens 38869 obs of 139 variables et avec read_delim j'obtiens 462351 obs of 139 variables.

Par remplacement de l'extension csv par txt, vous vouliez que je convertisse le fichier csv en fichier txt avant de l'importer sur R? ou plutôt dans R au lieu de mettre nom_fichier.csv je mets nom_fichier.txt?
A propos des caractères "^Z" je vais vérifier.

Encore Merci.

[mgdondon]

Bonjour,

Par remplacement de l'extension csv par txt, vous vouliez que je convertisse le fichier csv en fichier txt avant de l'importer sur R? ou plutôt dans R au lieu de mettre nom_fichier.csv je mets nom_fichier.txt?

Il s'agit juste de remplacer l'extension csv par txt pour essayer de mettre votre fichier en pièce jointe (j'ai déjà remarqué qu'il n'était pas possible de joindre un fichier csv).

Cordialement,

[tototode]

Bonjour,

je doute que le problème vienne de l'extension. La fonction read.csv2 (qui est un alias de la fonction read.table) n'a pas de limitation de ligne sauf si on lui spécifie explicitement le nombre de lignes à lire.
Est-ce que tu as un message d'erreur au moment de l'import ? Si non alors regarde ce qui se passe à la 38871 lignes de ton fichier texte, peut-être qu'il y a un caractère spécial qui pose problème et le prendre en compte en modifiant les arguments de la fonction read.csv2.

cordialement

[vicjohns]

Bonjour,



Il s'agit juste de remplacer l'extension csv par txt pour essayer de mettre votre fichier en pièce jointe (j'ai déjà remarqué qu'il n'était pas possible de joindre un fichier csv).

Cordialement,

Ah daccord, mais je crois bien qu'il y a aussi un soucis de taille du fichier car mon ficher fait 285 Mo. En le compressant j'ai 64.8 Mo mais pour pouvoir joindre un fichier il faut 10 Mo je crois

[vicjohns]

Bonjour,

je doute que le problème vienne de l'extension. La fonction read.csv2 (qui est un alias de la fonction read.table) n'a pas de limitation de ligne sauf si on lui spécifie explicitement le nombre de lignes à lire.
Est-ce que tu as un message d'erreur au moment de l'import ? Si non alors regarde ce qui se passe à la 38871 lignes de ton fichier texte, peut-être qu'il y a un caractère spécial qui pose problème et le prendre en compte en modifiant les arguments de la fonction read.csv2.

cordialement

Non justement je n'ai pas de message d'erreur. Je vais donc vérifier la 38871 lignes. Merci

[vicjohns]

Pouvez vous me préciser s'il vous plait quel genre de caractères spéciaux peuvent causent ce problème à part "^Z"? Car je n'ai pas trouvé de "^Z".

[mgdondon]

Je ne connais pas la liste de caractères spéciaux pouvant causer problème. Pouvez-vous copier-coller les lignes 38869 et 38870 (dernière ligne importée et première non importée) en ouvrant le fichier dans un éditeur de texte ?

Cordialement,

[mgdondon]

Vous avez joint un fichier Excel où les données ont donc déjà été importées. (Un fichier csv est un fichier texte où les données sont séparées par des virgules ou des points-virgules.) Il faudrait vérifier les données brutes en ouvrant votre fichier texte dans Word par exemple et copier coller les deux lignes depuis ce fichier.

De plus je vous conseille de modifier votre précédent message et de supprimer le fichier Excel qui contient des adresses mail...

Cordialement,

[vicjohns]

Vraiment merci beaucoup effectivement c'est un caractère spéciale qui causait le problème et c'était celui là: "" . Une fois enlevé à la ligne 38870 ça a marché.

Encore merci.

[vicjohns]

Vous avez joint un fichier Excel où les données ont donc déjà été importées. (Un fichier csv est un fichier texte où les données sont séparées par des virgules ou des points-virgules.) Il faudrait vérifier les données brutes en ouvrant votre fichier texte dans Word par exemple et copier coller les deux lignes depuis ce fichier.

De plus je vous conseille de modifier votre précédent message et de supprimer le fichier Excel qui contient des adresses mail...

Cordialement,

Je prend note de vos remarques je vais de ce pas mon message précédent. Merci pour les conseilles