Discussion :

[tanaka59]

Bonjour ,

J'ai problème de taille pour importer des fichier CSV de 50 000 à 150 000 lignes.

Voici mon code pour un table avec id + 1 champ texte pour procéder à l'import n1 (fichier A):

Code SAS :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
PROC IMPORT OUT=matable  DATAFILE="C:\fichier.csv" DBMS=csv REPLACE; delimiter=";";  GETNAMES=YES;
RUN;

Dans le cas présent mes données textes son tronquées. J'ai ajouté l'instruction guessingrows=3000.

Code SAS :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
PROC IMPORT OUT=matable  DATAFILE="C:\fichier.csv" DBMS=csv REPLACE; delimiter=";"; guessingrows=3000; GETNAMES=YES;
RUN;

La table est bien chargée.

Par contre maintenant les 2 tables avec un id numérique + un champ numérique second et bien j'ai 2 possibilité (fichier B et C)

Import 1 comme ceci :

Code SAS :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
PROC IMPORT OUT=matable  DATAFILE="C:\fichier.csv" DBMS=csv REPLACE; delimiter=";"; guessingrows=3000; GETNAMES=YES;
RUN;

La table passe nickel, la seconde table n'est pas chargée. Pourtant on est exactement sur la même proc import, même structure de fichier et même type de données (colonne id numérique , colonne de type numérique aussi avec des 0 ou des 1).

Le journal me dit "La ligne 1 5XXX XXX n'est pas une données SAS" . Chose étonnant le journal de SAS génére un compteur qui renvoi le message d'erreur en disant que plusieurs millions de lignes du fichier seraient impactés. Chose impossible le fichier CSV ne dépasse pas les 50 000 lignes. Ce qui est intriguant c'est que le fichier B qui est jumeau du fichier C ne plante pas. Le fichier B fait 150 000 lignes.

Un message d'erreur marron apparait pour la deuxieme table dans l'instruction " delimiter=";"; guessingrows=3000; " . SAS ne reconnait pas le point le virgule entre les instructions " delimiter " et " guessingrows ".

Merci de maiguiller

[josef1980]

Bonjour,
Désolé d'être bref mais vous pouvez essayer de rajouter l'instruction suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
MIXED=yes;

Cordialement

[Stackware]

Bonjour,

Le fichier qui plante a-t-il été vérifié (à l'aide d'un éditeur comme Notepad++ par exemple)?

[tanaka59]

Bonsoir

Oui le fichier est bien passé sur notepad++ et pspad.

Quand je mets mixed , cela ne change rien.

Dans le journal SAS quand j'importe un autre fichier avec des données aussi numérique que texte en log j'ai ceci :

Code SAS :

Sélectionner tout - Visualiser dans une fenêtre à part

monidnumérique = 23658 champstexte=._error_.=1 _n_=un nombre

Je viens de percuter un chose. Dans mes tables si le premier champs trier de la colonne est de type numérique , SAS me passe le tout en numérique. Donc les éléments de type texte seront vide. Si c'est du texte je n'ai pas de problème.

Je vais tenter de forcer le tout avec une ligne fantôme avec comme numéro "0" et de mettre un champs texte très long. Apparemment cela passe.

[tanaka59]

Bonsoir ,

J'ai procédé au test avec mes fichiers. J'ai mis une ligne avec un id "0" et un champ texte "blablaba" en début de fichier CSV. Les fichiers sont lus et intégrés correctement, et dans le cas présent SAS considère bien que c'est du texte et non du numérique. Il n'y a pas de "troncage" intempestif.

En fait si SAS détecte que la ligne 1 est du numérique dans le fichier CSV, il va automatique considérer la colonne comme des nombres et non du texte. Il faut donc forcer SAS avec cette " supercherie ".