Discussion :

[bernards111]

Bonjour,

Je travaille sur MobaXterm qui me permet d'accéder à un serveur R sur linux. Mon poste est sous windows.
Je réalise des requêtes sur une base oracle pour créer des rapports... et évidemment j'ai des problèmes d'encodage.

J'ai essayé de mettre les données en utf8 dès la connexion ora <- dbDriver("Oracle",unicode_as_utf8 = TRUE), avec encoding sur la variable que je récupère mais rien n'y change, je n'ai toujours pas d'accent et mes apostrophes apparaisent avec le ?..

Et donc je me tourne vers vous.. :-) Si quelqu'un a déjà rencontré ce problème et a une solution, ce serait cool.

Merci d'avance.

[juliatheric]

Bonjour,
D'emblée, je signale mon incapacité d'essayer de reproduire quoi que ce soit, n'ayant pas accès à un serveur Oracle.
Mais en survolant les manuels des paquets DBI et Oracle, il semble que le souci ne viendrait pas de R, il faudrait plutôt regarder du côté du SGBD et des différents systèmes d'exploitation se trouvant dans l'environnement à votre disposition. Qu'obtenez-vous avec ce qui suit ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
ora <- dbDriver("Oracle", unicode_as_utf8 = TRUE)
sessionInfo()
Sys.info()[c("sysname", "release", "machine")]
localeToCharset()
capabilities()
extSoftVersion()

[bernards111]

bonjour ,

merci de votre aide. Je copie colle ce que j'ai obtenu avec vos requêtes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
 
> ora <- dbDriver("Oracle", unicode_as_utf8 = TRUE)
> sessionInfo()
R version 3.2.2 (2015-08-14)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Ubuntu 14.04.3 LTS
 
locale:
 [1] LC_CTYPE=fr_FR.UTF-8          LC_NUMERIC=C                  LC_TIME=fr_FR.UTF-8           LC_COLLATE=fr_FR.UTF-8        LC_MONETARY=fr_FR.UTF-8      
 [6] LC_MESSAGES=fr_FR.UTF-8       LC_PAPER=fr_FR.UTF-8          LC_NAME=fr_FR.UTF-8           LC_ADDRESS=fr_FR.UTF-8        LC_TELEPHONE=fr_FR.UTF-8     
[11] LC_MEASUREMENT=fr_FR.UTF-8    LC_IDENTIFICATION=fr_FR.UTF-8
 
attached base packages:
[1] compiler  stats     graphics  grDevices utils     datasets  methods   base     
 
other attached packages:
 [1] classInt_0.1-23     RColorBrewer_1.1-2  chron_2.3-47        OpenStreetMap_0.3.2 RJSONIO_1.3-0       rgeos_0.3-15        PBSmapping_2.69.76  reshape_0.8.5      
 [9] data.table_1.9.6    xlsx_0.5.7          xlsxjars_0.6.1      rJava_0.9-7         memisc_0.97         MASS_7.3-44         lattice_0.20-33     XML_3.98-1.3       
[17] RCurl_1.95-4.7      bitops_1.0-6        stringr_1.0.0       splancs_2.01-38     maptools_0.8-37     rgdal_1.1-3         sp_1.2-1            rmarkdown_0.8.1    
[25] markdown_0.7.7      knitr_1.12.3        ROracle_1.2-1       DBI_0.3.1           R.utils_2.2.0       R.oo_1.19.0         R.methodsS3_1.7.0  
 
loaded via a namespace (and not attached):
 [1] Rcpp_0.12.3      highr_0.5.1      formatR_1.2.1    plyr_1.8.3       class_7.3-14     tools_3.2.2      digest_0.6.9     evaluate_0.8     gtable_0.1.2     yaml_2.1.13     
[11] e1071_1.6-7      raster_2.5-2     grid_3.2.2       foreign_0.8-66   ggplot2_2.0.0    magrittr_1.5     scales_0.3.0     htmltools_0.3    colorspace_1.2-6 stringi_1.0-1   
[21] munsell_0.4.3   
> Sys.info()[c("sysname", "release", "machine")]
            sysname             release             machine 
            "Linux" "3.19.0-28-generic"            "x86_64" 
> localeToCharset()
[1] "UTF-8"     "ISO8859-1"
> capabilities()
No protocol specified
       jpeg         png        tiff       tcltk         X11        aqua    http/ftp     sockets      libxml        fifo      cledit       iconv         NLS     profmem 
       TRUE        TRUE        TRUE        TRUE       FALSE       FALSE        TRUE        TRUE        TRUE        TRUE        TRUE        TRUE        TRUE        TRUE 
      cairo         ICU long.double     libcurl 
       TRUE       FALSE        TRUE        TRUE 
> extSoftVersion()
                     zlib                     bzlib                        xz                      PCRE                       ICU                       TRE 
                  "1.2.8"      "1.0.6, 6-Sept-2010"              "5.1.0alpha"         "8.31 2012-07-06"                        "" "TRE 0.8.0 R_fixes (BSD)" 
                    iconv 
             "glibc 2.19"

[juliatheric]

Bonjour,
Comme le montre les sorties ci-dessus, notamment celle de sessionInfo(), sur votre machine, les paramètres de régionalisation sont en UTF-8 et a priori, il ne devrait alors pas y avoir de souci avec les accents avec R en soi. Ce qui est un peu étrange est l'absence de l'ICU sur la machine même s'il manque des éléments pour supposer que le problème viendrait de là ; dans tous les cas, assurez-vous quand même de la présence des paquets Ubuntu libicu52 et libicu-dev, ça pourrait s'avérer utile.
Cela dit, veuillez aussi donner un exemple des instructions qui sont à l'origine du problème : est-ce l'affichage dans R qui est incorrect ou cela concerne les rapports créés à l'aide de R puis exportés dans des fichiers externes ? Comment générez-vous ces rapports ? Quelque chose du genre cat("à ç") s'affiche-t-il correctement dans la console R ? etc. Et que donne la commande système (terminal Ubuntu) : locale

[bernards111]

j'ai vérifié la présence des deux paquets libicu52 et libicu-dev et ils sont présents mais nécessitaient une mise à jour et l'ajout de icu-devtools. ce que j'ai fait.

Et que donne la commande système (terminal Ubuntu) : locale

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
 
administrateur@Serveur-FME-R:~$ locale
LANG=fr_FR.UTF-8
LANGUAGE=
LC_CTYPE="fr_FR.UTF-8"
LC_NUMERIC="fr_FR.UTF-8"
LC_TIME="fr_FR.UTF-8"
LC_COLLATE="fr_FR.UTF-8"
LC_MONETARY="fr_FR.UTF-8"
LC_MESSAGES="fr_FR.UTF-8"
LC_PAPER="fr_FR.UTF-8"
LC_NAME="fr_FR.UTF-8"
LC_ADDRESS="fr_FR.UTF-8"
LC_TELEPHONE="fr_FR.UTF-8"
LC_MEASUREMENT="fr_FR.UTF-8"
LC_IDENTIFICATION="fr_FR.UTF-8"
LC_ALL=

est-ce l'affichage dans R qui est incorrect ou cela concerne les rapports créés à l'aide de R

J'ai essayé les deux et même problème...

Quelque chose du genre cat("à ç")

Affiche bien à ç

j'ai un collègue qui a le problème inverse.. c'est à dire que à la lecture tt se passe bien mais à l'écriture dans une base oracle à partir de R, me^me problème d'encodage, par contre il est sur linux..

[juliatheric]

[...] libicu52 et libicu-dev [...] nécessitaient une mise à jour [...]

En parlant des mises à jour, R en a également besoin.

3.2.2 2015-08-14T07:13:18.272871Z : version installée sur votre machine (ainsi que sa date de sortie)
3.2.3 2015-12-10T08:13:08.415370Z : dernière version en date

[...] j'ai un collègue qui a le problème inverse [...] par contre il est sur linux.

Il y a une petite confusion ici : vous aussi êtes sur Linux, au moins du point de vue de R ; le message initial dit bien qu'à la base, vous avez un Windows qui utilise d'autres outils pour accéder à des machines Linux, mais au moment où R est utilisé, il ne voit que Linux. Peut-être vouliez-vous dire qu'il y a, pour le SGBD Oracle, une instance installée sur Windows (la vôtre) et une autre installée sur Linux (celle de votre collègue).

Comme le montre la locale, vous avez de l'Unicode dans votre session Ubuntu, donc le problème ne vient ni de l'OS ni de R (cfr. le message précédent et les sorties obtenues avec cat("à ç")). La seule piste qui reste est de vérifier ce qui se passe lors des transferts des données entre R+l'OS et le SGBD.

Encore une fois, pourriez-vous donner un exemple concret de la partie problématique de votre code ? Par exemple, écrire deux requêtes simples, une de lecture dans une BD et une autre d'écriture, les deux portant sur des données ayant des caractères accentués et montrer comment vous vous y prenez pour les exécuter à partir de R.

[bernards111]

Peut-être vouliez-vous dire qu'il y a, pour le SGBD Oracle, une instance installée sur Windows (la vôtre) et une autre installée sur Linux (celle de votre collègue).

oui c'est ça.;
exemple>>>

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
ora <- dbDriver("Oracle")
conexM <- dbConnect(Oracle(),schemasM,pwdM,dbnameO)
 
# chargement 
 
requetCadre<-paste("SELECT CHAMP from table",sep="")
 
metac<-data.table(dbGetQuery(conexM,requetCadre))
 
#pour afficher
 
metac$CHAMP[1]

merci

[juliatheric]

Bonjour,
C'est mieux avec un exemple, merci !
Alors, qu'est-ce qu'il y a comme sorties quand on vérifie la locale avant de commencer à interroger la base ? Ces paramètres sont définis par la variable d'environnement de l'OS NLS_LANG ; par exemple, on peut consulter leurs valeurs ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
ora <- dbDriver("Oracle")
conexM <- dbConnect(Oracle(), schemasM, pwdM,dbnameO) 
paraReg <- dbGetQuery(conexM, "SELECT * FROM NLS_DATABASE_PARAMETERS;")

Si en parcourant le contenu de paraReg, vous n'avez pas des valeurs qui contiennent «FRENCH», «FRANCE» et «AL32UTF8» (ou toute autre variante de l'Unicode), alors essayez de définir NLS_LANG avant d'établir une connection avec la BD. Vous avez globalement deux choix :

1. créer la variable dans le système avant de lancer la session R

   Code Bash :

   Sélectionner tout - Visualiser dans une fenêtre à part

   1
   2
   export NLS_LANG="FRENCH_FRANCE.AL32UTF8" # vous pouvez rendre ça permanent en plaçant la ligne dans le fichier ~/.profile
   R # ouvrir une session R qui héritera des variables d'environnement déjà définies

2. la créer dans la session R

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   1
   2
   Sys.setenv(NLS_LANG = "FRENCH_FRANCE.AL32UTF8")
   ora <- dbDriver("Oracle") # etc.

[bernards111]

ok,

merci,j'avais vérifié ces paramètres

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
                 PARAMETER                      VALUE
1             NLS_LANGUAGE                     FRENCH
2            NLS_TERRITORY                     FRANCE
3             NLS_CURRENCY                          ?
4         NLS_ISO_CURRENCY                     FRANCE
5   NLS_NUMERIC_CHARACTERS                         , 
6         NLS_CHARACTERSET                   AL32UTF8

par contre je me suis aperçu que sur le shell R, je n’avais aucun problème d'accent par contre dans Rstudio si...
je suis en train de réinstaller Rstudio, je vais voir si cela règle le problème.

[juliatheric]

je suis en train de réinstaller Rstudio, je vais voir si cela règle le problème.

Une réinstallation est comme déployer un bazooka pour achever une mouche ! Essayez plutôt avec ça : Tools ⟶ Global Options, puis

[bernards111]

j'ai aussi essayé ça avant d'armer le canon

[juliatheric]

Que Clausewitz nous vienne à l'aide alors ! En l'attendant, avez-vous aussi explicitement modifié la locale dans la session RStudio ? Ainsi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Sys.setlocale(locale = "fr_FR.utf8")
# suite des traitements

[bernards111]

oui..mais tjsr pareil...entre temps j'ai qd même eut une petite amélioration, c'est à dire que les apostrophe ne se change plus en ? au moment ou j'ai fait les modifications NLS_LANG.

je parlais avant d'une différence de comportement entre le shell et r studio.

mais aussi dans la manière de lancer un simple script R

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
ora <- dbDriver("Oracle")
conex <- dbConnect(ora,schemas,pwd,dbnameO)
toto<-data.frame(test="ïÖàçèé`'")
dbWriteTable(conex,"TOTO" ,toto , row.names = FALSE, overwrite = TRUE)
requet<-paste("Select * from TOTO ")
dbGetQuery(conex,requet)
dbDisconnect(conex)

En le lançant avec run j'ai >>>iOacee`'

avec source j'ai ????????????`'


C'est aussi pour cela que j'ai décidé de réinstaller Rstudio....mais bon, suis un peu désarmé là...

[juliatheric]

Essayez de changer le charset au moment du lancement du script. J'ignore ce qu'est «run» (est-ce une commande sous Windows ? Si oui, ceci expliquerait bien des choses*) mais
Rscript --encoding=UTF-8 nom_script.R est une façon courante de lancer un script. Pour lancer celui-ci sous R : source("nom_script.R", encoding = "UTF-8").
Aussi, pouvez-vous forcer l'encodage des données au moment de leur création :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
xxx <- "ïÖàçèé`'"
Encoding(xxx) <- "UTF-8" # ou xxx <- enc2utf8(xxx)
toto <- data.frame(test = xxx)

__
* Comment fonctionne au juste MobaXterm ? Les commandes Windows sont-elles toujours accessibles dans une session Linux commencée avec MobaXterm ? Si oui, quelqu'un a récemment signalé le même souci sous Windows et l'a surmonté à l'aide chcp 1252. Ceci pourrait être une piste viable dans votre cas. Pour le reste, il me semble que j'ai épuisé mes cartouches.

[bernards111]

ça marche

Encore merci pour ton aide précieuse..C'est la classe de prendre du temps pour ça.
La réinstalle de rstudio + le paramétrage du NLS_LANG m'a permis de enfin pouvoir créer des rapports automatique sans problème d'encodage ...ça fait du bien mais qu'est ce que c'était


Merci juliatheric.