CODAGE UTF8 et interopérabilité: MS doc et (Linux ou LaTeX)

Bonjour à tous

Sous Linux, en UTF8, je me heurte régulièrement à une besogne encombrante: le codage d'espaces particuliers (avant ou après des signes de ponctuation) dans des documents MSWord.doc que j'exporte en fichier texte (avec abiword ou libreoffice)

Les messages des compilateurs LaTeX ou autres pdfLaTeX m'indiquent le plus souvent:

Code:

---

Unicode char \u8 :* not set up for use with LaTeX

---

Utilisant vim comme éditeur, je ne sais pas comment repérer ces blancs codés en utf8 inconnus de LaTeX.

J'en suis réduit à rechercher les . , ; ,« ,!, ? etc. car ces blancs ne sont malheureusement pas constants ! (sinon il serait facile de les substituer dans tout le document, en une seule ligne de commande de vim (ou de sed, pour une série de fichiers de même origine)

Bref je ne sais pas trop s'il s'agit d'un problème de codage (utiliser un outil de conversion), de vim ou de sed (comment désigner ce caractère dans une commande de substitution ?), voire une question plus spécifiquement TeXienne.

Toujours est-il que mes collègues Windoziens me donnent beaucoup plus de travail avec ce «détail» qu'avec tous les choix et réglages de mise en forme et de typographie qu'ils me demandent ! :(

Merci pour votre intérêt

PS Suggestion aux mainteneurs du forum: ne serait-il pas utile de créer une rubrique sur les problèmes d'interopérabilité et de codage, y compris l'UTF8 si insuffisamment universel ? Je pense aussi à ces fichiers doc que certains collègues ne parviennent pas à ouvrir ou à lire entre 2 versions différentes (je suppose ! ;) ) de windows (je n'ai pas ce souci et leur sers parfois de relai !), ou bien à ces pdf "binhex" parfois pas ouvrables même sur certains mac.. (là encore j'ai vite trouvé le convertisseur sous Linux)

Bonjour,

Difficile de répondre comme ça, aurais-tu un exemple pratique d'un fichier à nous soumettre ?

Citation:

---

Envoyé par disedorgue

Bonjour,

Difficile de répondre comme ça, aurais-tu un exemple pratique d'un fichier à nous soumettre ?

---

Bonjour,

Voici les 100 premières pages d'un fichier doc exporté en txt par Abiword.
Pièce jointe 188876

La pluspart des ponctuations ( : ; ! ? etc. ) sont précédées par un caractère blanc qu'il m'a suffit de remplacer par une espace.

Mais comme ce caractère n'est pas toujours présent, je ne peux pas me contenter de le remplacer massivement et en aveugle, sans risquer d' amputer la fin d'un mot précédent.

merci

Bonjour,

je m'invite dans la conversation, la typographie est une de mes passions...

Citation:

---

Envoyé par josephtux

La plus part plupart des ponctuations ( : ; ! ? etc. ) sont précédées par un caractère blanc qu'il m'a suffit de remplacer par une espace.

Mais comme ce caractère n'est pas toujours présent, je ne peux pas me contenter de le remplacer massivement et en aveugle, sans risquer d' amputer la fin d'un mot précédent.

merci

---

J'ai jeté un œil rapide au fichier texte, et il n'y a pas que ces histoires de ponctuations, si on veut faire les choses bien...

Le plus gros problème, à mon avis, c'est que les erreurs sont aléatoires, donc impossibles à corriger automatiquement, ou alors avec des règles tordues.
Car s'il est facile de rechercher les occurrences de " ." et de " ," pour les remplacer par "." et ",", il en ira autrement du caractère " (guillemet double quote) utilisé en ouvrant et en fermant : à moins de les compter et de jouer sur pair/impair ou de détecter début et fin de mot, je ne vois pas trop comment faire.

Il y aura aussi la problématiques des doubles espaces : il y en a tout plein... Bon, là c'est facile, il suffit de faire tourner une procédure qui remplace les doubles par des simples, mais la faire tourner au moins deux fois, au cas où l'auteur aurait saisi trois espaces. Et si, pour une raison qu'on ignore, c'était volontaire, ça va tout lui casser...

Mais il y a également les erreurs de saisie : "qui se chronicisent.." avec deux points !, "c’est affirmation claire", joli charabia, "engagement dans «l’action psychiatrique" pas de guillemet fermant (les doubles quotes moches, c'est moi qui les tape) !

Et les fautes habituelles :

• "Saint Anne" ça existe, ça ? Moi j'aurais dit Sainte-Anne, à l'oreille c'est pareil, sur le papier ça va mieux :mrgreen:, et il faut un trait d'union, là ;
• "de façon inégales" :aie: ;
• "Pau, Clermont Ferrand, Lille etc ;" --> Pau, Clermont-Ferrand, Lille, etc. ;
• "Psychiatrie du Sujet Agé" majuscules partout dans le titre = typographie anglo-saxonne, beuark ! Et il manque l'accent sur le A --> Â et sur le 1^er E de JOURNÉE... ;
• 17 Avril 2015 --> 17 avril 2015, les noms de mois (et ceux de jour) sont des noms communs, donc pas de majuscule.

Au vu de la quantité de choses à vérifier/reprendre/retoucher, à mon avis il est illusoire de vouloir automatiser un traitement, à moins d'accepter de laisser passer tout un tas d'horreurs diverses et variées...

Malgré ce que dit Jipété, essayons au moins de résoudre ton problème de base: ce qui semble te gêner, c'est ce que l'on nomme l'espace insécable qui vient souvent, justement, avec les caractères de ponctuation.
Sous vim, tu peux les voir par exemple à l'aide de la commande suivante en mode normal:

Code:

---

:set list lcs=nbsp:§

---

Pour les modifier en espace normal sous sed:

Code:

---

sed -e 's/\o302\o240/ /g' fichier

---

Sous vim:

Code:

---

:%s/<ctrl-k>NS/ /g

---

avec <ctrl-k>NS pour touche controle+k puis N majuscule puis S majuscule

Citation:

---

Envoyé par disedorgue

Malgré ce que dit Jipété, essayons au moins de résoudre ton problème de base: ce qui semble te gêner, c'est ce que l'on nomme l'espace insécable qui vient souvent, justement, avec les caractères de ponctuation.

---

Arf, j'avais pris le train en marche et n'ai pas capté que l'OP voulait supprimer (:koi:) les espaces insécables (ou alors c'était mal exprimé), auquel cas j'aurais aussitôt répondu que c'était complètement stupide car ils n'ont pas été inventé pour rien et permettent d'éviter des horreurs telles qu'un caractère de ponctuation tout seul en début de ligne, exemple :
Vous voyez le problème
? Et ce genre de catastrophe se rencontre parfois, dans les journaux papier (je ne parle pas du web, où il y a tout et n'importe quoi)...

En fait je pensais que l'OP voulait rechercher là où il manquait des espaces insécables, et les rajouter, pour uniformiser son texte. De là j'ai regardé le fichier joint, j'ai capté toutes les autres fautes et voilà...
Maintenant, s'il s'agit juste de remplacer les espaces insécables par des espaces normales et conserver (:vomi:) tout ce que j'ai relevé par ailleurs (qui est surement loin d'être exhaustif), mettons que je n'ai rien dit...

Merci à tous

pour les nombreuses fautes, il s'agit bien d'un fichier brouillon à corriger, brut, tel qu' il m'a été adressé sans référence à l'outil de production, probablement MS word d'une version inconnue de moi.
Je corrige la coquille la pluspart, mais de «façon inégale» ou de «façons inégales» ? ;)

Néanmoins, la relecture de Jipété pourra m'aider lorsque je relirai ce texte précisément, pour les lecteurs et pas seulement pour LaTeX. (Certaines parmi celles qu'il m'a indiquées le sont déjà dans le document tex)

Pour les espaces multiples, j'ai toujours pensé que LaTeX s'en fichait.

Par ailleurs, il s'agit d'identifier - pour les supprimer - les espaces indues devant les ponctuations comme :, ;, !, ou ? ainsi qu'avec «les guillemets français» et que LaTeX remettra selon ses bonnes règles typographiques françaises (insécables aussi, mais à la bonne longueur).

La solution de Disedorg me semble répondre à mon problème, en remplaçant sous vim tout espace insécable suivi d'une des ponctuations par la seule ponctuation, comme le demande LaTeX.
Je venais juste de trouver l'option /c de la commande de substitution s/ qui permet de demander confirmation avant chaque substitution. Encore bourrin, surtout pour un texte de plusieurs centaines de pages, mais un peu moins que d'utiliser la commande de recherche / puis l'édition (retour arrière+x).

Je vais tester dés que je peux m'y remettre, j'espère aujourd'hui même.

Encore merci à tous les deux