Inventaire de tous les mots avec un ? (script python)

Bonjour,
j'ai récupéré un fichier .ged (généalogie) de plus 60Mo. Il semble qu'il y est une un pb d'encodage lors de l'exportation (source initiale perdue => nouvel export impossible). Je dois travailler en qu'actif sur le fichier que j'ai et dans lequel, les caractères accentués ont été remplacés par "?".

via des rechercher/remplacer j'ai beaucoup amélioré les choses.
Mais il reste de nombreux cas avec des occurrences moins nombreuses.

Quelqu'un pourrait il me proposer svp un script python pour analyser ce fichier (source.ged) et faire un inventaire de tous les mots avec ?, l'enregistrer dans un corrections.txt
(suis sous macOS et le fichier et en UTF-8)
une fois que j'aurai cet inventaire, tous les mots trouvés depuis le début, jusqu'à la fin du source.ged > (corrections.txt), je ferai l'inventaire du nombre d'occurrences de tous les mots distincts.
par tri décroissant, d'occurence, je procéderai au remplacement progressif avec les lettres correctes

>En vous remerciant par avance
Bien à vous

Hello,

La présence de caractères '?' à la place de caractères accentués dans un fichier GEDCOM est un symptôme courant de problèmes liés à l'encodage des caractères. Comprendre la nature de ces problèmes est essentiel avant d'entreprendre une correction.

Le standard GEDCOM prévoit une étiquette CHAR dans la section d'en-tête (HEAD) du fichier pour déclarer l'encodage des caractères utilisé (par exemple, 1 CHAR UTF-8 ou 1 CHAR ANSEL). Théoriquement, cela devrait permettre aux logiciels d'interpréter correctement le contenu.

Voir la doc -> Character Encoding

Après vous pouvez faire cette analyse en python (mais je ne vois pas votre code), ça ne pose aucune difficulté majeure, à part si on travaille avec les expressions régulières, ce qui peut être une bonne solution.

Et peut-être aussi qu'on pourrait faire ça avec une simple ligne commande Unix ?

Code:

---

grep -o '\b\w*\?\w*\b' source.ged > corrections.txt

---

À adapter pour les mots avec traits d'union, apostrophe, ... voir utiliser aussi des outils comme sed et awk.

Bonjour

Citation:

---

Envoyé par fbaux

Quelqu'un pourrait il me proposer svp un script python pour analyser ce fichier (source.ged) et faire un inventaire de tous les mots avec ?, l'enregistrer dans un corrections.txt

---

Approche naïve...

Code:

---

1 2 3 4 5 6

with open("source.ged", "r") as f_in, open("corrections.txt", "w") as f_out: for ligne in f_in: for mot in ligne.split(" "): if len(mot) > 1 and "?" in mot: print(mot, file=f_out) # len(mot) > 1 pour éviter de traiter les ponctuations solitaires # for # with

---

Un code de ce genre (il sépare chaque mot de la ligne sur l'espace puis identifie les mots contenant un "?") te donnera un point de départ.